WO2020090419A1 - 移動体挙動予測装置 - Google Patents

移動体挙動予測装置 Download PDF

Info

Publication number
WO2020090419A1
WO2020090419A1 PCT/JP2019/040169 JP2019040169W WO2020090419A1 WO 2020090419 A1 WO2020090419 A1 WO 2020090419A1 JP 2019040169 W JP2019040169 W JP 2019040169W WO 2020090419 A1 WO2020090419 A1 WO 2020090419A1
Authority
WO
WIPO (PCT)
Prior art keywords
map
moving
moving body
unit
feature amount
Prior art date
Application number
PCT/JP2019/040169
Other languages
English (en)
French (fr)
Inventor
昌義 石川
鈴木　英明
豊田　英弘
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US17/284,150 priority Critical patent/US11978345B2/en
Priority to CN201980065067.4A priority patent/CN112889100B/zh
Publication of WO2020090419A1 publication Critical patent/WO2020090419A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to a moving body behavior prediction device.
  • sensing technology that senses the surrounding situation with an in-vehicle camera
  • recognition technology that recognizes the state of the vehicle and the surrounding environment based on the sensing data
  • traveling speed and steering angle based on the recognition information
  • the recognition technology requires future behavior prediction technology that recognizes a feature or a moving object existing around the own vehicle and predicts the position of the future time of the moving object around the own vehicle.
  • Patent Document 1 discusses a mechanism for predicting the future behavior of each mobile body by combining the time-series operation of each mobile body and map data that is environment information around each mobile body.
  • a mobile body considers the behaviors of other distant mobile bodies when determining its own behavior.
  • a large amount of calculation is required for complex environment recognition, and when a wide range of environmental information is processed for each mobile, the amount of calculation explosively increases and the future behavior of the surrounding mobiles in real time is increased. It was difficult to predict.
  • the method described in Patent Document 1 has a problem that only the local environment information can be calculated in order to suppress the calculation amount, and the prediction accuracy of the future behavior of each moving body deteriorates.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a mobile body behavior prediction device that can improve the prediction accuracy of future behavior of a mobile body while suppressing an increase in the amount of calculation. Is.
  • a mobile body behavior prediction apparatus is a mobile body behavior prediction apparatus that predicts behavior of a mobile body around a host vehicle, and an area that can include a plurality of the mobile bodies is divided into a plurality of cells. Then, an input map generation unit that generates a single input map in which the relevant information of the static object and the relevant information of the moving body are stored in each cell, and the convolutional neural network learned from the input map, A feature amount estimation unit that estimates a feature amount, a feature amount acquisition unit that obtains a feature amount at the current position of the moving body from the feature amounts stored in cells located around the moving body, and a current of the moving body. And a future position predicting unit that predicts a future position of the mobile unit based on a feature quantity of the position.
  • the related information of static objects and the related information of moving objects of a single input map are commonly used for behavior prediction of all moving objects, it is possible to increase the number of moving objects to be predicted. It is possible to suppress an increase in the amount of calculation involved. Further, since the future behavior of each mobile body can be predicted using the information of a wide range map that can include a plurality of mobile bodies, the prediction accuracy can be improved. Further features related to the present invention will be apparent from the description of the present specification and the accompanying drawings. Further, problems, configurations and effects other than those described above will be clarified by the following description of the embodiments.
  • the figure which shows the prediction example of the future behavior of a mobile body The figure which shows the prediction example of the future behavior of the mobile body by the conventional method.
  • the functional block diagram of the server of 1st Embodiment The figure which shows an example of the input map of 1st Embodiment.
  • FIG. 9 is another explanatory diagram of the map range setting process according to the first embodiment.
  • the functional block diagram of the server of 2nd Embodiment The functional block diagram of the mobile body behavior prediction apparatus of 2nd Embodiment.
  • the functional block diagram of the mobile body behavior prediction apparatus of 3rd Embodiment The block diagram which shows the hardware constitutions of a mobile body behavior prediction apparatus.
  • FIG. 1 is a diagram illustrating an example of predicting future behavior of a mobile body.
  • the own vehicle 101 predicts future behaviors 103a-103c, 103e of the vehicles 102a-102d and the pedestrian 102e, which are moving bodies in the vicinity, for safety control of the own vehicle 101.
  • the future behavior is information on the future position of another mobile body at a predetermined future time.
  • the host vehicle 101 generates a host vehicle trajectory so as to avoid the future behavior of another moving body by predicting the future behavior, or the future behavior of another vehicle and the host vehicle trajectory of the host vehicle 101 overlap at a future time.
  • the driver will be warned and driving assistance will be provided.
  • FIG. 2 is a diagram showing an example of prediction of future behavior of a mobile body by the conventional method.
  • the conventional method when predicting the future behavior of each mobile body, the information of the peripheral area of each mobile body is calculated. This makes it possible to predict future behavior of other moving bodies in consideration of obstacles existing around each moving body, interaction with other moving bodies, and topographical information such as road shapes. Prediction accuracy improves if information in a wide processing area can be processed, but in reality, processing information in a wide processing area requires a heavy calculation load, so only information in a narrow peripheral area of each mobile object is processed. It
  • the processing area 201b when predicting the future behavior of the vehicle 102b, information about a distant intersection or a pedestrian 102e cannot be taken into consideration as shown in the processing area 201b. Therefore, for the vehicle 102b, only the straight road, the preceding vehicle 102a, and the parked vehicle 102d can be considered, and the future behavior 202b in which the current speed of the vehicle 102b is maintained is predicted. On the other hand, regarding the vehicle 102a, as shown in the processing area 201a, the future behavior 202a that stops before the intersection is predicted in consideration of the information of the intersection and the influence of the pedestrian 102e and the vehicle 102c.
  • FIG. 3 is a diagram showing a prediction example of future behavior of the mobile unit according to the first embodiment.
  • the information of the wide processing area 301 including a plurality of moving bodies is collectively processed.
  • the amount of calculation is suppressed by collectively calculating the information of the processing area 301 common to both the vehicles 102a and 102b, and the future behavior of the vehicles 102a and 102b is predicted in consideration of the distant information.
  • the future behavior 302a of the vehicle 102a is predicted to stop before the intersection, and the future behavior 302b of the vehicle 102b is predicted to stop behind the vehicle 102a. Therefore, unpredictable behavior that the future behaviors of the vehicles 102a and 102b intersect at the point 203 is not predicted, and the prediction accuracy is improved.
  • FIG. 4 is a graph showing the relationship between the number of mobile units to be predicted and the amount of calculation.
  • the horizontal axis indicates the number of moving objects to be predicted
  • the vertical axis indicates the calculation amount required for prediction of future behavior.
  • the calculation amount 401 when the information of a wide area is calculated by the conventional method, the calculation load increases sharply, and the calculation amount 404 that the vehicle can process in real time predicts only the future behavior of a small number of moving objects. Can not do it. Therefore, in reality, only the information of the narrow peripheral region is calculated as shown by the calculation amount 402. By calculating only the information of the peripheral area, the increase rate of the amount of calculation with respect to the increase of the number of moving bodies can be suppressed, but the distant information is not taken into consideration, so that the prediction accuracy of future behavior is reduced.
  • the calculation amount 403 when information of a wide processing area is collectively processed by the processing method of this embodiment, the calculation amount is larger than that in the conventional method when predicting future behavior of a small number of moving objects. Will increase. However, compared with the conventional method, the increase in the amount of calculation is suppressed even when the behaviors of a large number of moving objects are predicted, and the prediction accuracy of future behaviors is improved by the calculation processing of information in a wide processing area. .. Note that the calculation amount increases in accordance with the number of moving objects despite the calculation processing of a single processing area. This is because
  • FIG. 5 is a system configuration diagram of the moving object behavior prediction system according to the first embodiment.
  • an external server 10 and a vehicle 30 equipped with the moving body behavior prediction device 20 are connected via a network 40.
  • the server 10 is installed in a data center or the like, manages various data collected from the vehicle 30, and learns future behavior from various data by a convolutional neural network.
  • the vehicle 30 is regularly notified of the parameters of the convolutional neural network from the server 10.
  • the moving body behavior prediction apparatus 20 of the vehicle 30 builds a convolutional neural network that has been learned by the parameters notified from the server 10 and predicts the future behavior of the surrounding moving bodies.
  • FIG. 6 is a diagram showing a learning image of the first embodiment.
  • Each moving body is the same as the vehicles 102a-102d and the pedestrian 102e shown in FIG.
  • the position of each moving body at times t + 1 and t + 2 is indicated by a triangle as the future behavior.
  • the future behavior prediction processing of this embodiment the future behavior of each mobile body observed at time t is predicted.
  • the positions of the vehicle and the moving body at times t + 1 and t + 2 are learned as teacher data, and the future behavior of each moving body at times t + 1 and t + 2 is predicted from the information at time t.
  • the future behavior for two times is predicted here, the future behavior for two or more times may be predicted.
  • FIG. 7 is a functional block diagram of the server according to the first embodiment.
  • the server is provided with a travel data storage unit 701, an input map generation unit 703, an output map generation unit 704, a movement amount estimation unit 705, and a parameter update unit 706.
  • the travel data storage unit 701 stores travel data 702 collected from each mobile body at each time.
  • the traveling data 702 at each time includes vehicle information, map data, and moving body information.
  • the own vehicle information is information on the position, posture, speed, etc. at each time, and is, for example, GPS information, speed information in the xy directions, yaw rate information, and azimuth information.
  • the map data is topographical data around the host vehicle, and is composed of data such as road shapes, buildings, intersections, pedestrian crossings, and signs.
  • the moving body information is information regarding the moving body that is the prediction target, and is, for example, an ID, a posture, a speed, a relative position from the own vehicle, and a movement amount from the past time.
  • the mobile body information can be tracked in the time axis direction by the ID.
  • the input map generation unit 703 reads the travel data 702 at the arbitrary time t from the travel data storage unit 701 and generates a single input map 801.
  • the input map 801 is a grid map in which a region capable of containing a plurality of moving bodies is divided into a plurality of cells.
  • the input map 801 is set based on the host vehicle 101. Various factors such as the surrounding environment of each moving body, the interaction between the moving bodies, and the past behavior of each moving body influence the prediction of the future behavior.
  • each cell of the input map 801 has associated information of a static object, associated information of a moving object at an arbitrary time t, and associated information of a moving object at a past time before the arbitrary time t.
  • Data 802 including information is stored.
  • ⁇ Static object related information is information about fixed features such as roads, buildings, and intersections. Although not shown in FIG. 8, information such as a pedestrian crossing, a white line, and a sign may be included as the related information of the static object.
  • “1” is set in the item of the static object included in each cell, and “0” is set in the item of the static object not included in each cell.
  • the related information of the static object is generated by the map data of the traveling data 702 (see FIG. 7) at the arbitrary time t.
  • the relevant information of the moving body at the arbitrary time t is information that changes with time, such as the intersection state, the vehicle, the pedestrian, and the speed information of the moving body.
  • intersection state "1" is set in the data 802 when the vehicle can enter the intersection area from the traveling direction, and "0" is set in the data 802 when the vehicle cannot enter the intersection area from the vehicle traveling direction. Is set.
  • each cell belongs to the non-intersection area “1” is set in the data 802.
  • “1” is set in the item of the mobile object included in each cell
  • “0” is set in the item of the mobile object not included in each cell.
  • the speed information vx and vy are set in the data 802, and when the moving body does not exist in the cell, 0 is set in the data 802.
  • the information on the moving body at the arbitrary time t is generated by the moving body information of the traveling data 702 (see FIG. 7) at the arbitrary time t.
  • the related information of the moving body at the past time is the moving amount of the moving body existing in each cell from the position existing at the past time before the arbitrary time t to the position existing at the arbitrary time t.
  • movement amounts dx1, dy1, dx2, and dy2 of the vehicle 102b in the xy direction from the times t-1 and t-2 to the arbitrary time t are set.
  • the movement amount for two times is set in the data 802, but the movement amount may be set for only one time, or the movement amount for three or more times may be set.
  • speed information may be set for each time in addition to the movement amount.
  • the information of the moving body at the past time is generated by the moving body information of the traveling data 702 (see FIG. 7) at the arbitrary time t.
  • the input map 801 is a three-dimensional tensor in which each cell stores various vector information of the static object or the moving object indicated by the data 802.
  • the output map generation unit 704 reads the travel data 702 from the future time t + 1 to the future time t + T after the arbitrary time t from the travel data storage unit 701 and generates an output map.
  • the output map 901 is a grid map having the same range and the same resolution as the input map 801.
  • the amount of movement of the moving body existing in each cell from the position at the arbitrary time t to the position existing at the future time is stored as data 902.
  • the output map 901 is a three-dimensional tensor in which the vector information of the movement amount indicated by the data 902 is stored in each cell.
  • the movement amount estimation unit 705 estimates the movement amount of each cell coordinate on the input map 801 using the input map 801 generated by the input map generation unit 703.
  • the movement amount estimated by the movement amount estimation unit 705 becomes a three-dimensional tensor having the same dimensions as the output map 901.
  • the estimation of the movement amount is performed by a convolutional neural network.
  • the convolutional neural network is a neural network that predicts with high accuracy by stacking a plurality of convolutional layers and uses, for example, a configuration called U-Net. Further, the convolutional neural network may be a neural network having a structure called an attention mechanism inside in addition to the convolutional layer.
  • the parameter updating unit 706 updates the parameters used in the convolutional neural network so that the error between the movement amount estimated by the movement amount estimating unit 705 and the movement amount of the output map 901 generated by the output map generating unit 704 becomes small.
  • the parameter is, for example, a weight matrix or a bias term used in the convolutional layer or the attention mechanism.
  • the parameters are updated by, for example, the stochastic gradient effect method or an extension of the stochastic gradient effect method. The calculation of the error of the movement amount is performed only on the area in which the movement amount is stored as the data 902 in the output map 901.
  • the server sets the movement amount of the moving body observed at any time until the future time as the target output, and the error between the movement amount at the future time estimated by the convolutional neural network from the input map 801 and the target output is small.
  • the parameters of the convolutional neural network are updated so that
  • the movement amount estimation unit 705 estimates the movement amount from the input map 801 by the convolutional neural network, the movement amount is estimated by the same three-dimensional tensor as the output map 901. At this time, the area corresponding to the output map 901 changes depending on the position of the vehicle. That is, since the position of the input map 801 changes according to the position of the own vehicle amount, a deviation occurs between the input map 801 and the output map 901. Therefore, when the future behavior of the moving body is directly predicted by the convolutional neural network, the estimation result is affected by the relative positions of the own vehicle and the moving body.
  • the server When the server completes the learning, the server notifies the vehicle behavior predicting device of the learning result.
  • the moving body behavior prediction apparatus can estimate the moving amount of the moving body on the vehicle by reflecting the learning result in the estimation of the moving amount. Note that the movement amount estimation process is usually learned by a server having abundant computing resources, but the movement amount estimation process may be learned by a vehicle.
  • FIG. 10 is a functional block diagram of the moving body behavior prediction device of the first embodiment.
  • the moving body behavior prediction apparatus is provided with an input map generation unit 1003, a movement amount estimation unit (feature amount estimation unit) 1004, a movement amount acquisition unit (feature amount acquisition unit) 1005 for each moving body, and a future position prediction unit 1006. ing.
  • the input map generation unit 1003 is provided with a map range setting unit 1007, a map resolution setting unit 1008, and a map generation unit 1009. Further, the traveling data 1001 at time t ′ (current time) is input to the moving body behavior prediction device from various sensors provided in the vehicle, an in-vehicle camera, or the like.
  • the travel data 1001 includes own vehicle information, map data, and mobile body information.
  • the input map generation unit 1003 uses the travel data 1001 to dynamically set the map range by the map range setting unit 1007 and dynamically sets the map resolution by the map resolution setting unit 1008.
  • FIG. 11 is an explanatory diagram of map range setting processing according to the first embodiment.
  • the map range setting unit 1007 dynamically sets the map range of the input map according to the road type on which the vehicle travels. For example, when the host vehicle is traveling on a highway, moving objects gather in the front-rear direction rather than the left-right direction, so a vertically long map range 1101 is set for the host vehicle. When the host vehicle is traveling on an ordinary road, a wide map range 1102 is set for the host vehicle in order to consider vehicles and pedestrians that enter the route of the host vehicle from the side. The front-back direction of the map range 1102 is set narrower than the map range 1101.
  • FIG. 12 is another explanatory diagram of the map range setting process according to the first embodiment.
  • the behavior of the host vehicle or the moving body is influenced by a distant object as the speed increases. Therefore, the map range setting unit 1007 sets the map range according to the fastest moving body among the moving bodies including the own vehicle. As the speed of the moving body increases, the range is expanded like map ranges 1201, 1202, and 1203. In this way, the map range setting unit 1007 sets the shape and size of the map range according to the environment in which the host vehicle travels and the speed of the moving body including the host vehicle.
  • the shape of the map range is prepared in advance for each environment in which the vehicle travels, and the size of the map range is determined in advance for each speed of the moving body including the vehicle.
  • FIG. 13 is an explanatory diagram of a map resolution setting process according to the first embodiment.
  • the map resolution setting unit 1008 sets the map resolution according to the number of moving bodies per unit area of the input map.
  • a high resolution is set in the map range like the map resolution 1301.
  • the resolution becomes lower like the map resolutions 1302 and 1303. This prevents information about two or more moving bodies from being stored in one cell, and suppresses deterioration of prediction accuracy.
  • the map resolution is determined in advance according to the map range and the distance between the moving objects.
  • the processing of the map range setting unit 1007 and the map resolution setting unit 1008 is also used when the input map 801 and the output map 901 are generated during learning by the server.
  • the map generation unit 1009 After setting the map range and the map resolution, the map generation unit 1009 generates an input map using the traveling data 1001 at time t ′ input from the vehicle-mounted camera or the like of the vehicle.
  • the input map has the same configuration as the input map 801 shown in FIG. 8 and is a grid map divided into a plurality of cells. In each cell of the input map, data consisting of static object information, mobile object information at time t ', and mobile object information at a past time before time t'is stored.
  • the movement amount estimation unit 1004 estimates the movement amount as the feature amount of each cell from the input map by the learned convolutional neural network.
  • the learned convolutional neural network is constructed by reflecting the parameters and the like notified from the server to the moving body behavior prediction device.
  • the movement amount is estimated in the map format as the feature amount of each cell, and the movement amount at different future times is stored in each cell of the map.
  • the movement amount stored in each cell is only estimated, and the movement amount of the moving body is not estimated.
  • FIG. 14 is an explanatory diagram of the movement amount acquisition processing according to the first embodiment.
  • the movement amount acquisition unit 1005 obtains the movement amount at a different future time from the current position of the moving body based on the movement amount of each cell of the movement amount map 1401 estimated by the movement amount estimation unit 1004. As indicated by an asterisk, the moving body rarely exists at the center of each cell coordinate, and is actually located at a coordinate deviating from the center of each cell coordinate on the movement amount map 1401.
  • the movement amount map 1402 is obtained by extracting the periphery of the moving body from the movement amount map 1401, and each cell of the movement amount map 1402 stores the movement amount of the moving body at the future time when the cell exists at the center of each cell coordinate. ing.
  • the movement amount acquisition unit 1005 acquires the movement amount from the positional relationship between the coordinates on the map where the moving body exists and the movement amounts of the peripheral cells.
  • the movement amount acquisition unit 1005 acquires the movement amount at the future time in the coordinates of the map in which the moving body exists, for example, by using bilinear interpolation from four cells around the moving body at each future time.
  • FIG. 15 is an explanatory diagram of the future position prediction processing according to the first embodiment.
  • the future position prediction unit 1006 predicts the future position of the mobile unit at different future times based on the amount of movement of the mobile unit from the current position.
  • each moving body is added by adding the relative position of each moving body to the own vehicle at each future time. It is possible to obtain the prediction result of the future behavior of the own vehicle.
  • FIG. 16 is an example of a learning flow performed by the server according to the first embodiment.
  • the learning flow is performed at the timing when the learning flow is instructed by the system administrator or when the traveling data storage unit 701 updates the traveling data of a predetermined amount or more.
  • the termination condition includes, for example, the parameter update count and the update amount condition.
  • the input map generation unit 703 When the learning end condition is not satisfied (NO in step S02), the input map generation unit 703 generates an input map (step S03).
  • the input map generation unit 703 generates an input map from the travel data 702 at the arbitrary time stored in the travel data storage unit 701.
  • the output map generator 704 generates an output map (step S04).
  • the output map generation unit 704 generates an output map from the travel data 702 at a future time after the arbitrary time stored in the travel data storage unit 701.
  • the movement amount estimation unit 705 estimates the movement amount at each cell coordinate on the map from the input map (step S05).
  • the movement amount estimation unit 705 estimates the movement amount from the input map using a convolutional neural network.
  • the parameter updating unit 706 updates the parameters of the convolutional neural network so that the error between the output of the movement amount estimating unit 705 and the output of the output map generating unit 704 becomes small (step S06). Then, each processing of step S03 to step S06 is repeated until the end condition of step S02 is satisfied, and the optimum parameter for the convolutional neural network is set.
  • the parameter after learning is notified from the server to the moving body behavior predicting apparatus of the vehicle, and is used for constructing the convolutional neural network that has been learned by the moving body behavior predicting apparatus.
  • FIG. 17 is an example of a prediction flow by the mobile body behavior prediction device of the first embodiment.
  • the map range setting unit 1007 sets the map range of the input map
  • the map resolution setting unit 1008 sets the map resolution of the input map (step S12).
  • the map range setting unit 1007 sets the map range of the input map according to the traveling environment information of the own vehicle and the speed information of the moving body.
  • the map resolution setting unit 1008 sets the map resolution according to the number of moving bodies per unit area of the input map.
  • the map generation unit 1009 generates an input map (step S13).
  • the movement amount estimation unit 1004 estimates the movement amount at each cell coordinate on the map from the input map (step S14).
  • the movement amount estimation unit 1004 estimates the movement amount from the input map by a learned convolutional neural network that reflects the learning result by the server.
  • the movement amount acquisition unit 1005 acquires the movement amount of the moving body from the current position (step S15).
  • the moving amount acquisition unit 1005 acquires the moving amount of the moving body at a predetermined coordinate by bilinear interpolation from the moving amounts stored in the peripheral cells located around the moving body.
  • the future position prediction unit 1006 predicts the future position of the mobile body (step S16).
  • the future position prediction unit 1006 estimates the future position from the relative position and the amount of movement of each moving body with respect to the vehicle. In this way, the future behavior of each mobile body is predicted, and the prediction flow ends (step S17).
  • the moving body behavior prediction apparatus estimates the moving amount of a plurality of moving bodies on a single map. Therefore, since the related information of the static object and the related information of the moving body of the single input map are commonly used for the behavior prediction of all the moving bodies, the calculation processing required for each moving body is reduced and the prediction is performed. It is possible to suppress an increase in the amount of calculation associated with an increase in the number of target moving bodies. Further, since the future behavior of each mobile body can be predicted using the information of the map in a wide range, the prediction accuracy can be improved.
  • the movement amount of each moving body is estimated using the input map.
  • the moving amount is obtained by bilinear interpolation of the moving amount of the peripheral cells of each moving body (see FIG. 14), but when the moving bodies pass each other, the prediction accuracy may be reduced.
  • FIG. 18 is a diagram illustrating a prediction example when the moving bodies pass each other. The distance between the moving bodies is narrow, and the peripheral cells of the moving bodies are partially common. Since only the movement amount used for prediction of one moving body is stored in the common cell 1801, the prediction accuracy is lowered by using this movement amount for prediction of the other moving body.
  • the second embodiment without estimating the amount of movement by map processing, the surrounding information regarding the topography and the interaction between the moving bodies is estimated, and the information regarding the traveling direction of each moving body is combined with this to estimate the future behavior. Is predicting.
  • the second embodiment will be described below with reference to the drawings.
  • the second embodiment is different from the first embodiment in that the map processing is performed to estimate even the peripheral information regarding the topography and the interaction between the moving bodies. Therefore, the description of the same configuration as the first embodiment is omitted as much as possible.
  • FIG. 19 is a functional block diagram of the server according to the second embodiment.
  • the server is provided with a travel data storage unit 1901, an input map generation unit 1903, an output generation unit 1904, a feature amount estimation unit 1905, a feature amount acquisition unit 1906, a future position prediction unit 1907, and a parameter update unit 1908.
  • the traveling data storage unit 1901 stores traveling data 1902 collected from each moving body at each time.
  • the input map generation unit 1903 reads the travel data 1902 at the arbitrary time t from the travel data storage unit 1901 and generates a single input map.
  • the output generation unit 1904 reads the traveling data 1902 from the future time t + 1 after the arbitrary time t to the future time t + T from the traveling data storage unit 1901 and outputs the movement amount of each moving object at the future time.
  • the output of the output generation unit 1904 is not a three-dimensional tensor like the output map of the first embodiment, but a movement amount vector for the number of moving bodies. This is the same as the movement amount vector stored in the cell where the moving body exists in the output map.
  • the feature quantity estimation unit 1905 estimates the feature quantity of each cell by extracting the feature map from the input map using the convolutional neural network for feature quantity estimation.
  • the feature map includes, as a feature amount, terrain information and peripheral information regarding the interaction between moving bodies.
  • the feature amount acquisition unit 1906 acquires the value of the feature map of each mobile object by bilinear interpolation from the feature values of the peripheral cells of each mobile object.
  • the future position prediction unit 1907 predicts the movement amount for each moving body from the value of the feature map, the speed information of each moving body, and the moving amount of the moving body at the past time using a neural network for moving amount estimation.
  • the parameter updating unit 1908 uses a convolutional neural network for feature amount estimation and a movement amount estimation so that the error between the movement amount acquired by the future position prediction unit 1907 and the movement amount output by the output generation unit 1904 becomes small.
  • the neural network is updated.
  • the parameter update process is repeated until the end condition is satisfied, as in the first embodiment.
  • FIG. 20 is a functional block diagram of the moving body behavior prediction device of the second embodiment.
  • the mobile body behavior prediction device is provided with an input map generation unit 2003, a feature amount estimation unit 2004, a feature amount acquisition unit 2005 for each mobile unit, and a future position prediction unit 2006.
  • the input map generation unit 2003 is provided with a map range setting unit 2007, a map resolution setting unit 2008, and a map generation unit 2009.
  • the input map generation unit 2003 sets the map range by the map range setting unit 2007 and sets the map resolution by the map resolution setting unit 2008 to generate the input map.
  • the feature quantity estimation unit 2004 extracts the feature map from the input map by the learned convolutional neural network and estimates the feature quantity for each cell.
  • the feature amount acquisition unit 2005 acquires the value of the feature map of each mobile object by bilinear interpolation from the feature values of the peripheral cells of each mobile object.
  • the future position prediction unit 2006 inputs the value of the feature map, the speed information of each moving body, and the moving amount of the moving body at the past time to the learned neural network to predict the moving amount of each moving body. Then, the future position prediction unit 2006 can obtain the prediction result of the future behavior of each moving body with respect to the own vehicle by adding the relative position of each moving body with respect to the own vehicle to the movement amount of each moving body.
  • the mobile body behavior prediction apparatus it is possible to suppress an increase in calculation load and improve the prediction accuracy of each mobile body, as in the first embodiment. Further, the calculation processing of the feature amount estimation unit 2004 is performed up to recognition of the surrounding environment of each mobile body. Therefore, even in a traffic situation in which moving bodies pass each other, it is possible to make a highly accurate prediction by combining the information on the surrounding environment with the moving amount of each moving body at the past time, that is, the information on the traveling direction.
  • the prediction method of the first embodiment (hereinafter, referred to as the first prediction method)
  • the prediction method of the second embodiment (hereinafter referred to as the second prediction method) can avoid a decrease in prediction accuracy even in a traffic situation in which mobile bodies pass each other, but the calculation processing for each mobile body increases. Processing time becomes long. Therefore, in the third embodiment, the first and second prediction methods are selectively used according to whether or not the traffic situation causes the mobile bodies to pass each other.
  • FIG. 21 is a functional block diagram of the moving body behavior prediction device of the third embodiment.
  • the moving body behavior prediction device is provided with a prediction method selection unit 2101, a prediction method calling unit 2102, a prediction method storage unit 2103, and a prediction unit 2104.
  • the prediction method selection unit 2101 selects which of the first and second prediction methods to use.
  • the prediction method selection unit 2101 selects the first prediction method when the minimum value of the distances of the plurality of moving bodies is equal to or more than the threshold value, and selects the first prediction method when the minimum value of the distances of the plurality of moving bodies is smaller than the threshold value. Select the two prediction methods.
  • the distance equal to or greater than the threshold is a distance in which peripheral cells of the moving bodies are not common, and the distance smaller than the threshold is a distance in which peripheral cells of the moving bodies are common.
  • the prediction method calling unit 2102 reads the prediction method selected by the prediction method selection unit 2101 from the prediction method storage unit 2103.
  • the prediction unit 2104 predicts the future behavior of each mobile body by the prediction method called from the prediction method storage unit 2103.
  • the second prediction method is called, and the prediction accuracy is prioritized over the processing speed of the arithmetic processing, and the deterioration of the prediction accuracy is suppressed.
  • the first prediction method is called, and the processing speed of the arithmetic processing is prioritized over the prediction accuracy to shorten the processing time.
  • the processing speed and the prediction accuracy are compatible with each other.
  • FIG. 22 is a block diagram showing the hardware configuration of the moving body behavior prediction device of this embodiment.
  • the mobile behavior prediction device includes a processor 2201 that performs various arithmetic processing according to a program, a ROM (Read Only Memory) 2202 that stores the program, a RAM (Random Access Memory) 2203 that has a work area used in various processing processes, and the like. Are built in, and these are interconnected by a bus line 2204. In this way, the arithmetic processing of each unit of the mobile body behavior prediction device is executed by causing the processor 2201, the ROM 2202, and the RAM 2203 to cooperate with each other.
  • the server also has a hardware configuration similar to that of the moving body behavior prediction apparatus, and the arithmetic processing of each unit of the server is executed by the cooperation of the processor, ROM, and RAM.
  • the mobile body behavior prediction device is configured to predict the future position of the mobile body at different times, but the mobile body behavior prediction device may predict the future position of the mobile body at a single time.
  • the mobile body behavior prediction device is configured to predict the future positions of a plurality of mobile bodies, but may predict the future positions of a single mobile body.
  • 10 server 20 moving body behavior prediction device, 30 vehicle, 1003 input map generation unit, 1004 movement amount estimation unit (feature amount estimation unit), 1005 movement amount acquisition unit (feature amount acquisition unit), 1006 future position prediction unit, 1007 Map range setting unit, 1008 map resolution setting unit, 2003 input map generation unit, 2004 feature amount estimation unit, 2005 feature amount acquisition unit, 2006 future position prediction unit, 2007 map range setting unit, 2008 map resolution setting unit, 2101 prediction method Selection unit, 2103 prediction method storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本発明は、演算量の増加を抑えつつ、移動体の将来挙動の予測精度を向上する。移動体挙動予測装置が、複数の移動体を包含可能な領域が複数のセルに分割されて、各セルに静的物体の関連情報及び移動体の関連情報が格納された単一の入力マップを生成する入力マップ生成部（１００３）と、入力マップから学習済みの畳み込みニューラルネットワークによって各セルの特徴量として移動量を推定する移動量推定部（１００４）と、移動体の周辺セルに格納された移動量から移動体の現在位置における移動量を取得する移動量取得部（１００５）と、移動体の現在位置の特徴量に基づき移動体の将来位置を予測する将来位置予測部（１００６）とを備える構成にした。

Description

移動体挙動予測装置
　本発明は移動体挙動予測装置に関する。
　車両の自動運転の実現に向けて、車載カメラ等により周囲状況をセンシングするセンシング技術、センシングデータに基づいて自車両の状態と周辺環境を認識する認識技術、認識情報に基づいて走行速度や操舵角等を制御する制御技術の開発が進められている。認識技術においては、自車両周辺に存在する地物や移動体を認識して、自車両周辺の移動体の将来時刻の位置を予測する将来挙動予測技術が求められる。
　歩行者や車両等の移動体の将来挙動には、各移動体の過去の挙動の他、移動体間の相互作用及び交通状況といった移動体周辺の環境等の多様な要因が影響する。これら多様な要因の複雑な影響を扱うために、機械学習によって将来挙動を予測する仕組みが検討されている。例えば、特許文献１では、各移動体の時系列の動作と、各移動体周辺の環境情報であるマップデータを組み合わせて、各移動体の将来挙動を予測する仕組みが検討されている。
特開２０１８－５５１４１号公報
　一般に、移動体は、自己の挙動を決定する際に、遠方の他の移動体の挙動を考慮している。各移動体の将来挙動を予測するためには、広範囲の環境情報を考慮する必要がある。
   しかしながら、複雑な環境認識に多くの演算量を要し、移動体毎に広範囲の環境情報を演算処理していると、演算量が爆発的に増加して実時間で周辺移動体の将来挙動の予測が困難になっていた。特許文献１に記載の方法では、演算量を抑えるために局所的な環境情報しか演算処理することができず、各移動体の将来挙動の予測精度が悪化するという問題があった。
　本発明は、上記事情に鑑みてなされたものであり、その目的は、演算量の増加を抑えつつ、移動体の将来挙動の予測精度を向上することができる移動体挙動予測装置を提供することである。
　本発明の一態様の移動体挙動予測装置は、自車両周辺の移動体の挙動を予測する移動体挙動予測装置であって、複数の前記移動体を包含可能な領域が複数のセルに分割されて、各セルに静的物体の関連情報及び前記移動体の関連情報が格納された単一の入力マップを生成する入力マップ生成部と、前記入力マップから学習済みの畳み込みニューラルネットワークによって各セルの特徴量を推定する特徴量推定部と、前記移動体の周辺に位置するセルに格納された特徴量から前記移動体の現在位置における特徴量を取得する特徴量取得部と、前記移動体の現在位置の特徴量に基づき前記移動体の将来位置を予測する将来位置予測部とを備えたことを特徴とする。
　本発明によれば、単一の入力マップの静的物体の関連情報及び移動体の関連情報が全ての移動体の挙動予測に共通に使用されるため、予測対象となる移動体数の増加に伴う演算量の増加を抑えることができる。また、複数の移動体を包含可能な広範囲のマップの情報を用いて各移動体の将来挙動を予測できるため、予測精度を向上させることができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。
  また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
移動体の将来挙動の予測例を示す図。 従来法による移動体の将来挙動の予測例を示す図。 第１の実施形態の移動体の将来挙動の予測例を示す図。 予測対象の移動体数と演算量の関係を示すグラフ。 第１の実施形態の移動体挙動予測システムのシステム構成図。 第１の実施形態の学習イメージを示す図。 第１の実施形態のサーバの機能ブロック図。 第１の実施形態の入力マップの一例を示す図。 第１の実施形態の出力マップの一例を示す図。 第１の実施形態の移動体挙動予測装置の機能ブロック図。 第１の実施形態のマップ範囲の設定処理の説明図。 第１の実施形態のマップ範囲の設定処理の他の説明図。 第１の実施形態のマップ分解能の設定処理の説明図。 第１の実施形態の移動量の取得処理の説明図。 第１の実施形態の将来位置の予測処理の説明図。 第１の実施形態のサーバによる学習フローの一例。 第１の実施形態の移動体挙動予測装置による予測フローの一例。 移動体同士のすれ違い時の予測例を示す図。 第２の実施形態のサーバの機能ブロック図。 第２の実施形態の移動体挙動予測装置の機能ブロック図。 第３の実施形態の移動体挙動予測装置の機能ブロック図。 移動体挙動予測装置のハードウェア構成を示すブロック図。
　以下、図面を用いて本実施形態について説明する。
　［第１の実施形態］
  図１は、移動体の将来挙動の予測例を示す図である。図１に示す例では、自車両１０１は、自車両１０１の安全制御のために、周辺の移動体である車両１０２ａ－１０２ｄ及び歩行者１０２ｅの将来挙動１０３ａ－１０３ｃ、１０３ｅを予測している。ここで、将来挙動とは他の移動体の所定の将来時刻における将来位置に関する情報である。
　自車両１０１は、将来挙動の予測によって、他の移動体の将来挙動を避けるように自車軌道を生成したり、他の移動体の将来挙動と自車両１０１の自車軌道が将来時刻に重なる恐れがある場合に運転手への警告や運転支援を実施したりする。
　図２は、従来法による移動体の将来挙動の予測例を示す図である。従来法では、各移動体の将来挙動の予測時に、各移動体の周辺領域の情報を演算処理している。これにより、各移動体の周辺に存在する障害物、他の移動体との相互作用、道路形状等の地形情報を考慮して他の移動体の将来挙動を予測できる。広い処理領域の情報を演算処理できれば予測精度が向上するが、実際には広い処理領域の情報を演算処理しようとすると演算負荷が大きいため、各移動体の狭い周辺領域の情報だけが演算処理される。
　例えば、車両１０２ｂの将来挙動の予測時には、処理領域２０１ｂで示すように遠方の交差点や歩行者１０２ｅの情報を考慮できない。このため、車両１０２ｂについては、直進する道路、先行車両１０２ａ、駐車車両１０２ｄのみしか考慮できず、車両１０２ｂの現状の速度を維持した将来挙動２０２ｂが予測される。これに対して、車両１０２ａについては、処理領域２０１ａに示すように、交差点の情報や歩行者１０２ｅや車両１０２ｃの影響が考慮され、交差点の手前で停止する将来挙動２０２ａが予測される。この結果、地点２０３で将来挙動２０２ａ及び将来挙動２０２ｂが交差するという無理な挙動が予測されて予測精度が低下する。また、車両１０２ａ、１０２ｂの処理領域２０１ａ、２０１ｂが重なっているため、重複領域の情報についての演算処理が無駄になる。
　図３は、第１の実施形態の移動体の将来挙動の予測例を示す図である。本実施形態では、移動体毎に周辺領域の情報を演算処理する代わりに、複数の移動体を含む広い処理領域３０１の情報を一括で演算処理している。車両１０２ａ、１０２ｂの両方で共通の処理領域３０１の情報が一括で演算処理されることで演算量が抑えられ、遠方の情報を考慮して車両１０２ａ、１０２ｂの将来挙動が予測される。車両１０２ａについては将来挙動２０２ａ（図２参照）と同様に交差点手前で停止する将来挙動３０２ａが予測され、車両１０２ｂについては車両１０２ａの後方で停止するような将来挙動３０２ｂが予測される。よって、地点２０３で車両１０２ａ、１０２ｂの将来挙動が交差するという無理な挙動が予測されることがなく予測精度が向上される。
　図４は、予測対象の移動体数と演算量の関係を示すグラフである。図４では、横軸が予測対象の移動体数、縦軸が将来挙動の予測に必要な演算量を示している。演算量４０１に示すように、従来法で広い領域の情報が演算処理されると、演算負荷が急増して、実時間で車両が処理可能な演算量４０４では少数の移動体の将来挙動しか予測することができない。このため、現実には演算量４０２に示すように狭い周辺領域の情報だけが演算処理される。周辺領域の情報だけを演算することで、移動体数の増加に対する演算量の増加比率が抑えられるが、遠方の情報が考慮されないため、将来挙動の予測精度が低下する。
　これに対して、演算量４０３に示すように、本実施形態の処理方法で広い処理領域の情報が一括で演算処理されると、少数の移動体の将来挙動の予測時には従来法よりも演算量が多くなる。しかしながら、従来法と比較して、多数の移動体の挙動を予測しても演算量の増加が抑えられると共に、広い処理領域の情報が演算処理されることで将来挙動の予測精度が向上される。なお、単一の処理領域の演算処理にも関わらず、移動体数に応じて演算量が増加するのは、全ての移動体で一括処理する周辺領域以外に、移動体毎の演算処理が必要になるためである。
　以下、本実施形態の移動体挙動予測装置について説明する。図５は、第１の実施形態の移動体挙動予測システムのシステム構成図である。移動体挙動予測システムでは、外部のサーバ１０と移動体挙動予測装置２０が搭載された車両３０とがネットワーク４０を介して接続されている。サーバ１０は、データセンタ等に設置されており、車両３０から収集した各種データの管理、各種データから将来挙動を畳み込みニューラルネットワークによって学習している。車両３０にはサーバ１０から畳み込みニューラルネットワークのパラメータが定期的に通知されている。車両３０の移動体挙動予測装置２０は、サーバ１０から通知されたパラメータによって学習済みの畳み込みニューラルネットワークを構築して周辺の移動体の将来挙動を予測している。
　図６は、第１の実施形態の学習イメージを示す図である。各移動体は、図１に示した車両１０２ａ－１０２ｄ及び歩行者１０２ｅと同一である。将来挙動のイメージには時刻ｔ＋１、ｔ＋２の各移動体の位置を将来挙動として三角で示している。本実施形態の将来挙動の予測処理では、時刻ｔで観測した各移動体の将来挙動が予測される。このとき、時刻ｔ＋１、ｔ＋２の自車両や移動体の位置が教師データとして学習され、時刻ｔの情報から時刻ｔ＋１、ｔ＋２の各移動体の将来挙動が予測される。なお、ここでは２時刻分の将来挙動のみを予測しているが、２時刻以上の将来挙動を予測してもよい。
　図７は、第１の実施形態のサーバの機能ブロック図である。サーバには、走行データ記憶部７０１、入力マップ生成部７０３、出力マップ生成部７０４、移動量推定部７０５、パラメータ更新部７０６が設けられている。走行データ記憶部７０１には、各移動体から収集した各時刻の走行データ７０２が記憶されている。各時刻の走行データ７０２には自車情報、マップデータ、移動体情報が含まれている。自車情報は、各時刻の位置、姿勢、速度等に関する情報であり、例えば、ＧＰＳ情報、ｘｙ方向の速度情報、ヨーレイト情報、方位角情報である。マップデータは、自車両周辺の地形データであり、例えば、道路形状、建物、交差点、横断歩道、標識等のデータによって構成される。移動体情報は、予測対象である移動体に関する情報であり、例えば、ＩＤ、姿勢、速度、自車両からの相対位置、過去時刻からの移動量である。移動体情報は、ＩＤによって時間軸方向で追跡することが可能になっている。
　入力マップ生成部７０３は、走行データ記憶部７０１から任意時刻ｔの走行データ７０２を読み込んで単一の入力マップ８０１を生成する。図８に示すように、入力マップ８０１は、複数の移動体を包含可能な領域が複数のセルに分割されたグリッドマップである。
  入力マップ８０１は自車両１０１を基準に設定されている。将来挙動の予測には、各移動体の周辺環境、移動体間の相互作用、各移動体の過去の挙動といった多様な要素が影響する。これら多様な要素を考慮するために、入力マップ８０１の各セルには、静的物体の関連情報、任意時刻ｔの移動体の関連情報、任意時刻ｔよりも前の過去時刻の移動体の関連情報を含むデータ８０２が格納されている。
　静的物体の関連情報とは、道路、建物、交差点等の固定された地物に関する情報である。図８では省略しているが、静的物体の関連情報として横断歩道、白線、標識といった情報が含まれていてもよい。データ８０２には、各セルに含まれる静的物体の項目に「１」が設定され、各セルに含まれない静的物体の項目に「０」が設定される。静的物体の関連情報は、任意時刻ｔの走行データ７０２（図７参照）のマップデータによって生成される。
　任意時刻ｔの移動体の関連情報とは、交差点状態、車両、歩行者、移動体の速度情報等の時間変化する情報である。交差点状態は、自車両進行方向から交差点領域に進入してよい場合にはデータ８０２に「１」が設定され、自車両進行方向から交差点領域に進入してはいけない場合にはデータ８０２に「０」が設定される。また、各セルが非交差点領域に属する場合にはデータ８０２に「１」が設定される。データ８０２には、各セルに含まれる移動体の項目に「１」が設定され、各セルに含まれない移動体の項目に「０」が設定される。また、セルに移動体が存在する場合にはデータ８０２に速度情報ｖｘ、ｖｙが設定され、セルに移動体が存在しない場合にはデータ８０２に０が設定される。任意時刻ｔの移動体の情報は、任意時刻ｔの走行データ７０２（図７参照）の移動体情報によって生成される。
　過去時刻の移動体の関連情報とは、各セルに存在する移動体が任意時刻ｔよりも前の過去時刻に存在した位置から任意時刻ｔに存在する位置までの移動量である。例えば、データ８０２には、車両１０２ｂの時刻ｔ－１、ｔ－２から任意時刻ｔまでのｘｙ方向の移動量ｄｘ１、ｄｙ１、ｄｘ２、ｄｙ２が設定される。図８では、データ８０２に２時刻分だけ移動量が設定されたが、１時刻だけ移動量が設定されてもよいし、３時刻以上の移動量が設定されてもよい。また、データ８０２には、移動量に加えて時刻毎に速度情報が設定されていてもよい。過去時刻の移動体の情報は、任意時刻ｔの走行データ７０２（図７参照）の移動体情報によって生成される。このように、入力マップ８０１は、各セルにデータ８０２で示す静的物体や移動体の各種ベクトル情報が格納された３次元テンソルとなる。
　出力マップ生成部７０４は、走行データ記憶部７０１から任意時刻ｔよりも後の将来時刻ｔ＋１から将来時刻ｔ＋Ｔまでの走行データ７０２を読み込んで出力マップを生成する。図９に示すように、出力マップ９０１は入力マップ８０１と同様な範囲で同様な分解能を持ったグリッドマップである。出力マップ９０１の各セルには、各セルに存在する移動体の任意時刻ｔの位置から将来時刻に存在する位置までの移動量がデータ９０２として格納されている。例えば、各セルには、データ９０２として、車両１０２ｂの任意時刻ｔから将来時刻ｔ＋１、…ｔ＋Ｔまでのｘｙ方向の移動量ｄｘ１、ｄｙ１、…ｄｘＴ、ｄｙＴが格納される。移動体が存在しないセルについては移動量が格納されず、空のベクトル情報が格納される。このように、出力マップ９０１は、各セルにデータ９０２で示す移動量のベクトル情報が格納された３次元テンソルとなる。
　移動量推定部７０５は、入力マップ生成部７０３が生成した入力マップ８０１を用いて、入力マップ８０１上の各セル座標の移動量を推定する。移動量推定部７０５で推定された移動量は出力マップ９０１と同様な次元を持つ３次元テンソルになる。移動量の推定は、畳み込みニューラルネットワークで実施される。畳み込みニューラルネットワークは、複数の畳み込み層を重ねることで高精度に予測するニューラルネットワークであり、例えばＵ－Ｎｅｔと呼ばれる構成を用いる。また、畳み込みニューラルネットワークは、畳み込み層に加えて注意機構と呼ばれる構造を内部に持ったニューラルネットワークでもよい。
　パラメータ更新部７０６は、移動量推定部７０５が推定した移動量と出力マップ生成部７０４が生成した出力マップ９０１の移動量の誤差が小さくなるように、畳み込みニューラルネットワークで使用されるパラメータが更新される。パラメータとは、例えば、畳み込み層や注意機構で用いられる荷重行列やバイアス項等である。パラメータの更新は、例えば確率勾配効果法や確率勾配効果法の拡張によって実施される。なお、移動量の誤差の算出は、出力マップ９０１にデータ９０２として移動量が格納された領域に対してのみ実施される。このように、サーバは、任意時刻に観測された移動体の将来時刻までの移動量を目標出力とし、入力マップ８０１から畳み込みニューラルネットワークによって推定される将来時刻の移動量と目標出力の誤差が小さくなるように、畳み込みニューラルネットワークのパラメータを更新している。
　また、移動量推定部７０５は、入力マップ８０１から畳み込みニューラルネットワークによって移動量を推定するため、出力マップ９０１と同様な３次元テンソルで移動量が推定される。この際、出力マップ９０１が対応する領域は自車両の位置によって変化する。
  すなわち、自車量の位置に応じて入力マップ８０１の位置が変わるため、入力マップ８０１と出力マップ９０１にズレが生じる。したがって、畳み込みニューラルネットワークによって移動体の将来挙動が直に予測されると、自車両と移動体の相対位置に推定結果が影響を受ける。各移動体の将来挙動に影響を与えるのは、各移動体と自車両の相対位置ではなく、各移動体の周辺環境や移動体同士の相互作用であるため、各移動体の将来挙動を直に予測することで学習が不安定になる。そこで、本実施形態では、直に各移動体の将来挙動を予測せずに、各セル座標からの将来時刻に対する移動量を予測して、各移動体の自車両との相対位置の影響が排除されることで学習を安定させている。
　サーバにて学習が完了すると、サーバから車両の移動体挙動予測装置に学習結果が通知される。移動体挙動予測装置は、学習結果を移動量の推定に反映させることで、車両上で移動体の移動量を推定することが可能になっている。なお、通常は演算資源の豊富なサーバで移動量の推定処理が学習されるが、車両にて移動量の推定処理が学習されてもよい。
　図１０は、第１の実施形態の移動体挙動予測装置の機能ブロック図である。移動体挙動予測装置には、入力マップ生成部１００３、移動量推定部（特徴量推定部）１００４、移動体別の移動量取得部（特徴量取得部）１００５、将来位置予測部１００６が設けられている。入力マップ生成部１００３には、マップ範囲設定部１００７、マップ分解能設定部１００８、マップ生成部１００９が設けられている。また、移動体挙動予測装置には、車両に設けられた各種センサや車載カメラ等から時刻ｔ’（現在時刻）の走行データ１００１が入力される。走行データ１００１には、学習時の走行データ７０２と同様に、自車情報、マップデータ、移動体情報が含まれている。本実施形態の将来挙動の予測は、大部分の処理がマップ上で実施されるため、マップ範囲及びマップ分解能が予測精度に影響する。このため、入力マップ生成部１００３は、走行データ１００１を用いて、マップ範囲設定部１００７でマップ範囲を動的に設定すると共に、マップ分解能設定部１００８でマップ分解能を動的に設定している。
　図１１は、第１の実施形態のマップ範囲の設定処理の説明図である。マップ範囲設定部１００７は、自車両が走行する道路種別によって入力マップのマップ範囲を動的に設定する。例えば、自車両が高速道路を走行している場合には、左右方向よりも前後方向に移動体が集まるため、自車両に対して縦長なマップ範囲１１０１が設定される。自車両が一般道を走行している場合には、自車両の進路に側方から進入する車両や歩行者を考慮するために、自車両に対して幅広なマップ範囲１１０２が設定される。マップ範囲１１０２の前後方向はマップ範囲１１０１よりも狭く設定される。これは、一般道では高速道路よりも自車両や他の移動体の速度が遅いため、処理領域が狭くても予測精度に影響がないからである。自車両が駐車場等で徐行している場合には、遠方の移動体を考慮する必要がないため、自車両に対して自車両周辺のマップ範囲１１０３が設定される。
　図１２は、第１の実施形態のマップ範囲の設定処理の他の説明図である。自車両又は移動体の挙動は速度が高いほど遠方の物体の影響を受ける。このため、マップ範囲設定部１００７は、自車両含めた移動体の中で最も高速な移動体に応じてマップ範囲を設定する。
  移動体の速度が高くなるにつれて、マップ範囲１２０１、１２０２、１２０３のように範囲が拡大される。このように、マップ範囲設定部１００７は、自車両が走行する環境及び自車両を含む移動体の速度によってマップ範囲の形状および大きさを設定する。なお、自車両が走行する環境毎にマップ範囲の形状が事前に用意されており、自車両を含む移動体の速度毎にマップ範囲の大きさが事前に決定されている。
　図１３は、第１の実施形態のマップ分解能の設定処理の説明図である。マップ分解能設定部１００８は、入力マップの単位面積当たりの移動体数に応じてマップ分解能を設定する。入力マップの単位面積当たりの移動体数が多く、移動体間の距離が小さい場合には、マップ分解能１３０１のようにマップ範囲に高い分解能が設定される。反対に入力マップの単位面積当たりの移動体数が減少して、移動体間の距離が大きくなるにつれて、マップ分解能１３０２、１３０３のように分解能が低くなる。これにより、１つのセルに対して二つ以上の移動体に関する情報が格納されることが防止されて予測精度の劣化が抑えられている。なお、マップ範囲と移動体間の距離に応じてマップ分解能は事前に決定されている。
　なお、マップ範囲設定部１００７及びマップ分解能設定部１００８の処理は、サーバによる学習時に入力マップ８０１及び出力マップ９０１を生成する際にも使用される。
　マップ生成部１００９は、マップ範囲及びマップ分解能の設定後に、車両の車載カメラ等から入力された時刻ｔ’の走行データ１００１を用いて入力マップを生成する。入力マップは、図８に示す入力マップ８０１と同様な構成であり、複数のセルに分割されたグリッドマップである。入力マップの各セルには、静的物体の情報、時刻ｔ’の移動体の情報、時刻ｔ’よりも前の過去時刻の移動体の情報からなるデータが格納されている。
　移動量推定部１００４は、学習済みの畳み込みニューラルネットワークによって入力マップから各セルの特徴量として移動量を推定する。学習済みの畳み込みニューラルネットワークは、サーバから移動体挙動予測装置に通知されたパラメータ等を反映することで構築される。ここでは、各セルの特徴量として移動量がマップ形式で推定されており、マップの各セルに異なる将来時刻の移動量が格納されている。なお、移動量の推定段階では、各セルに格納される移動量が推定されるだけであり、移動体の移動量が推定されるわけではない。
　図１４は、第１の実施形態の移動量の取得処理の説明図である。移動量取得部１００５は、移動量推定部１００４で推定された移動量マップ１４０１の各セルの移動量に基づき、移動体の現在位置からの異なる将来時刻の移動量を所得する。星印に示すように、移動体が各セル座標の中心に存在することは稀であり、実際には移動量マップ１４０１上の各セル座標の中心から外れた座標に位置している。移動量マップ１４０２は移動量マップ１４０１から移動体周辺を抜き出したものであり、移動量マップ１４０２の各セルには各セル座標の中心に存在した場合の移動体の将来時刻の移動量が格納されている。移動量取得部１００５は、移動体が存在するマップ上の座標と周辺セルの移動量との位置関係から移動量を取得する。移動量取得部１００５は、例えば、将来時刻毎に移動体の周辺４セルからバイリニア補間を用いて、移動体の存在するマップの座標における将来時刻の移動量を取得する。
　図１５は、第１の実施形態の将来位置の予測処理の説明図である。将来位置予測部１００６は、移動体の現在位置からの移動量に基づき移動体の異なる将来時刻の将来位置を予測する。この場合、移動量取得部１００５の出力は異なる将来時刻における現在位置からの移動量であるため、将来時刻毎に移動量に各移動体の自車両に対する相対位置を加算することで、各移動体の自車両に対する将来挙動の予測結果を得ることができる。
　続いて、サーバによる学習処理、移動体挙動予測装置による移動体の将来位置の予測処理について説明する。
　図１６は、第１の実施形態のサーバによる学習フローの一例である。なお、学習フローは、システム管理者によって学習フローが指示されたタイミングや、走行データ記憶部７０１にて所定量以上の走行データが更新されたタイミングに実施される。学習フローが開始されると（ステップＳ０１）、学習の終了条件を満たすか否かが判定される（ステップＳ０２）。終了条件には、例えばパラメータの更新回数や更新量の条件が含まれている。
  パラメータの更新処理が規定回数以上繰り返された場合や、パラメータの更新量が一定量以下になった場合には、終了条件を満たしたと判定され（ステップＳ０２でＹＥＳ）、学習フローが終了する（ステップＳ０７）。
　学習の終了条件を満たさない場合（ステップＳ０２でＮＯ）、入力マップ生成部７０３によって入力マップが生成される（ステップＳ０３）。入力マップ生成部７０３は、走行データ記憶部７０１に記憶された任意時刻の走行データ７０２から入力マップを生成する。次に、出力マップ生成部７０４によって出力マップが生成される（ステップＳ０４）。
出力マップ生成部７０４は、走行データ記憶部７０１に記憶された任意時刻よりも後の将来時刻の走行データ７０２から出力マップを生成する。次に、移動量推定部７０５によって入力マップからマップ上の各セル座標における移動量が推定される（ステップＳ０５）。移動量推定部７０５は、畳み込みニューラルネットワークによって入力マップから移動量を推定する。
　次に、パラメータ更新部７０６によって移動量推定部７０５の出力と出力マップ生成部７０４の出力の誤差が小さくなるように畳み込みニューラルネットワークのパラメータが更新される（ステップＳ０６）。そして、ステップＳ０３からステップＳ０６の各処理がステップＳ０２の終了条件を満たすまで繰り返されて、畳み込みニューラルネットワークに最適なパラメータが設定される。学習後のパラメータはサーバから車両の移動体挙動予測装置に向けて通知され、移動体挙動予測装置で学習済みの畳み込みニューラルネットワークの構築に使用される。
　図１７は、第１の実施形態の移動体挙動予測装置による予測フローの一例である。予測フローが開始されると（ステップＳ１１）、マップ範囲設定部１００７によって入力マップのマップ範囲が設定されると共に、マップ分解能設定部１００８によって入力マップのマップ分解能が設定される（ステップＳ１２）。マップ範囲設定部１００７は、自車両の走行環境情報及び移動体の速度情報に応じて入力マップのマップ範囲を設定する。マップ分解能設定部１００８は、入力マップの単位面積当たりの移動体数に応じてマップ分解能を設定する。次に、マップ生成部１００９によって入力マップが生成される（ステップＳ１３）。
　次に、移動量推定部１００４によって入力マップからマップ上の各セル座標における移動量が推定される（ステップＳ１４）。移動量推定部１００４は、サーバによる学習結果を反映した学習済みの畳み込みニューラルネットワークによって入力マップから移動量を推定する。次に移動量取得部１００５によって移動体の現在位置からの移動量が取得される（ステップＳ１５）。移動量取得部１００５は、移動体の周辺に位置する周辺セルに格納された移動量からバイリニア補間によって所定座標の移動体の移動量を取得する。次に、将来位置予測部１００６によって移動体の将来位置が予測される（ステップＳ１６）。
将来位置予測部１００６は、自車両に対する各移動体の相対位置と移動量から将来位置を推定する。このようにして、各移動体の将来挙動が予測されて予測フローが終了する（ステップＳ１７）。
　以上のように、第１の実施形態に係る移動体挙動予測装置では、単一のマップ上で複数の移動体の移動量を推定している。よって、単一の入力マップの静的物体の関連情報及び移動体の関連情報が全ての移動体の挙動予測に共通に使用されるため、移動体毎に必要な演算処理を削減して、予測対象となる移動体数の増加に伴う演算量の増加を抑えることができる。また、広範囲のマップの情報を用いて各移動体の将来挙動を予測できるため予測精度を向上させることができる。
　［第２の実施形態］
  第１の実施形態では、入力マップを用いて各移動体の移動量を推定している。上記したように、各移動体の周辺セルの移動量のバイリニア補間によって移動量が求められるが（図１４参照）、移動体がすれ違う際には予測精度が低下する恐れがある。図１８は、移動体同士のすれ違い時の予測例を示す図である。移動体同士の間隔が狭く、各移動体の周辺セルが部分的に共通している。共通セル１８０１には、一方の移動体の予測に使用される移動量だけが格納されるため、この移動量が他方の移動体の予測に使用されることで予測精度が低下する。
　そこで、第２の実施形態では、マップ処理によって移動量を推定せずに、地形や移動体同士の相互作用に関する周辺情報を推定し、これに各移動体の進行方向に関する情報を組み合わせて将来挙動を予測している。以下、図面を参照して、第２の実施形態について説明する。なお、第２の実施形態は、地形や移動体同士の相互作用等に関する周辺情報までをマップ処理で推定する点で第１の実施形態と相違している。したがって、第１の実施形態と同様な構成については説明を極力省略する。
　図１９は、第２の実施形態のサーバの機能ブロック図である。サーバには、走行データ記憶部１９０１、入力マップ生成部１９０３、出力生成部１９０４、特徴量推定部１９０５、特徴量取得部１９０６、将来位置予測部１９０７、パラメータ更新部１９０８が設けられている。走行データ記憶部１９０１には、各移動体から収集した各時刻の走行データ１９０２が記憶されている。入力マップ生成部１９０３は、走行データ記憶部１９０１から任意時刻ｔの走行データ１９０２を読み込んで単一の入力マップを生成する。出力生成部１９０４は、走行データ記憶部１９０１から任意時刻ｔよりも後の将来時刻ｔ＋１から将来時刻ｔ＋Ｔまでの走行データ１９０２を読み込んで、各移動物体の将来時刻における移動量を出力する。出力生成部１９０４の出力は、第１の実施形態の出力マップのような３次元テンソルではなく、移動体数分の移動量ベクトルとなる。これは、出力マップで移動体が存在するセルに格納される移動量ベクトルと同一である。
　特徴量推定部１９０５は、特徴量推定用の畳み込みニューラルネットワークを用いて、入力マップから特徴マップを抽出して各セルの特徴量を推定する。特徴マップには、特徴量として、地形、移動体の相互作用に関する周辺情報が含まれている。特徴量取得部１９０６は、各移動体の周辺セルの特徴量からバイリニア補間によって各移動体の特徴マップの値を取得する。将来位置予測部１９０７は、移動量推定用のニューラルネットワークを用いて、特徴マップの値、各移動体の速度情報、移動体の過去時刻の移動量から移動体毎に移動量を予測する。パラメータ更新部１９０８は、将来位置予測部１９０７で取得された移動量と出力生成部１９０４で出力された移動量の誤差が小さくなるように、特徴量推定用の畳み込みニューラルネットワーク及び移動量推定用のニューラルネットワークが更新される。パラメータの更新処理は、第１の実施形態と同様に、終了条件を満たすまで繰り返される。
　図２０は、第２の実施形態の移動体挙動予測装置の機能ブロック図である。移動体挙動予測装置には、入力マップ生成部２００３、特徴量推定部２００４、移動体別の特徴量取得部２００５、将来位置予測部２００６が設けられている。入力マップ生成部２００３には、マップ範囲設定部２００７、マップ分解能設定部２００８、マップ生成部２００９が設けられている。入力マップ生成部２００３は、マップ範囲設定部２００７でマップ範囲を設定すると共に、マップ分解能設定部２００８でマップ分解能を設定して入力マップを生成する。
　特徴量推定部２００４は、学習済みの畳み込みニューラルネットワークによって入力マップから特徴マップを抽出してセル毎の特徴量を推定する。特徴量取得部２００５は、各移動体の周辺セルの特徴量からバイリニア補間によって各移動体の特徴マップの値を取得する。将来位置予測部２００６は、特徴マップの値、各移動体の速度情報、移動体の過去時刻の移動量を学習済みのニューラルネットワークに入力して各移動体の移動量を予測する。そして、将来位置予測部２００６は、各移動体の移動量に各移動体の自車両に対する相対位置を加算することで、各移動体の自車両に対する将来挙動の予測結果を得ることができる。
　以上のように、第２の実施形態に係る移動体挙動予測装置では、第１の実施形態と同様に、演算負荷の増加を抑えると共に各移動体の予測精度を向上させることができる。また、特徴量推定部２００４の演算処理は各移動体の周辺環境の認識までとなる。このため、移動体がすれ違うような交通状況においても、周辺環境の情報に対して各移動体の過去時刻の移動量、すなわち進行方向に関する情報を組み合わせることで高精度に予測することができる。
　［第３の実施形態］
  第１の実施形態の予測手法（以下、第１の予測手法）は、マップ上で移動量を予測するため演算処理が高速になるが、移動体同士がすれ違う交通状況においては予測精度が低下する。一方で、第２の実施形態の予測手法（以下、第２の予測手法）は、移動体同士がすれ違う交通状況においても予測精度の低下が避けられるが、移動体個別の演算処理が増加して処理時間が長くなる。そこで、第３の実施形態では、移動体同士のすれ違いが生じる交通状況か否かに応じて第１、第２の予測手法を使い分けている。
　図２１は、第３の実施形態の移動体挙動予測装置の機能ブロック図である。移動体挙動予測装置には、予測手法選択部２１０１、予測手法呼び出し部２１０２、予測手法記憶部２１０３、予測部２１０４が設けられている。予測手法選択部２１０１は、第１、第２の予測手法のいずれの予測手法を使用するかを選択する。予測手法選択部２１０１は、複数の移動体の距離の最小値が閾値以上の場合には第１の予測手法を選択し、複数の移動体の距離の最小値が閾値よりも小さい場合には第２の予測手法を選択する。なお、閾値以上の距離とは移動体同士の周辺セルが共通しない距離であり、閾値よりも小さい距離とは移動体同士の周辺セルが共通する距離である。
　予測手法呼び出し部２１０２は、予測手法選択部２１０１で選択された予測手法を予測手法記憶部２１０３から読み出す。予測部２１０４は、予測手法記憶部２１０３から呼び出した予測手法によって各移動体の将来挙動を予測する。移動体同士のすれ違いが生じる交通状況では第２の予測手法が呼び出されて、演算処理の処理速度よりも予測精度が優先されて予測精度の低下が抑えられている。移動体同士のすれ違いが生じない交通状況では第１の予測手法が呼び出されて、予測精度よりも演算処理の処理速度が優先されて処理時間が短縮される。このように、第３の実施形態では、処理速度と予測精度が両立されている。
　上記した各移動体挙動予測装置のハードウェア構成について説明する。図２２は、本実施形態の移動体挙動予測装置のハードウェア構成を示すブロック図である。移動体挙動予測装置には、プログラムに従って各種演算処理するプロセッサ２２０１、プログラム等が格納されたＲＯＭ（Read　Only　Memory）２２０２、各種処理過程で利用するワークエリア等を有するＲＡＭ（Random　Access　Memory）２２０３等が内蔵され、これらがバスライン２２０４によって相互接続されている。このように、移動体挙動予測装置の各部の演算処理は、プロセッサ２２０１、ＲＯＭ２２０２、ＲＡＭ２２０３を協働させることで実行されている。なお、サーバも移動体挙動予測装置と同様なハードウェア構成を有し、サーバの各部の演算処理はプロセッサ、ＲＯＭ、ＲＡＭを協働させることで実行されている。
　なお、上記の各実施形態では、移動体挙動予測装置は、移動体の異なる時刻の将来位置を予測する構成にしたが、移動体の単一時刻の将来位置を予測してもよい。移動体挙動予測装置は、複数の移動体の将来位置を予測する構成にしたが、単一の移動体の将来位置を予測してもよい。
　以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１０　サーバ、２０　移動体挙動予測装置、３０　車両、１００３　入力マップ生成部、１００４　移動量推定部（特徴量推定部）、１００５　移動量取得部（特徴量取得部）、１００６　将来位置予測部、１００７　マップ範囲設定部、１００８　マップ分解能設定部、２００３　入力マップ生成部、２００４　特徴量推定部、２００５　特徴量取得部、２００６　将来位置予測部、２００７　マップ範囲設定部、２００８　マップ分解能設定部、２１０１　予測手法選択部、２１０３　予測手法記憶部

Claims (10)

  1. 　自車両周辺の移動体の挙動を予測する移動体挙動予測装置であって、
    　複数の前記移動体を包含可能な領域が複数のセルに分割されて、各セルに静的物体の関連情報及び前記移動体の関連情報が格納された単一の入力マップを生成する入力マップ生成部と、
    　前記入力マップから学習済みの畳み込みニューラルネットワークによって各セルの特徴量を推定する特徴量推定部と、
    　前記移動体の周辺に位置するセルに格納された特徴量から前記移動体の現在位置における特徴量を取得する特徴量取得部と、
    　前記移動体の現在位置の特徴量に基づき前記移動体の将来位置を予測する将来位置予測部とを備えたことを特徴とする移動体挙動予測装置。
  2. 　前記特徴量推定部は、各セルの特徴量として移動量を推定することを特徴とする請求項１に記載の移動体挙動予測装置。
  3. 　前記特徴量推定部は、各セルの特徴量として周辺情報を推定することを特徴とする請求項１に記載の移動体挙動予測装置。
  4. 　前記特徴量取得部は、前記入力マップに存在する前記移動体の異なる将来時刻の移動量を取得することを特徴とする請求項１に記載の移動体挙動予測装置。
  5. 　前記特徴量取得部は、前記移動体の周辺に位置するセルに格納された特徴量からバイリニア補間を用いて、当該移動体の存在する座標における特徴量を取得することを特徴とする請求項１に記載の移動体挙動予測装置。
  6. 　前記入力マップ生成部は、前記移動体の関連情報として現在時刻の移動体の情報及び過去時刻の移動体の情報をセルに格納して入力マップを生成することを特徴とする請求項１に記載の移動体挙動予測装置。
  7. 　前記入力マップ生成部は、前記自車両の走行環境情報及び前記移動体の速度情報に応じて前記入力マップのマップ範囲を設定するマップ範囲設定部を有することを特徴とする請求項１に記載の移動体挙動予測装置。
  8. 　前記入力マップ生成部は、前記入力マップの単位面積当たりの移動体数に応じてマップ分解能を設定するマップ分解能設定部を有することを特徴とする請求項１に記載の移動体挙動予測装置。
  9. 　特徴量として移動量を用いた第１の予測手法及び特徴量として周辺情報を用いた第２の予測手法を記憶する予測手法記憶部と、
    　複数の移動体の距離に応じて前記第１の予測手法と前記第２の予測手法を選択する予測手法選択部とを備え、
    　前記予測手法選択部は、前記複数の移動体の距離の最小値が閾値以上の場合に前記第１の予測手法を選択し、前記複数の移動体の距離の最小値が閾値よりも小さい場合に前記第２の予測手法を選択することを特徴とする請求項１に記載の移動体挙動予測装置。
  10. 　前記畳み込みニューラルネットワークは外部のサーバにおいて学習されており、
    　前記サーバは、任意時刻の入力マップを生成し、任意時刻に観測された移動体の将来時刻までの移動量を目標出力とし、前記畳み込みニューラルネットワークによって入力マップから推定される将来時刻の移動量と目標出力の誤差が小さくなるように、当該畳み込みニューラルネットワークのパラメータを更新することを特徴とする請求項１から請求項９のいずれか一項に記載の移動体挙動予測装置。
PCT/JP2019/040169 2018-10-29 2019-10-11 移動体挙動予測装置 WO2020090419A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/284,150 US11978345B2 (en) 2018-10-29 2019-10-11 Moving object behavior prediction device
CN201980065067.4A CN112889100B (zh) 2018-10-29 2019-10-11 移动体行为预测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018202471A JP7203563B2 (ja) 2018-10-29 2018-10-29 移動体挙動予測装置
JP2018-202471 2018-10-29

Publications (1)

Publication Number Publication Date
WO2020090419A1 true WO2020090419A1 (ja) 2020-05-07

Family

ID=70464046

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040169 WO2020090419A1 (ja) 2018-10-29 2019-10-11 移動体挙動予測装置

Country Status (4)

Country Link
US (1) US11978345B2 (ja)
JP (1) JP7203563B2 (ja)
CN (1) CN112889100B (ja)
WO (1) WO2020090419A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345377A (zh) * 2022-08-29 2022-11-15 中国兵器科学研究院 一种位置预测方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021059747A1 (ja) * 2019-09-26 2021-04-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、プログラム及び情報処理装置
US20230192147A1 (en) * 2021-12-22 2023-06-22 Gm Cruise Holdings Llc Using maps at multiple resolutions and scale for trajectory prediction
CN116362390B (zh) * 2023-03-20 2023-09-12 中国人民解放军军事科学院战略评估咨询中心 基于概率神经网络的海上伏击预测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248445A (ja) * 2010-05-24 2011-12-08 Toyota Central R&D Labs Inc 可動物予測装置及びプログラム
WO2016092650A1 (ja) * 2014-12-10 2016-06-16 三菱電機株式会社 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
JP2017016414A (ja) * 2015-07-01 2017-01-19 株式会社リコー 学習方法、プログラム及び学習装置
JP2017211913A (ja) * 2016-05-27 2017-11-30 日本電信電話株式会社 行動決定装置、未来予測モデル学習装置、ネットワーク学習装置、方法、及びプログラム
JP2018055141A (ja) * 2016-09-26 2018-04-05 日立オートモティブシステムズ株式会社 移動体軌道予測システム
WO2018110605A1 (ja) * 2016-12-16 2018-06-21 クラリオン株式会社 画像処理装置、外界認識装置
WO2018146882A1 (ja) * 2017-02-08 2018-08-16 住友電気工業株式会社 情報提供システム、サーバ、移動端末、及びコンピュータプログラム
JP2018135075A (ja) * 2017-02-23 2018-08-30 パナソニックＩｐマネジメント株式会社 画像表示システム、画像表示方法及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0195291A (ja) 1987-10-05 1989-04-13 Furukawa Electric Co Ltd:The ヒートパイプ装置
JP3336207B2 (ja) * 1996-09-24 2002-10-21 株式会社ホンダアクセス 車両の衝突警報システム
JP2003344068A (ja) * 2002-05-28 2003-12-03 Matsushita Electric Works Ltd 位置表示装置
JP4683910B2 (ja) 2004-12-17 2011-05-18 ダイハツ工業株式会社 衝突防止支援装置
JP5312217B2 (ja) * 2009-06-16 2013-10-09 本田技研工業株式会社 車両用衝突可能性判定装置
JP2011204124A (ja) * 2010-03-26 2011-10-13 Toyota Motor Corp 進路予測装置
JP5535816B2 (ja) * 2010-08-04 2014-07-02 株式会社豊田中央研究所 移動物予測装置及びプログラム
JP2013004021A (ja) * 2011-06-21 2013-01-07 Toyota Motor Corp 衝突危険度判定装置
JP2015005225A (ja) * 2013-06-21 2015-01-08 トヨタ自動車株式会社 車両挙動予測装置
CN203666504U (zh) * 2013-10-29 2014-06-25 盈佳科技(长春)有限公司 一种汽车盲区雷达警示装置
JP5904226B2 (ja) 2014-02-26 2016-04-13 株式会社豊田中央研究所 車両挙動予測装置及びプログラム
JP5962706B2 (ja) 2014-06-04 2016-08-03 トヨタ自動車株式会社 運転支援装置
JP6257482B2 (ja) * 2014-09-03 2018-01-10 株式会社デンソーアイティーラボラトリ 自動運転支援システム、自動運転支援方法及び自動運転装置
CN107531244B (zh) * 2015-04-21 2020-04-21 松下知识产权经营株式会社 信息处理系统、信息处理方法、以及记录介质
JP2018156550A (ja) 2017-03-21 2018-10-04 三菱自動車工業株式会社 運転支援システム
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
GB201804195D0 (en) * 2018-03-15 2018-05-02 Blue Vision Labs Uk Ltd Visual vehicle tracking through noise and occlusions using crowd-sourced maps
DE102018216417A1 (de) * 2018-09-26 2020-03-26 Robert Bosch Gmbh Ortsvorhersage für dynamische Objekte

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248445A (ja) * 2010-05-24 2011-12-08 Toyota Central R&D Labs Inc 可動物予測装置及びプログラム
WO2016092650A1 (ja) * 2014-12-10 2016-06-16 三菱電機株式会社 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
JP2017016414A (ja) * 2015-07-01 2017-01-19 株式会社リコー 学習方法、プログラム及び学習装置
JP2017211913A (ja) * 2016-05-27 2017-11-30 日本電信電話株式会社 行動決定装置、未来予測モデル学習装置、ネットワーク学習装置、方法、及びプログラム
JP2018055141A (ja) * 2016-09-26 2018-04-05 日立オートモティブシステムズ株式会社 移動体軌道予測システム
WO2018110605A1 (ja) * 2016-12-16 2018-06-21 クラリオン株式会社 画像処理装置、外界認識装置
WO2018146882A1 (ja) * 2017-02-08 2018-08-16 住友電気工業株式会社 情報提供システム、サーバ、移動端末、及びコンピュータプログラム
JP2018135075A (ja) * 2017-02-23 2018-08-30 パナソニックＩｐマネジメント株式会社 画像表示システム、画像表示方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345377A (zh) * 2022-08-29 2022-11-15 中国兵器科学研究院 一种位置预测方法、装置、电子设备及存储介质
CN115345377B (zh) * 2022-08-29 2023-09-01 中国兵器科学研究院 一种位置预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11978345B2 (en) 2024-05-07
JP2020071495A (ja) 2020-05-07
CN112889100B (zh) 2023-01-17
JP7203563B2 (ja) 2023-01-13
US20210335131A1 (en) 2021-10-28
CN112889100A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
JP6917878B2 (ja) 移動体挙動予測装置
WO2020090419A1 (ja) 移動体挙動予測装置
US11131993B2 (en) Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
US10994729B2 (en) System and method for controlling lateral motion of vehicle
JP6913969B2 (ja) 強化学習に基づいて協同走行で多重エージェントセンサフュージョンを遂行する方法及び装置
KR20210074366A (ko) 자율주행 차량 계획 및 예측
US20230358554A1 (en) Routing graph management in autonomous vehicle routing
WO2018131090A1 (ja) 車両制御装置、車両制御方法、および車両制御プログラム
EP3715791A1 (en) Vehicle driving support system, method, computer-program product, and vehicle
JP7181354B2 (ja) 接続されたデータ分析プラットフォームを用いた車両経路指定
CN110789520B (zh) 行驶控制方法、装置及电子设备
EP3715203A1 (en) Vehicle driving support system, method, computer-program product, and vehicle
JP6838769B2 (ja) 周辺環境認識装置、表示制御装置
EP4270352A1 (en) Controlling a future traffic state on a road segment
US20220065647A1 (en) Autonomous vehicle planned route prediction
US20220032949A1 (en) Routing feature flags
CN114723903A (zh) 障碍物风险场环境建模方法及其装置、相关产品
CN114217601B (zh) 自驾车的混合决策方法及其系统
JP7338582B2 (ja) 軌道生成装置、軌道生成方法、および軌道生成プログラム
US20220065638A1 (en) Joint routing of transportation services for autonomous vehicles
US20220309797A1 (en) Information processing apparatus, vehicle, and storage medium
EP4293633A1 (en) Assisted vehicle operation based on dynamic occupancy grid maps including semantic information
Kojima et al. Intelligent technology for more advanced autonomous driving
CN117079235A (zh) 车辆轨迹预测方法、神经网络预测模型训练方法、装置
Jia et al. Cyber-Human-Physical Heterogeneous Traffic Systems for Enhanced Safety

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19879688

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19879688

Country of ref document: EP

Kind code of ref document: A1