WO2025258519A1 - 移動体挙動予測装置、車両制御装置、及び移動体挙動予測方法 - Google Patents

移動体挙動予測装置、車両制御装置、及び移動体挙動予測方法

Info

Publication number
WO2025258519A1
WO2025258519A1 PCT/JP2025/020628 JP2025020628W WO2025258519A1 WO 2025258519 A1 WO2025258519 A1 WO 2025258519A1 JP 2025020628 W JP2025020628 W JP 2025020628W WO 2025258519 A1 WO2025258519 A1 WO 2025258519A1
Authority
WO
WIPO (PCT)
Prior art keywords
behavior prediction
mobile object
vehicle
host vehicle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/020628
Other languages
English (en)
French (fr)
Inventor
正人 今井
英弘 豊田
哲司 伊藤
直之 田代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Astemo Ltd filed Critical Astemo Ltd
Publication of WO2025258519A1 publication Critical patent/WO2025258519A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • Patent Document 1 describes an example of this moving object behavior prediction technology.
  • Patent Document 1 discloses a vehicle driving assistance device that detects moving obstacles around the vehicle, calculates the moving obstacle's path of travel, and then provides driving assistance based on the calculated path of travel.
  • the path of travel of the moving obstacle is predicted taking into account factors such as the degree of proximity to obstacles other than the moving obstacle in question. This allows the vehicle driving assistance device to predict an appropriate path of travel and provide appropriate driving assistance even in situations where the moving obstacle's motion state is expected to change due to interference with other obstacles.
  • Patent Document 1 predicts the behavior (path of travel) of a target moving obstacle based on information about the obstacle's position and speed, but it is difficult to predict the behavior of the moving obstacle taking into account the interaction between the vehicle and the moving obstacle.
  • the present invention was made in consideration of the above-mentioned circumstances, and aims to make it possible to predict with high accuracy the behavior of moving objects that interact with the host vehicle.
  • a mobile object behavior prediction device includes a model storage unit and a mobile object behavior prediction unit.
  • the model storage unit stores a mobile object behavior prediction model that takes as input time series information including position information of the vehicle and mobile objects around the vehicle at different times, and vehicle state information, which is information that represents the operation or state of the vehicle displayed by the vehicle or an occupant of the vehicle and is recognizable by the mobile object, and outputs a behavior prediction result of the mobile object around the vehicle.
  • the mobile object behavior prediction unit inputs time series information including position information of the vehicle and mobile objects around the vehicle obtained at different times, and vehicle state information, which is information representing the operation or state of the vehicle displayed by the vehicle or an occupant of the vehicle and which can be recognized by the mobile object, into a mobile object behavior prediction model, and outputs the behavior prediction result of the mobile object.
  • FIG. 1 is a schematic configuration diagram illustrating an example of a vehicle control device according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a computer included in the vehicle control device according to the embodiment of the present invention.
  • 1 is a schematic configuration diagram showing a first example of a moving object behavior prediction device in a vehicle control device according to an embodiment of the present invention
  • FIG. 10 is a schematic configuration diagram showing a second example of a moving object behavior prediction device in a vehicle control device according to an embodiment of the present invention.
  • FIG. 10 is a schematic configuration diagram showing a third example of a moving object behavior prediction device in a vehicle control device according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an example of a procedure of the overall processing of the vehicle control device according to the embodiment of the present invention.
  • 10A and 10B are diagrams illustrating an example of input information and output information in a moving object behavior prediction process.
  • FIG. 10 is a diagram illustrating a first example of a moving object behavior prediction process.
  • FIG. 10 is a diagram illustrating a second example of the moving object behavior prediction process.
  • FIG. 10 is a diagram illustrating a third example of a moving object behavior prediction process.
  • FIG. 10 is a diagram illustrating a fourth example of a moving object behavior prediction process.
  • FIG. 10 is a diagram illustrating a fifth example of a moving object behavior prediction process.
  • FIG. Fig. 1 is a schematic diagram showing an example of a vehicle control device according to an embodiment of the present invention.
  • the vehicle control device 10 shown in Fig. 1 is a computer that is mounted on a vehicle and controls the vehicle.
  • the vehicle control device 10 executes programs recorded on a recording medium (not shown) to function as a surrounding environment recognition unit 11, a map information storage unit 12, a mobile object behavior prediction unit 13, a driving assistance determination unit 14, a vehicle control unit 15, and an information notification unit 16.
  • the vehicle control device 10 is connected to the vehicle's steering device 51, drive device 52, braking device 53, and transmission device 54.
  • the vehicle control device 10 is also connected to an external environment recognition device 1, sound generating device 55, and display device 56, all of which are provided in the vehicle.
  • the vehicle control device 10 is further connected to transmission paths such as the vehicle's CAN (Controller Area Network) (not shown) and dedicated lines. Vehicle information such as the vehicle's speed, steering angle, yaw rate, lighting device status, display device status, and driver monitoring system (DMS) information is input to the vehicle control device 10 via these transmission paths.
  • CAN Controller Area Network
  • Vehicle speed, steering angle, and yaw rate are examples of "time-series information" and are detected periodically or irregularly by various sensors (not shown) installed on the vehicle.
  • information that can be recognized from the moving body is referred to as "host vehicle status information.”
  • Host vehicle status information includes at least one of the host vehicle's lighting status, indicator status, or DMS information (behavior of the vehicle's occupants).
  • the external environment recognition device 1 is a device that acquires information about the vehicle's surrounding environment, and is, for example, an on-board camera such as a monocular camera or stereo camera that captures the vehicle's surrounding environment. Images acquired by the on-board camera are output to the vehicle control device 10 via a transmission path such as a dedicated line, either as analog data or after A/D conversion.
  • an on-board camera such as a monocular camera or stereo camera that captures the vehicle's surrounding environment. Images acquired by the on-board camera are output to the vehicle control device 10 via a transmission path such as a dedicated line, either as analog data or after A/D conversion.
  • other devices that can be used include radar that measures the distance to an object using millimeter waves or laser light, and sonar that measures the distance to an object using ultrasound. These devices, such as on-board cameras, may be configured to output information such as the distance to the detected object, its direction, speed, and type of object to the vehicle control device 10 via a transmission path such as a dedicated line.
  • the sound generating device 55 is composed of a speaker or the like, and functions as an information notification unit that outputs warnings, voice guidance, and the like to the driver.
  • the display device 56 is composed of a display of a navigation device or the like, a meter panel, warning lights, etc.
  • the display device 56 functions as an information notification unit that notifies information such as an operation screen and a warning screen of the vehicle control device 10.
  • the warning screen visually conveys information to the driver, such as information indicating that there is a risk of the vehicle colliding with an obstacle.
  • the map information storage unit 12 stores map information data (map data) for various applications.
  • map information data for various applications.
  • map information data For example, in the case of conventional navigation device applications, road information required for route search and route guidance, as well as information on convenience stores, gas stations, various facilities, etc., are stored.
  • shape data that approximates the actual road shape expressed using polygons, polylines, etc., as well as detailed information such as traffic regulation information (speed limits, types of vehicles allowed on the road, etc.), lane divisions (main lane, passing lane, climbing lane, straight lane, left turn lane, right turn lane, etc.), and the presence or absence of traffic lights, signs, etc. (and their location information if present).
  • An Occupancy Grid Map (OGM) may also be used as map information.
  • the mobile object behavior prediction unit 13 inputs information (time series information) such as the position and speed of the mobile object recognized by the host vehicle and surrounding environment recognition unit 11, map information acquired from the map information storage unit 12, and host vehicle status information from the vehicle information, and predicts the future behavior of the mobile object.
  • information time series information
  • map information acquired from the map information storage unit 12
  • host vehicle status information is information that can be recognized from the mobile object side, and includes the status of the host vehicle's lighting and indicators and DMS information. Note that it is also possible to predict the behavior of a mobile object interacting with the host vehicle without using map information.
  • the mobile object behavior prediction unit 13 can be said to predict the behavioral intention of the host vehicle as the future behavior of the host vehicle from the host vehicle state information.
  • behavioral intentions include turning right/left/going straight at an intersection, yielding to the other vehicle, changing lanes to the right/left, parking, leaving the parking lot, stopping, starting, remaining stopped in place, etc.
  • the behavioral intention of the host vehicle significantly affects the behavior of moving objects around the host vehicle that interact with the host vehicle. For example, by using information from the turn signal, which is one of the vehicle's lighting devices, and map information, etc., the behavioral intention of the moving objects around the host vehicle, such as turning right/left or changing lanes, can be determined. Moving objects around the host vehicle are likely to determine their own behavior based on the behavioral intention of the host vehicle. In this embodiment, the behavior of the moving objects around the host vehicle is predicted taking into account the influence that the behavioral intention of the host vehicle has on the behavior of the moving objects around the host vehicle.
  • the mobile object behavior prediction unit 13 predicts a sequence of trajectory points that the mobile object will take in the future as the future behavior of the mobile object.
  • Each point in the trajectory point sequence has position coordinates and information about the time at that time, and the trajectory is represented by connecting each point in chronological order.
  • each point in the trajectory point sequence has position coordinates and information about the speed at that time, and the trajectory is represented by connecting each point in chronological order.
  • Multiple trajectory point sequences may also be predicted, in which case it is desirable to add information such as reliability to each trajectory point sequence.
  • Reliability is an index such as probability that represents the likelihood (degree of reliability) of the target trajectory point sequence, and can also be said to be the accuracy of the prediction result.
  • the prediction method may be a method using machine learning, a method that searches for an optimal trajectory, or a method using rule-based conditional branching.
  • the mobile object behavior prediction unit 13 When machine learning is used as a method for predicting the trajectory point sequence, the mobile object behavior prediction unit 13 is provided with a model storage unit (not shown), and stores a mobile object behavior prediction model 131 learned using machine learning in the model storage unit.
  • the mobile object behavior prediction unit 13 holds each piece of information input to the mobile object behavior prediction unit 13 as time-series information from the past, and inputs at least this time-series information into the mobile object behavior prediction model 131 to predict the behavior of the above-mentioned mobile object.
  • Machine learning is assumed to be supervised learning. For example, an encoder/decoder model using a known LSTM (Long Short-Term Memory) or a Transformer can be used as the mobile object behavior prediction model 131 using machine learning.
  • LSTM Long Short-Term Memory
  • the driving assistance determination unit 14 inputs information about obstacles around the vehicle recognized by the surrounding environment recognition unit 11, information about the future behavior of the moving object predicted by the moving object behavior prediction unit 13, map information obtained from the map information storage unit 12, and vehicle information, and determines the driving assistance required for the vehicle.
  • driving assistance include assistance functions for avoiding collisions with obstacles and assistance functions for achieving cooperative driving with moving objects, such as passing each other on narrow roads, and driving assistance may also include autonomous driving functions.
  • the vehicle control device 10 realizes driving assistance functions by notifying the occupants of information and controlling the vehicle itself. For example, when notifying the occupants of information to realize an assistance function for avoiding collision with an obstacle, the vehicle control device calculates the direction of approach of the obstacle and the time to collision (TTC) with the obstacle. For example, when controlling the vehicle itself to realize an assistance function for avoiding collision with an obstacle, the vehicle control device calculates a target trajectory (a target route and a target speed on that route) that will avoid collision with the obstacle.
  • TTC time to collision
  • the vehicle control unit 15 controls the driving of the host vehicle in accordance with the assistance content determined by the driving assistance determination unit 14. For example, if a target trajectory has been generated by the driving assistance determination unit 14, the vehicle control unit 15 calculates a target steering angle and target speed based on that target trajectory. The vehicle control unit 15 then outputs a target steering torque to the steering device 51 for achieving that target steering angle. The vehicle control unit 15 also outputs a target engine torque and target brake pressure to the drive device 52 and braking device 53 for achieving the target speed. Furthermore, if it is necessary to change the traveling direction of the host vehicle (forward or reverse), the vehicle control unit 15 outputs a gear change command to the transmission 54.
  • the information notification unit 16 generates information to notify the occupants as appropriate depending on the situation, and outputs the generated information to the sound generation device 55 and the display device 56. For example, if the time to collision (TTC) with an obstacle calculated by the driving assistance determination unit 14 falls below a predetermined time (e.g., 3 seconds), the information notification unit 16 outputs a buzzer sound or a display on the meter panel to notify the occupants of danger.
  • TTC time to collision
  • a predetermined time e.g. 3 seconds
  • the vehicle control device configured as described above makes it possible to predict with high accuracy the behavior of a moving object that interacts with the vehicle. Furthermore, when the vehicle control device controls the driving of the vehicle, by preventing the target trajectory of the vehicle from interfering with the predicted trajectory of the moving body, as will be described later using Figures 7 to 12, it is possible to realize driving assistance and automatic driving with reduced risk of collision. In addition, if the predicted behavior of a moving object has the potential to impede the vehicle's progress, the vehicle control device will alert the driver to the danger, allowing the driver to keep a close eye on the moving object while driving, thereby preventing accidents.
  • FIG. Fig. 2 is a block diagram showing an example of the hardware configuration of a computer included in the vehicle control device 10.
  • a calculator 20 shown in Fig. 2 is an example of hardware used as a computer.
  • the vehicle control device 10 according to this embodiment realizes vehicle control performed by the respective functional blocks shown in Fig. 1 working together as a result of the calculator 20 (computer) executing a program.
  • Computer 20 includes a CPU (Central Processing Unit) 21, ROM (Read Only Memory) 22, and RAM (Random Access Memory) 23, all connected to a system bus. Furthermore, computer 20 includes non-volatile storage 24 and a communication interface 25.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 21 reads the program code of the software that realizes each function according to this embodiment from the ROM 22, loads it into the RAM 23, and executes it. Variables, parameters, etc. that arise during the calculation processing of the CPU 21 are temporarily written to the RAM 23, and these variables, parameters, etc. are read by the CPU 21 as appropriate.
  • the functions of each functional block of the vehicle control device 10 are realized by the CPU 21 executing the program code read from the ROM 22.
  • other processors such as an MPU (Micro Processing Unit) may be used instead of the CPU 21.
  • the non-volatile storage 24 is an example of a recording medium, and is capable of storing data used by programs and data obtained by running programs.
  • the map information storage unit 12 and model storage unit described above are configured using the non-volatile storage 24.
  • the non-volatile storage 24 may also store the OS (Operating System) and programs executed by the CPU 21. Examples of non-volatile storage 24 that may be used are HDDs (Hard Disk Drives), SSDs (Solid State Drives), optical or magnetic disk media, and semiconductor memory cards.
  • the communication interface 25 uses a communication device such as a NIC (Network Interface Card).
  • the communication interface 25 is capable of sending and receiving various types of data to and from external devices via a communication network such as a CAN or a dedicated line connected to a terminal on the NIC.
  • Mobile object behavior prediction device Next, focusing on the mobile object behavior prediction unit 13 shown in FIG. 1, a mobile object behavior prediction device configured specifically for the function thereof will be described with reference to FIGS.
  • FIG. 3 is a schematic configuration diagram showing a first embodiment of a moving object behavior prediction device in the vehicle control device 10.
  • the moving object behavior prediction device 200a shown in Fig. 3 is a computer that predicts the behavior of a moving object, and functions as a moving object behavior prediction unit 13a by executing a program recorded on a recording medium (not shown).
  • the mobile object behavior prediction model 131a is configured to input time-series information such as the position and speed of the host vehicle and mobile objects around the host vehicle, as well as host vehicle status information including the status of the host vehicle's lighting and indicators and DMS information, and output a behavior prediction result for the mobile object. For example, when machine learning is used, the mobile object behavior prediction model 131a inputs time-series information and host vehicle status information, and outputs a behavior prediction result based on a machine learning algorithm. Map information may also be included in the input to the mobile object behavior prediction model 131a.
  • the model storage unit stores a mobile object behavior prediction model (e.g., mobile object behavior prediction model 131a) that takes as input time series information including position information of a first vehicle (e.g., the user's vehicle) and mobile objects around the first vehicle (e.g., a second vehicle such as an oncoming vehicle, a pedestrian, etc.) at different times, and first vehicle state information (e.g., the user's vehicle state information) that represents the operation or state of the first vehicle displayed by the first vehicle or an occupant of the first vehicle and is information recognizable by the mobile object, and outputs a behavior prediction result of the mobile object around the first vehicle.
  • a mobile object behavior prediction model e.g., mobile object behavior prediction model 131a
  • the mobile object behavior prediction unit inputs time series information including position information of the vehicle and mobile objects around the vehicle obtained at different times, and vehicle state information, which is information representing the operation or state of the vehicle displayed by the vehicle or an occupant of the vehicle and which can be recognized by the mobile object, into a mobile object behavior prediction model, and outputs the behavior prediction result of the mobile object.
  • FIG. Fig. 4 is a schematic diagram showing a second embodiment of a moving object behavior prediction device in the vehicle control device 10.
  • the moving object behavior prediction device 200b shown in Fig. 4 is a computer that predicts the behavior of a moving object, and functions as the moving object behavior prediction unit 13b and the host vehicle behavior prediction unit 17 by executing a program recorded on a recording medium (not shown).
  • the mobile object behavior prediction device 200b is connected to a transmission line such as the host vehicle's CAN (not shown) or a dedicated line. Via these transmission lines, the mobile object behavior prediction device 200b receives time-series information including the position and speed of the host vehicle and moving objects around the host vehicle, map information, and host vehicle status information including the status of the host vehicle's lighting and indicators and DMS information. The mobile object behavior prediction device 200b then outputs the behavior prediction results of the moving object using the mobile object behavior prediction unit 13b.
  • a transmission line such as the host vehicle's CAN (not shown) or a dedicated line. Via these transmission lines, the mobile object behavior prediction device 200b receives time-series information including the position and speed of the host vehicle and moving objects around the host vehicle, map information, and host vehicle status information including the status of the host vehicle's lighting and indicators and DMS information.
  • the mobile object behavior prediction device 200b then outputs the behavior prediction results of the moving object using the mobile object behavior prediction unit 13b.
  • the vehicle behavior prediction unit 17 inputs time-series information such as the vehicle's position and speed, map information, and vehicle state information including the state of the vehicle's lighting and indicators and DMS information, and predicts the future behavior of the vehicle. For example, the vehicle behavior prediction unit 17 predicts a sequence of trajectory points that the vehicle will pass in the future as the future behavior of the vehicle.
  • the vehicle behavior prediction unit 17 predicts the vehicle's behavioral intention as the future behavior of the vehicle from the vehicle state information.
  • the prediction method may be a method using machine learning, a method that searches for an optimal trajectory, or a method using rule-based conditional branching.
  • the second embodiment is provided with a host vehicle behavior prediction unit 17 that outputs host vehicle behavior prediction results based on time-series information including host vehicle position information at different times and multi-input host vehicle state information.
  • the host vehicle behavior prediction unit 17 converts the multi-input host vehicle state information into one-dimensional information on host vehicle behavior.
  • the mobile object behavior prediction unit 13b then inputs the host vehicle behavior prediction results predicted by the host vehicle behavior prediction unit 17 into the mobile object behavior prediction model 131b in place of the host vehicle state information, thereby causing the mobile object behavior prediction model 131b to output the mobile object behavior prediction results.
  • the mobile object behavior prediction unit 13b has roughly the same functions as the mobile object behavior prediction unit 13a ( Figure 3). However, instead of inputting host vehicle state information, the mobile object behavior prediction unit 13b inputs the host vehicle behavior prediction results output from the host vehicle behavior prediction unit 17.
  • the mobile object behavior prediction model 131b inputs time-series information such as the position and speed of the host vehicle and moving objects around the host vehicle, as well as the host vehicle behavior prediction results from the host vehicle behavior prediction unit 17, and outputs the mobile object behavior prediction results. Map information may also be input to the mobile object behavior prediction model 131b.
  • machine learning has the problem that the computational model becomes more complex as the number of inputs increases.
  • a mobile object behavior prediction model 131b learned by machine learning is used in the mobile object behavior prediction unit 13b, one-dimensional information on the host vehicle behavior can be input to the mobile object behavior prediction model 131b instead of host vehicle state information. This makes it possible to avoid the mobile object behavior prediction model 131b becoming more complex.
  • the machine-learned mobile object behavior prediction model 131b is not used, there is no need for the mobile object behavior prediction unit 13b to calculate prediction results using conditional branching or the like for each piece of host vehicle state information. This makes it possible to simplify the algorithm using the mobile object behavior prediction model 131b in the mobile object behavior prediction unit 13b.
  • FIG. Fig. 5 is a schematic configuration diagram showing a third embodiment of a moving object behavior prediction device in the vehicle control device 10.
  • the moving object behavior prediction device 200c shown in Fig. 5 is a computer that predicts the behavior of a moving object, and functions as a moving object behavior prediction unit 13c and a moving object behavior prediction determination unit 18 by executing a program recorded on a recording medium (not shown).
  • the mobile object behavior prediction device 200c is connected to a transmission line such as the host vehicle's CAN (not shown) or a dedicated line. Via these transmission lines, the mobile object behavior prediction device 200c receives time-series information including the position and speed of the host vehicle and moving objects around the host vehicle, map information, and host vehicle status information including the status of the host vehicle's lighting and indicators and DMS information. The mobile object behavior prediction device 200c then outputs two behavior prediction results for the moving object via the mobile object behavior prediction unit 13c.
  • a transmission line such as the host vehicle's CAN (not shown) or a dedicated line. Via these transmission lines, the mobile object behavior prediction device 200c receives time-series information including the position and speed of the host vehicle and moving objects around the host vehicle, map information, and host vehicle status information including the status of the host vehicle's lighting and indicators and DMS information.
  • the mobile object behavior prediction device 200c then outputs two behavior prediction results for the moving object via the mobile object behavior prediction unit 13c.
  • the mobile object behavior prediction unit 13c has similar functions to the mobile object behavior prediction unit 13a ( Figure 3).
  • the mobile object behavior prediction unit 13c is equipped with a model storage unit (not shown), which stores a mobile object behavior prediction model 131c and a mobile object basic behavior prediction model 132 learned using machine learning.
  • the mobile object behavior prediction unit 13c holds each piece of information input to the mobile object behavior prediction unit 13c as time-series information from the past, and inputs at least this time-series information into the mobile object behavior prediction model 131c and the mobile object basic behavior prediction model 132 to predict the behavior of the above-mentioned mobile object.
  • the reference numerals will be omitted and they will be referred to as the "mobile object behavior prediction unit.”
  • mobile object behavior prediction model 131c has the same functions as mobile object behavior prediction model 131a ( Figure 3).
  • Mobile object basic behavior prediction model 132 differs from mobile object behavior prediction model 131c in that it does not input host vehicle state information.
  • mobile object basic behavior prediction model 132 is a conventional prediction model that uses time-series information about the host vehicle and mobile object to output mobile object behavior prediction results.
  • the behavior prediction results may be output from the mobile object behavior prediction model 131c only when, among the host vehicle state information, information that determines the behavioral intention of the host vehicle, such as that described in the host vehicle behavior prediction unit 17 ( Figure 4), is input.
  • the mobile object behavior prediction determination unit 18 ultimately determines the behavior prediction of the mobile object based on the respective behavior prediction results output from the mobile object behavior prediction model 131c and the mobile object basic behavior prediction model 132.
  • One method for determining the behavior prediction of the mobile object is to compare the reliability information of the behavior prediction results output from both prediction models and adopt the behavior prediction result with the higher reliability.
  • the mobile object behavior prediction unit 13c causes the mobile object basic behavior prediction model 132 to output the mobile object behavior prediction result (an example of a first prediction result), and causes the mobile object behavior prediction model 131c to output the mobile object behavior prediction result (an example of a second prediction result). Then, the mobile object behavior prediction determination unit 18 determines the mobile object behavior prediction based on the first prediction result and the second prediction result.
  • the first prediction result includes first reliability information about the first prediction result
  • the second prediction result includes second reliability information about the second prediction result.
  • the mobile object behavior prediction determination unit 18 determines the behavior prediction of the mobile object based on the first reliability information and the second reliability information. Note that as another method for determining the behavior prediction of the mobile object, if a behavior prediction result is output from only one of the prediction models, the output behavior prediction result may be used. The method for determining the behavior prediction of the mobile object from multiple behavior prediction results is not limited to the above example.
  • the host vehicle behavior prediction unit 17 shown in Figure 4 into the configuration of the moving object behavior prediction device 200c in Figure 5.
  • the host vehicle behavior prediction unit 17 is placed between the input terminal of the moving object behavior prediction device 200c for host vehicle state information and the moving object behavior prediction model 131.
  • the mobile object behavior prediction results output from the mobile object behavior prediction model differ depending on whether or not host vehicle state information is input to the mobile object behavior prediction model.
  • host vehicle state information is not input to the mobile object basic behavior prediction model 132, and host vehicle state information is input only to the mobile object behavior prediction model 131c.
  • the mobile object behavior prediction results also differ depending on the type of host vehicle state information input to the mobile object behavior prediction model (such as the state of the host vehicle's lighting devices, the state of the host vehicle's display devices, the behavior of the vehicle's occupants, or a combination of these pieces of information). Then, when the driving assistance determination unit 14 uses these mobile object behavior prediction results in its driving assistance determination, the content of the driving assistance also changes.
  • FIG. 6 is a flowchart showing an example of the procedure of the overall processing of the vehicle control device 10.
  • the vehicle control device 10 executes an external environment recognition result acquisition process.
  • the vehicle control device 10 acquires the external environment recognition results (time-series information for the past T seconds) from the external environment recognition device 1 installed in the vehicle.
  • the vehicle control device 10 executes a vehicle information/map information acquisition process.
  • the vehicle control device 10 acquires vehicle information such as the vehicle's speed, steering angle, yaw rate, lighting device status, display device status, and DMS information, as well as map information stored in the map information storage unit 12.
  • the vehicle control device 10 executes surrounding environment recognition processing.
  • the surrounding environment recognition unit 11 of the vehicle control device 10 detects the type and position of obstacles around the vehicle, the direction of movement and speed of moving objects among the obstacles, etc. (surrounding environment information for the vehicle) based on the external environment recognition results acquired in processing step S1.
  • each of the moving object behavior prediction devices 200a-200c ( Figures 3-5) of the vehicle control device 10 executes a moving object behavior prediction (trajectory information up to n seconds ahead) based on the vehicle information and map information acquired in processing step S2 and the vehicle surrounding environment information detected in processing step S3.
  • the moving object behavior prediction devices 200a-200c execute a moving object behavior prediction based on time-series information, map information, and vehicle state information about the vehicle and/or moving objects around the vehicle.
  • processing step S5 the vehicle control device 10 executes a driving assistance determination process.
  • the driving assistance determination unit 14 of the vehicle control device 10 determines appropriate driving assistance based on the vehicle information and map information acquired in processing step S2, the vehicle surroundings environment information detected in processing step S3, and the mobile object behavior prediction results calculated in processing step S4.
  • processing step S6 the vehicle control device 10 executes vehicle control processing.
  • the vehicle control unit 15 of the vehicle control device 10 controls the driving of the host vehicle based on the driving assistance content determined in processing step S5.
  • processing step S7 the vehicle control device 10 executes information notification processing.
  • the information notification unit 16 of the vehicle control device 10 outputs information to be notified to the occupants of the vehicle based on the content of the driving assistance determined in processing step S5, and the series of processing ends.
  • the vehicle control device 10 periodically repeats the series of processing described above.
  • FIG. 7 is a diagram showing an example of input information and output information in the mobile object behavior prediction process.
  • Fig. 7 shows an example of a situation in which a host vehicle 70 and a mobile vehicle 71 are approaching a crossroads intersection. Vehicle 71 is about to enter the intersection from the left as viewed from host vehicle 70.
  • Trajectory point sequences 75 and 76 are the past driving trajectories of vehicle 70 and vehicle 71, respectively.
  • a prediction model using machine learning is used to predict mobile object behavior
  • information on these past driving trajectories is stored in chronological order and used as input information.
  • trajectory point sequences 72, 73, and 74 are the trajectory point sequences that vehicle 71 will pass through in the future, as predicted by the mobile object behavior prediction unit, and these are used as output information. Note that in this example, three trajectory point sequences are predicted, and reliability information can be added to each and output.
  • the mobile body behavior prediction result output from the mobile body behavior prediction unit 13 is predicted trajectory information (e.g., a sequence of trajectory points) including the future position and/or future speed of the mobile body.
  • the mobile body behavior prediction result also includes reliability information for this predicted trajectory information, and includes at least one or more pieces of predicted trajectory information for each mobile body.
  • the downstream driving assistance determination unit 14 by using the behavior prediction results of the moving object, including one or more pieces of predicted trajectory information, in the downstream driving assistance determination unit 14, it is possible to achieve more appropriate driving assistance based on behavior prediction results that are more accurate than ever before.
  • FIG. 8 is a diagram showing a first example of the mobile object behavior prediction process.
  • FIG. 8 shows an example of a situation in which the host vehicle 80 and a mobile vehicle 81 are approaching an intersection 89 in a parking lot.
  • the vehicle 81 has entered the parking lot and is stopped at the entrance to the intersection 89, and the host vehicle 80 is traveling toward the intersection 89 (state (1)).
  • the mobile object behavior prediction unit predicts the future behavior of the vehicle 81
  • two trajectory point sequences 82 and 83 can be predicted as candidates.
  • the vehicle 81 has its right turn signal 81d on. If the host vehicle 80 can detect this state, the reliability of the trajectory point sequence 82 can be set high and output.
  • trajectory point sequence 82 the timing at which host vehicle 80 will enter intersection 89
  • trajectory point sequence 82 remains a prediction with low reliability. For example, if self-driving within a parking lot is performed as driving assistance in this state, the timing at which vehicle 81 will enter intersection 89 cannot be determined, and host vehicle 80 will therefore decelerate early for safety reasons and approach intersection 89 at a slower pace.
  • the bottom part of Figure 8 shows the situation after a predetermined time has passed since the top part of Figure 8, with the host vehicle 80's left turn signal 80d on (state (2)). At this time, when vehicle 81 looks at host vehicle 80, it can be seen that the host vehicle's left turn signal 80d is on, and therefore it can be seen that the state of vehicle 81 is such that it is possible to predict that "host vehicle 80 will turn left at intersection 89 as indicated by dashed line 84.”
  • the prediction result for vehicle 81 by the mobile object behavior prediction unit of vehicle 80 is the most reliable for trajectory point sequence 82 by using information from vehicle 80's turn signal 80d, and the speed information of trajectory point sequence 82 can also be predicted with high reliability. Therefore, the mobile object behavior prediction unit of vehicle 80 can make highly accurate predictions for vehicle 81. Note that, as for specific speed information of trajectory point sequence 82, for example, if the distance between vehicle 80 and vehicle 81 is large in the lower part of Figure 8, it is possible to predict that vehicle 81 will enter intersection 89 before vehicle 80 arrives at intersection 89.
  • the vehicle control device 10 mobile body behavior prediction unit of the host vehicle 80 can predict the behavior of the vehicle 81 with high accuracy, it will be possible for vehicles interacting with each other to drive smoothly in automated driving in parking lots, narrow roads, etc., as a form of driving assistance, for example.
  • FIG. 9 is a diagram showing a second example of the mobile object behavior prediction process.
  • a vehicle 90 is parked in a parking lot with its hazard lights 90h on, intending to park in a parking space 95.
  • An oncoming vehicle 91 is traveling at a constant speed toward the vehicle 90 through a passage that has become narrow due to construction work.
  • trajectory point sequence 92 in which the host vehicle 90 stops just before the construction sign 96
  • trajectory point sequence 93 in which the host vehicle 90 goes straight ahead, avoiding the construction sign 96
  • trajectory point sequence 94 in which the host vehicle 90 turns right at the intersection 99 and leaves the parking lot.
  • trajectory point sequence 93 in which oncoming vehicle 91 travels straight, avoiding construction sign 96, has the highest reliability.
  • the speed information in trajectory point sequence 93 makes it possible to predict that oncoming vehicle 91 will travel while roughly maintaining its current constant speed (while appropriately reducing speed where the passageway width narrows).
  • trajectory point sequence 92 which stops just before construction sign 96, is set to low because the distance to construction sign 96 is short and sudden deceleration is required to stop.
  • trajectory point sequence 94 which turns right at intersection 99, is also set to low because the oncoming vehicle 91's right turn signal is not detected and the vehicle maintains its speed.
  • the vehicle control device 10 mobile body behavior prediction unit of the host vehicle 90 can predict the behavior of the oncoming vehicle 91 with high accuracy, then when performing automatic parking as driving assistance, for example, the timing of starting control can be changed based on the degree of proximity of the oncoming vehicle 91. As a result, the host vehicle 90 can carry out smooth parking control without interfering with the driving of the oncoming vehicle 91.
  • FIG. 10 is a diagram showing a third example of the mobile object behavior prediction process.
  • Fig. 10 shows an example in which the host vehicle 100 is going straight through an intersection 109 in a parking lot, and an oncoming vehicle 101 is about to turn right at the intersection 109. In this situation, the host vehicle 100 has confirmed the presence of the oncoming vehicle 101 entering the parking space, and is about to decelerate (dashed line 103) and stop just before the intersection 109 while flashing its headlights 100f to give way to the oncoming vehicle 101.
  • trajectory point sequence 104 going straight through intersection 109
  • trajectory point sequence 105 turning right at intersection 109 the mobile object behavior prediction unit predicts the future behavior of the oncoming vehicle 101.
  • the trajectory point sequence 105 for turning right at the intersection 109 has the highest reliability.
  • the speed information of this trajectory point sequence 105 makes it possible to predict that the oncoming vehicle 101 will enter the intersection 109 around the time the host vehicle 100 stops.
  • the vehicle control device 10 mobile body behavior prediction unit of the host vehicle 100 can predict the behavior of the oncoming vehicle 101 with high accuracy, it will be possible to provide driving assistance, for example, by enabling vehicles interacting with each other during automated driving in parking lots, narrow roads, etc. to drive smoothly.
  • Fig. 11 is a diagram showing a fourth example of the mobile object behavior prediction process.
  • Fig. 11 shows a situation similar to Fig. 10, in which the host vehicle 110 is about to go straight through an intersection 119 in a parking lot, and the oncoming vehicle 101 is about to turn right at the intersection 119.
  • the driver of the host vehicle 110 is making a gesture (e.g., a signal with his hand) indicating to the driver of the oncoming vehicle 111 that "you may go ahead," and is about to slow down (dashed line 113) and stop just before the intersection 119.
  • a gesture e.g., a signal with his hand
  • trajectory point sequence 114 for going straight through the intersection 119
  • trajectory point sequence 115 for turning right at the intersection.
  • the vehicle control device 10 mobile body behavior prediction unit of the vehicle 100 can predict the behavior of the oncoming vehicle 111 with high accuracy, it will be possible to provide driving assistance, for example, by enabling vehicles interacting with each other during automated driving in parking lots, narrow roads, etc. to drive smoothly.
  • FIG. 12 is a diagram showing a fifth example of the mobile object behavior prediction process.
  • Fig. 12 shows an example of a situation in which a vehicle 120 is traveling at a low speed on the shoulder of a road with one lane in each direction, displaying "Slow-speed work in progress. Please drive with caution" on a display in the rear window (dashed line 123), and a following vehicle (hereinafter referred to as "following vehicle") 121 is approaching from behind.
  • trajectory point sequence 124 in which the following vehicle 121 travels while maintaining a safe distance from the host vehicle 120
  • trajectory point sequence 125 in which the following vehicle 121 overtakes the host vehicle 120.
  • the vehicle control device 10 mobile body behavior prediction unit of the vehicle 120 can predict the behavior of the following vehicle 121 with high accuracy, it will be possible to achieve smooth driving that does not interfere with the surrounding traffic flow during automated driving, for example, as a driving assistance measure.
  • the present invention by taking into account host vehicle state information when predicting the behavior of a mobile object, it is possible to predict with high accuracy the behavior of a mobile object that interacts with the host vehicle.
  • the explanation has been given assuming that the trained prediction model is implemented in a vehicle control device, etc., but this example is not limited to this.
  • a method is also possible in which data from each vehicle while it is driving is uploaded to the cloud, etc., and the data necessary for learning is extracted from that data and re-learned, and the prediction model is downloaded to the vehicle and executed. For example, it is possible to identify data on the cloud when an interaction occurs between the moving object to which the vehicle's state information is input and the vehicle itself, add this data, perform re-learning, and download it to the vehicle and execute it. This can improve the accuracy of predicting the behavior of the moving object when there is an interaction with the vehicle itself.
  • Some or all of the above-mentioned configurations, functions, processing units, etc. may be realized in hardware, for example by designing them as integrated circuits.
  • Broad processor devices such as FPGAs (Field Programmable Gate Arrays) and ASICs (Application Specific Integrated Circuits) may also be used as hardware.
  • control lines and information lines shown are those considered necessary for explanation, and not all control lines and information lines in the product are necessarily shown. In reality, it can be assumed that almost all components are interconnected.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

移動体挙動予測装置は、モデル格納部と、移動体挙動予測部を備える。モデル格納部は、異なる時刻における自車及び自車周辺の移動体の位置情報を含む時系列情報と、自車又は当該自車の搭乗者により表示される自車の操作又は状態を表す情報であって移動体が認識可能な情報である自車状態情報とを入力とし、自車周辺の移動体の挙動予測結果を出力とする移動体挙動予測モデルを格納する。移動体挙動予測部は、取得された時系列情報と、自車又は当該自車の搭乗者により表示される自車状態情報と、を移動体挙動予測モデルに入力し、移動体の挙動予測結果を出力する。

Description

移動体挙動予測装置、車両制御装置、及び移動体挙動予測方法
 本発明は、車両や歩行者などの移動体の将来の挙動を予測するための移動体挙動予測装置、車両制御装置、及び移動体挙動予測方法に関する。
 車載カメラやレーダなどの外界認識センサを用いて自車両周辺の物体(車両、二輪車、自転車、歩行者、構造物など)を検出するための技術が種々提案されている。さらに、これらの技術を用いて、検出した物体、特に車両や歩行者などの移動体に関して、将来の挙動を予測する移動体挙動予測技術が開発されている。このような技術は、高度運転支援や自動運転の実現のために必要であり、多様な環境に対応するために機械学習を利用する方法等も盛んに開発されている。
 この移動体挙動予測技術として特許文献1に記載の技術がある。特許文献1には、自車周辺の移動障害物を検出し、当該移動障害物の進行経路を算出した後に、算出された進行経路に基づいて運転支援を行う車両用運転支援装置が開示されている。この中で、移動障害物の進行経路は、当該移動障害物以外の障害物との接近度合い等を考慮して予測される。このため、この車両用運転支援装置は、当該移動障害物が他の障害物との干渉によって運動状態が変化することが予想される場面においても適切な進行経路を予測でき、かつ適切な運転支援が可能となっている。
特開2009-116790号公報
 ところで、住宅地近郊の狭い一般道や駐車場内等のように、車両や他の移動体同士が接近するような状況においては、道を譲ったり譲られたりする行動が発生する。このような状況では、自車と周辺移動体の相互作用を考慮した移動体の挙動を予測する必要がある。例えば、一般的な運転方法として、方向指示器やパッシング等を利用して互いの行動意図を表現しながらスムーズに走行する。
 特許文献1に開示されている技術は、障害物の位置や速度の情報を基にして対象となる移動障害物の挙動(進行経路)を予測するものであり、自車と移動障害物の相互作用を考慮した移動障害物の挙動に関しては予測が困難であった。
 本発明は、前述した事情を鑑みてなされたもので、自車と相互作用のある移動体の挙動を高精度に予測することを可能にすることを目的とする。
 上記課題を解決するために、本発明の一態様の移動体挙動予測装置は、モデル格納部と、移動体挙動予測部を備える。
 モデル格納部は、異なる時刻における自車及び自車周辺の移動体の位置情報を含む時系列情報と、自車又は当該自車の搭乗者により表示される当該自車の操作又は状態を表す情報であって移動体が認識可能な情報である自車状態情報とを入力とし、自車周辺の移動体の挙動予測結果を出力とする移動体挙動予測モデルを格納する。
 移動体挙動予測部は、異なる時刻において取得された自車及び自車周辺の移動体の位置情報を含む時系列情報と、自車又は当該自車の搭乗者により表示される当該自車の操作又は状態を表す情報であって移動体が認識可能な情報である自車状態情報と、を移動体挙動予測モデルに入力し、移動体の挙動予測結果を出力する。
 本発明の少なくとも一態様によれば、自車と相互作用のある移動体の挙動を高精度に予測することができる。
 上記した以外の課題、構成及び効果は、以下の発明を実施するための形態の説明により明らかにされる。
本発明の一実施形態に係る車両制御装置の一例を示す概略構成図である。 本発明の一実施形態に係る車両制御装置が備えるコンピューターのハードウェア構成例を示すブロック図である。 本発明の一実施形態に係る車両制御装置における移動体挙動予測装置の第1の実施例を示す概略構成図である。 本発明の一実施形態に係る車両制御装置における移動体挙動予測装置の第2の実施例を示す概略構成図である。 本発明の一実施形態に係る車両制御装置における移動体挙動予測装置の第3の実施例を示す概略構成図である。 本発明の一実施形態に係る車両制御装置の全体処理の手順例を示すフローチャートである。 移動体挙動予測処理における入力情報及び出力情報の一例を示す図である。 移動体挙動予測処理の第1の例を示す図である。 移動体挙動予測処理の第2の例を示す図である。 移動体挙動予測処理の第3の例を示す図である。 移動体挙動予測処理の第4の例を示す図である。 移動体挙動予測処理の第5の例を示す図である。
 以下、添付図面を参照して、本発明を実施するための形態(以下、「実施形態」と称する)の例について説明する。
 本明細書及び添付図面において、同一の構成要素又は類似の構成要素には同一の符号を付与し、重複する説明を省略する、又は差分を中心とした説明のみを行う場合がある。また、同一又は類似の構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。なお、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明することもある。各構成要素の数は、特に断りがない限り単数でも複数でもよい。
<一実施形態>
 はじめに、本発明の一実施形態に係る車両制御装置について、図1を用いて説明する。
 図1は、本発明の一実施形態に係る車両制御装置の一例を示す概略構成図である。図1に例示される車両制御装置10は、車両に搭載されて当該車両を制御するコンピューターである。車両制御装置10は、不図示の記録媒体に記録されたプログラムを実行することによって、周辺環境認識部11、地図情報記憶部12、移動体挙動予測部13、運転支援判断部14、車両制御部15、及び情報報知部16として機能する。
 車両制御装置10は、車両の操舵装置51、駆動装置52、制動装置53、及び変速装置54に接続されている。また、車両制御装置10は、車両に設けられた外環境認識装置1、音発生装置55、及び表示装置56に接続されている。さらに、車両制御装置10は、車両のCAN(Controller Area Network)(不図示)や専用線などの伝送路に接続されている。これらの伝送路を経由して車両の車速、舵角、ヨーレート、灯火器状態、表示器状態、及びドライバモニタリングシステム(Driver Monitoring System : DMS)情報などの車両情報が車両制御装置10に入力される。
 車速、舵角、及びヨーレートは「時系列情報」の一例であり、車両に設けられた図示しない各センサにより定期的又は不定期に検出される。本明細書では、これら車両情報のうち、移動体側から認識可能な情報を「自車状態情報」と称す。自車状態情報は、少なくとも自車の灯火器状態、表示器状態、又はDMS情報(自車の搭乗者の挙動)のいずれか一つを含む。
 ここで、灯火器状態は、方向指示器の点灯状態(ハザードランプ含む)、前照灯の点灯状態(素早く点滅させるパッシング等も含む)、制動灯の点灯状態、赤色回転灯(例えば、警察車両や救急車)の点灯状態等である。表示器状態は、車内外に設置された外部向けの表示器の表示内容等の状態、投光器で車外の壁や地面等に表示している内容等の状態である。DMS情報は、車内のカメラで検出した運転手のジェスチャー等の情報であり、そのジェスチャーの意味する意図を表す情報であってもよい。
 外環境認識装置1は、車両の周囲環境に関する情報を取得する装置であって、例えば、車両の周囲環境を撮影する単眼カメラやステレオカメラなどの車載カメラである。車載カメラにより得られた画像は、アナログデータのまま、又はA/D変換して、専用線などの伝送路を経由して車両制御装置10に出力される。また、車載カメラ以外にもミリ波やレーザー光を用いて物体との距離を計測するレーダ、超音波を用いて物体との距離を計測するソナー等を用いることができる。車載カメラなどのこれらの装置は、検出した物体との距離とその方角、速度や物体の種別等の情報を専用線などの伝送路を経由して車両制御装置10に出力する構成としてもよい。
 操舵装置51は、外部からの駆動指令により、電動や油圧のアクチュエータなどによって舵角を制御できる電動パワーステアリングや油圧パワーステアリング等で構成される。
 駆動装置52は、外部からの駆動指令により電動のスロットルなどでエンジントルクを制御できるエンジンシステムや、外部からの駆動指令によりモータなどの駆動力を制御できる電動パワートレインシステム等で構成される。
 制動装置53は、外部からの制動指令により電動や油圧のアクチュエータなどで制動力を制御できる電動ブレーキや油圧ブレーキ等で構成される。
 変速装置54は、外部からの変速指令により電動や油圧のアクチュエータなどで前進や後退を切り替え可能なトランスミッション等で構成される。
 音発生装置55は、スピーカー等で構成され、運転者に対する警報や音声ガイダンス等を出力する情報報知部として機能する。
 表示装置56は、ナビゲーション装置等のディスプレイ、メーターパネル、及び警告灯等で構成される。表示装置56は、車両制御装置10の操作画面や、警告画面等の情報を報知する情報報知部として機能する。警告画面は、自車両が障害物に衝突する危険があることを示す情報などを運転者に視覚的に伝える。
 周辺環境認識部11は、外環境認識装置1から入力された自車両の周囲を撮像した画像データや測距情報を用いて、自車両周辺の障害物の種別や位置、障害物の移動方向や移動速度等を検出する。障害物は、大きく移動体と静止物に分けることができる。移動体の種別としては、車両、二輪車、自転車、及び歩行者などがある。静止物の種別としては、ガードレール、縁石、植栽、駐車車両、及びポールなどである。障害物の種別や位置は、パターンマッチングによって検出するとよいが、他の技術を用いて検出してもよい。
 地図情報記憶部12は、各種のアプリケーションに対応するための地図情報のデータ(地図データ)を記憶する。例えば、従来のナビゲーション装置の用途であれば、経路探索や経路誘導に必要な道路情報やコンビニエンスストアやガソリンスタンド、各種施設などの情報が記憶される。また、自動運転用途や高度運転支援用途であれば、ポリゴンやポリライン等で表現される実際の道路形状に近い形状データと、通行規制情報(制限速度、通行可能車両の種別等)、車線区分(本線、追越車線、登坂車線、直進車線、左折車線、右折車線等)、信号機や標識等の有無(有の場合はその位置情報)などの詳細な情報が記憶される。地図情報として、占有グリッドマップ(Occupancy Grid Map:OGM)を用いてもよい。
 移動体挙動予測部13は、自車及び周辺環境認識部11で認識した移動体の位置や速度などの情報(時系列情報)、地図情報記憶部12から取得した地図情報、並びに、車両情報のうち自車状態情報を入力し、移動体の将来の挙動を予測する。上述したように、自車状態情報は、移動体側から認識可能な情報であって、自車の灯火器や表示器の状態及びDMS情報を含む。なお、地図情報を使用せずに、自車と相互作用のある移動体の挙動を予測するようにしてもよい。
 ここで、移動体挙動予測部13は、自車状態情報から自車の将来の挙動として自車の行動意図を予測しているとも言える。行動意図としては、例えば、交差路を右折する/左折する/直進する、相手に進路を譲る、右に/左に車線変更する、駐車する、出庫する、停車する、発進する、その場で停車し続ける、等がある。自車の行動意図は、自車と相互作用のある自車周辺の移動体の挙動に大きく影響する。例えば、自車周辺の移動体は、自車の灯火器の一つである方向指示器の情報と地図情報等とを用いれば、右左折や車線変更等の自車の行動意図を判断できる。自車周辺の移動体は、自車の行動意図を踏まえて移動体自身の挙動を決定する可能性が高い。本実施形態では、このような自車の行動意図が自車周辺の移動体の挙動に及ぼす影響を加味して、当該移動体の挙動を予測する。
 例えば、移動体挙動予測部13は、移動体の将来の挙動として、移動体が将来通る軌道点列を予測する。軌道点列の各点は、位置座標とその時点での時刻の情報を持ち、各点を時系列的につなぐことで軌道を表す。または、軌道点列の各点は、位置座標とその時点での速度情報を持ち、各点を時系列的につなぐことで軌道を表す。また、複数の軌道点列を予測するようにしてもよく、その場合は、各軌道点列に信頼度等の情報を付加することが望ましい。信頼度は、対象の軌道点列の尤もらしさ(信頼できる程度)を確率等の指標で表したものであり、予測結果の正確さと言うこともできる。なお、予測の手法に関しては、機械学習を用いた手法でもよいし、最適な軌道を探索する手法でもよいし、ルールベースの条件分岐による手法でもよい。
 軌道点列の予測の手法に機械学習を用いる場合、移動体挙動予測部13は、図示しないモデル格納部を備え、モデル格納部に機械学習を用いて学習した移動体挙動予測モデル131を格納する。移動体挙動予測部13は、当該移動体挙動予測部13に入力した各情報を過去からの時系列情報として保持し、少なくともこの時系列情報を移動体挙動予測モデル131に入力して上記の移動体の挙動を予測する。機械学習は、教師あり学習を想定している。例えば、移動体挙動予測モデル131の機械学習を用いた移動体挙動予測モデル131として、公知のLSTM(Long Short-Term Memory)やTransformerなどを用いたエンコーダ/デコーダモデルを用いることができる。
 運転支援判断部14は、周辺環境認識部11で認識した自車両周辺の障害物の情報、移動体挙動予測部13で予測した移動体の将来挙動の情報、地図情報記憶部12から取得した地図情報、及び車両情報を入力し、自車両に必要な運転支援を判断する。運転支援としては、例えば、障害物との衝突を回避する支援機能や、狭路でのすれ違いのような移動体と協調した走行を実現するための支援機能などがあり、運転支援に自動運転機能も含めてもよい。
 車両制御装置10では、乗員に情報を報知したり自車両を制御したりすることで運転支援の機能を実現する。例えば、障害物との衝突を回避する支援機能を実現するために乗員に情報を報知する場合は、障害物の接近方向や障害物との衝突余裕時間TTC(Time To Collision)を算出する。例えば、障害物との衝突を回避する支援機能を実現するために自車両を制御する場合は、障害物に衝突しない目標軌道(目標経路とその目標経路上の目標速度)算出する。
 車両制御部15は、運転支援判断部14で判断した支援内容に従って自車両の走行を制御する。例えば、車両制御部15は、運転支援判断部14で目標軌道が生成されている場合、その目標軌道に基づいて目標舵角と目標速度を演算する。そして、車両制御部15は、その目標舵角を実現するための目標操舵トルクを操舵装置51へ出力する。また、車両制御部15は、目標速度を実現するための目標エンジントルクや目標ブレーキ圧を、駆動装置52や制動装置53へ出力する。さらに、自車両の進行方向(前進又は後進)を変更する必要がある場合、車両制御部15は変速指令を変速装置54に出力する。
 情報報知部16は、乗員に報知するための情報を状況に応じて適宜生成し、生成した情報を音発生装置55及び表示装置56に出力する。例えば、情報報知部16は、運転支援判断部14で算出した障害物との衝突余裕時間TTCが所定時間(例えば3秒)を下回った場合に、ブザー音やメーターパネルへの表示を出力して乗員に危険を知らせる。
 以上のように構成された車両制御装置により、自車と相互作用のある移動体の挙動を高精度に予測することが可能となる。
 また、車両制御装置が自車両の走行を制御する場合は、図7~図12を用いて後述するように自車両の目標軌道が移動体の予測軌道に干渉しないようにすることで、衝突の危険性の少ない運転支援や自動運転を実現することができる。
 また、移動体の挙動予測結果が自車両の進行を妨げる可能性がある場合に車両制御装置が運転者にその危険性を報知することで、運転者はその移動体を注視して運転することができ、事故を予防することが可能となる。
[コンピューターのハードウェア構成]
 ここで、車両制御装置10が備えるコンピューターのハードウェア構成について、図2を用いて説明する。
 図2は、車両制御装置10が備えるコンピューターのハードウェア構成例を示すブロック図である。図2に示す計算機20は、コンピューターとして用いられるハードウェアの一例である。本実施形態に係る車両制御装置10は、計算機20(コンピューター)がプログラムを実行することにより、図1に示した各機能ブロックが連携して行う車両制御を実現する。
 計算機20は、システムバスに接続されたCPU(Central Processing Unit)21、ROM(Read Only Memory)22、及びRAM(Random Access Memory)23を備える。さらに、計算機20は、不揮発性ストレージ24、及び通信インターフェース25を備える。
 CPU21は、本実施形態に係る各機能を実現するソフトウェアのプログラムコードを、ROM22から読み出してRAM23にロードし実行する。RAM23には、CPU21の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれ、これらの変数やパラメーター等がCPU21によって適宜読み出される。CPU21がROM22から読み出したプログラムコードを実行することで、車両制御装置10の各機能ブロックの機能が実現される。ただし、CPU21に代えてMPU(Micro Processing Unit)等の他のプロセッサを用いてもよい。
 不揮発性ストレージ24は、記録媒体の一例であり、プログラムが使用するデータやプログラムを実行して得られたデータなどを保存することが可能である。上述した地図情報記憶部12及びモデル格納部は、不揮発性ストレージ24を用いて構成される。また、不揮発性ストレージ24に、OS(Operating System)や、CPU21が実行するプログラムを記録してもよい。不揮発性ストレージ24としては、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光や磁気を利用するディスク媒体、又は半導体メモリカード等が用いられる。
 通信インターフェース25には、例えばNIC(Network Interface Card)等の通信デバイスが用いられる。通信インターフェース25は、NIC等の端子に接続されたCAN等の通信ネットワークや専用線等を介して、外部装置との間で各種のデータを送受信することが可能である。
[移動体挙動予測装置]
 次に、図1で示した移動体挙動予測部13に着目して、その機能に特化して構成した移動体挙動予測装置について、図3~図5を用いて説明する。
(移動体挙動予測装置の第1の実施例)
 図3は、車両制御装置10における移動体挙動予測装置の第1の実施例を示す概略構成図である。図3に例示される移動体挙動予測装置200aは、移動体の挙動を予測するコンピューターであり、不図示の記録媒体に記録されたプログラムを実行することによって、移動体挙動予測部13aとして機能する。
 移動体挙動予測装置200aは、自車両のCAN(不図示)や専用線などの伝送路に接続されている。移動体挙動予測装置200aは、これらの伝送路を経由して自車及び自車周辺の移動体の位置や速度等を含む時系列情報、地図情報、並びに、自車の灯火器や表示器の状態及びDMS情報を含む自車状態情報が入力される。そして、移動体挙動予測装置200aは、移動体挙動予測部13aにより移動体の挙動予測結果を出力する。
 移動体挙動予測部13aは、移動体挙動予測部13(図1)と同様の機能を有する。また、移動体挙動予測モデル131aは、移動体挙動予測モデル131と同様の構成を有する。以下、移動体挙動予測モデル131aについて詳述する。
 移動体挙動予測モデル131aは、自車及び自車周辺の移動体の位置や速度等の時系列情報、並びに、自車の灯火器や表示器の状態及びDMS情報を含む自車状態情報を入力とし、移動体の挙動予測結果を出力とする構成である。例えば、機械学習を利用する場合、移動体挙動予測モデル131aは、時系列情報と自車状態情報を入力とし、機械学習のアルゴリズムに基づいて挙動予測結果を出力する。移動体挙動予測モデル131aの入力に地図情報を含めてもよい。
 このように、第1の実施例における移動体挙動予測装置(例えば、移動体挙動予測装置200a)は、モデル格納部(例えば、ROM22又は不揮発性ストレージ24)と、移動体挙動予測部(例えば、移動体挙動予測部13a)を備えて構成される。
 モデル格納部は、異なる時刻における第1車両(例えば、自車)及び第1車両周辺の移動体(例えば、対向車等の第2車両、歩行者など)の位置情報を含む時系列情報と、第1車両又は当該第1車両の搭乗者により表示される当該第1車両の操作又は状態を表す情報であって移動体が認識可能な情報である第1車両状態情報(例えば、自車状態情報)とを入力とし、第1車両周辺の移動体の挙動予測結果を出力とする移動体挙動予測モデル(例えば、移動体挙動予測モデル131a)を格納する。
 移動体挙動予測部は、異なる時刻において取得された自車及び自車周辺の移動体の位置情報を含む時系列情報と、自車又は当該自車の搭乗者により表示される当該自車の操作又は状態を表す情報であって移動体が認識可能な情報である自車状態情報と、を移動体挙動予測モデルに入力し、移動体の挙動予測結果を出力する。
 以上のように構成することで、自車と相互作用のある移動体の挙動を高精度に予測することができる。また、移動体の挙動予測結果を図1で示したように車両制御に特化した利用ではなく、様々な用途で利用可能となる。
(移動体挙動予測装置の第2の実施例)
 次に、上述した移動体挙動予測装置の第2の実施例について、図4を用いて説明する。
 図4は、車両制御装置10における移動体挙動予測装置の第2の実施例を示す概略構成図である。図4に例示される移動体挙動予測装置200bは、移動体の挙動を予測するコンピューターであり、不図示の記録媒体に記録されたプログラムを実行することによって、移動体挙動予測部13b、及び自車挙動予測部17として機能する。
 移動体挙動予測装置200bは、自車両のCAN(不図示)や専用線などの伝送路に接続されている。移動体挙動予測装置200bは、これらの伝送路を経由して自車及び自車周辺の移動体の位置や速度等を含む時系列情報、地図情報、並びに、自車の灯火器や表示器の状態及びDMS情報を含む自車状態情報が入力される。そして、移動体挙動予測装置200bは、移動体挙動予測部13bにより移動体の挙動予測結果を出力する。
 自車挙動予測部17は、自車の位置や速度等の時系列情報、地図情報、並びに、自車の灯火器や表示器の状態及びDMS情報を含む自車状態情報を入力し、自車の将来の挙動を予測する。例えば、自車挙動予測部17は、自車の将来の挙動として、自車が将来通る軌道点列を予測する。ここで、自車挙動予測部17は、図3の移動体挙動予測モデル131aと同様に、自車状態情報から自車の将来の挙動として自車の行動意図を予測している。なお、予測の手法に関しては、機械学習を用いた手法でもよいし、最適な軌道を探索する手法でもよいし、ルールベースの条件分岐による手法でもよい。
 このように、第2の実施例では、異なる時刻における自車の位置情報を含む時系列情報と、多入力の自車状態情報に基づいて、自車の挙動予測結果を出力する自車挙動予測部17を備える。自車挙動予測部17は、多入力である自車状態情報を自車挙動の1次元の情報に変換する。そして、移動体挙動予測部13bは、自車挙動予測部17により予測された自車の挙動予測結果を、自車状態情報に代えて移動体挙動予測モデル131bに入力することにより、移動体挙動予測モデル131bに記移動体の挙動予測結果を出力させる。
 移動体挙動予測部13bは、移動体挙動予測部13a(図3)とおおよそ同様の機能を有する。ただし、移動体挙動予測部13bでは、自車状態情報を入力する代わりに、自車挙動予測部17から出力される自車の挙動予測結果を入力する。移動体挙動予測モデル131bは、自車及び自車周辺の移動体の位置や速度等の時系列情報、並びに、自車挙動予測部17からの自車の挙動予測結果を入力とし、移動体の挙動予測結果を出力する。移動体挙動予測モデル131bに地図情報が入力されてもよい。
 一般的に機械学習においては、入力の数が多くなると演算モデルが複雑になるという課題がある。これに対して、第2の実施例では、移動体挙動予測部13bにおいて機械学習により学習した移動体挙動予測モデル131bを用いる場合に、自車状態情報の代わりに自車挙動の1次元の情報を移動体挙動予測モデル131bに入力することができる。このため、移動体挙動予測モデル131bが複雑になることを回避することができる。
 また、機械学習した移動体挙動予測モデル131bを用いない場合に関しても、移動体挙動予測部13bにおいてそれぞれの自車状態情報毎に条件分岐等で予測結果を算出する必要がなくなる。このため、移動体挙動予測部13bの移動体挙動予測モデル131bを用いたアルゴリズムを簡素にすることが可能となる。
(移動体挙動予測装置の第3の実施例)
 次に、上述した移動体挙動予測装置の第3の実施例について、図5を用いて説明する。
 図5は、車両制御装置10における移動体挙動予測装置の第3の実施例を示す概略構成図である。図5に例示される移動体挙動予測装置200cは、移動体の挙動を予測するコンピューターであり、不図示の記録媒体に記録されたプログラムを実行することによって、移動体挙動予測部13c、及び移動体挙動予測決定部18として機能する。
 移動体挙動予測装置200cは、自車両のCAN(不図示)や専用線などの伝送路に接続されている。移動体挙動予測装置200cは、これらの伝送路を経由して自者及び自車周辺の移動体の位置や速度等を含む時系列情報、地図情報、並びに、自車の灯火器や表示器の状態及びDMS情報を含む自車状態情報が入力される。そして、移動体挙動予測装置200cは、移動体挙動予測部13cにより移動体に対して2つの挙動予測結果を出力する。
 移動体挙動予測部13cは、移動体挙動予測部13a(図3)と類似の機能を有する。移動体挙動予測部13cでは、図示しないモデル格納部を備え、モデル格納部に機械学習を用いて学習した移動体挙動予測モデル131c及び移動体基本挙動予測モデル132を格納する。移動体挙動予測部13cは、当該移動体挙動予測部13cに入力した各情報を過去からの時系列情報として保持し、少なくともこの時系列情報を移動体挙動予測モデル131c及び移動体基本挙動予測モデル132に入力して上記の移動体の挙動を予測する。なお、本明細書において、移動体挙動予測部13a~13cを特に区別する必要がない場合には、符号を省略して「移動体挙動予測部」と記す。
 ここで、移動体挙動予測モデル131cは、移動体挙動予測モデル131a(図3)と同様の機能を持つ。移動体基本挙動予測モデル132は、移動体挙動予測モデル131cと比較して、自車状態情報を入力しない点が異なる。すなわち、移動体基本挙動予測モデル132は、自車及び移動体の時系列情報を用いて、移動体の挙動予測結果を出力する従来の予測モデルである。
 ここでは、後段の移動体挙動予測決定部18で移動体の挙動予測を決定するための情報として、移動体挙動予測モデル131c及び移動体基本挙動予測モデル132から挙動予測結果に加えて、信頼度の情報を出力することが望ましい。また、自車状態情報のうち、例えば自車挙動予測部17(図4)で説明したような自車の行動意図を決定づける情報が入力された場合のみ、移動体挙動予測モデル131cから挙動予測結果を出力するようにしてもよい。
 移動体挙動予測決定部18は、移動体挙動予測モデル131c及び移動体基本挙動予測モデル132から出力されたそれぞれの挙動予測結果に基づいて、最終的に移動体の挙動予測を決定する。移動体の挙動予測を決定する方法として、例えば、両者の予測モデルから出力される挙動予測結果の信頼度の情報を比較して、信頼度が高い方の挙動予測結果を採用する方法がある。
 このように、第3の実施例では、移動体挙動予測部13cは、移動体基本挙動予測モデル132に移動体の挙動予測結果(第一の予測結果の一例)を出力させるとともに、移動体挙動予測モデル131cに移動体の挙動予測結果(第二の予測結果の一例)を出力させる。そして、移動体挙動予測決定部18は、第一の予測結果及び第二の予測結果に基づいて、移動体の挙動予測を決定する。
 第3の実施例では、第一の予測結果は当該第一の予測結果についての第一の信頼度情報を含み、第二の予測結果は当該第二の予測結果についての第二の信頼度情報を含む。移動体挙動予測決定部18は、第一の信頼度情報及び第二の信頼度情報に基づいて、移動体の挙動予測を決定する。なお、移動体の挙動予測を決定する他の方法として、どちらか一方の予測モデルからしか挙動予測結果の出力がない場合には、出力された方の挙動予測結果を採用してもよい。複数の挙動予測結果から移動体の挙動予測を決定する方法は、上述した例に限らない。
 ところで、移動体の挙動を予測するために機械学習した予測モデルを用いる場合、データ量が少ないなど学習データに偏りがあると、過学習等の問題が発生することがある。過学習とは、学習データ上では正解率が高いが、実際のデータ(自動車であれば走行中に取得するデータ)にすると正解率が低くなり、学習データだけに最適化されてしまうことである。
 ここで、移動体の挙動を予測するためには、学習データは、様々なシーンを対象に大量のデータを取得することが望ましい。しかし、自車と移動体の相互作用が発生するシーンは、全体のシーンの中ではかなり少ないことが予想される。このため、図5のように、予測モデルを分割して一方の予測モデルには自車状態情報を入力しない構成とすることで、過学習を防止することができる。また、移動体挙動予測モデル131cは、自車状態情報の入力があるときに特化して学習した予測モデルとなるため、安定した予測結果を出力することが可能である。
 なお、図4に示した自車挙動予測部17を、図5の移動体挙動予測装置200cの構成に取り入れることも可能である。この場合、移動体挙動予測装置200cの自車状態情報の入力端と移動体挙動予測モデル131との間に、自車挙動予測部17を配置する。そのような構成にすることで、機械学習により学習した移動体挙動予測モデル131cを用いる場合に、移動体挙動予測モデル131cが複雑になることを回避できる。
 また、機械学習した移動体挙動予測モデル131cを用いない場合に関しても、移動体挙動予測部13cにおいてそれぞれの自車状態情報毎に条件分岐等で予測結果を算出する必要がなくなる。このため、移動体挙動予測部13cの移動体挙動予測モデル131cを用いたアルゴリズムを簡素にすることが可能となる。
 上述した移動体挙動予測装置の第3の実施例から理解されるように、移動体挙動予測モデルから出力される移動体の挙動予測結果は、当該移動体挙動予測モデルに入力される自車状態情報の有無に応じて異なる。第3の実施例では、移動体基本挙動予測モデル132に自車状態情報を入力せず、移動体挙動予測モデル131cのみに自車状態情報を入力している。また、第1~第3の実施例において、移動体挙動予測モデルに入力される自車状態情報の種別(自車の灯火器の状態、自車の表示器の状態、自車の搭乗者の挙動、又はこれらの情報の組合せなど)に応じても、移動体の挙動予測結果は異なる。そして、運転支援判断部14が運転支援判断にこれらの移動体の挙動予測結果を用いることで、運転支援の内容も変わる。
[車両制御装置の全体処理]
 次に、本実施形態に係る車両制御装置10の全体処理について、図6を用いて説明する。
 図6は、車両制御装置10の全体処理の手順例を示すフローチャートである。
 まず、処理ステップS1において、車両制御装置10は、外環境認識結果取得処理を実行する。本処理では、車両制御装置10は、自車両に設けられた外環境認識装置1から外環境の認識結果(過去T秒分の時系列情報)を取得する。
 次に、処理ステップS2において、車両制御装置10は、車両情報/地図情報取得処理を実行する。本処理では、車両制御装置10は、自車両の車速、舵角、ヨーレート、灯火器状態、表示器状態、及びDMS情報などの車両情報、及び地図情報記憶部12に格納された地図情報を取得する。
 次に、処理ステップS3において、車両制御装置10は、周辺環境認識処理を実行する。本処理では、車両制御装置10の周辺環境認識部11は、処理ステップS1で取得した外環境の認識結果に基づいて、自車両周辺の障害物の種別や位置、障害物のうちの移動体の移動方向や移動速度等(自車周辺環境情報)を検出する。
 次に、処理ステップS4において、車両制御装置10は、移動体挙動予測処理を実行する。本処理では、車両制御装置10の移動体挙動予測装置200a~200c(図3~図5)の各々は、処理ステップS2で取得した車両情報と地図情報、及び処理ステップS3で検出した自車周辺環境情報に基づいて、移動体の挙動予測(n秒先までの軌道情報)を実行する。別の言葉で説明をすると、移動体挙動予測装置200a~200cは、自車及び/又は自車周辺の移動体についての時系列情報、地図情報、及び自車状態情報から移動体の挙動予測を行う。
 次に、処理ステップS5において、車両制御装置10は、運転支援判断処理を実行する。本処理では、車両制御装置10の運転支援判断部14は、処理ステップS2で取得した車両情報と地図情報、処理ステップS3で検出した自車周辺環境情報、及び処理ステップS4で算出した移動体の挙動予測結果に基づいて適切な運転支援を判断する。
 次に、処理ステップS6において、車両制御装置10は、車両制御処理を実行する。本処理では、車両制御装置10の車両制御部15は、処理ステップS5で判断した運転支援の内容に基づき、自車両の走行を制御する。
 次に、処理ステップS7において、車両制御装置10は、情報報知処理を実行する。本処理では、車両制御装置10の情報報知部16は、処理ステップS5で判断した運転支援の内容に基づき、自車両の乗員に報知する情報を出力し、一連の処理を終了する。車両制御装置10は、上述した一連の処理を定期的に繰り返し実行する。
[移動体挙動予測部の入出力情報]
 次に、移動体挙動予測部13の入力情報及び出力情報について、図7を用いて説明する。
 図7は、移動体挙動予測処理における入力情報及び出力情報の一例を示す図である。図7には、十字路交差点に自車70及び移動体である車両71が差し掛かっている状況の例が示されている。車両71は、自車70から見て左方向から交差点に進入しようとしている。
 軌道点列75,76はそれぞれ自車70及び車両71の過去の走行軌道である。移動体挙動予測に機械学習を用いた予測モデルを用いる場合、これら過去の走行軌道の情報を時系列に保持しておき入力情報とする。また、軌道点列72,73,74は、移動体挙動予測部が予測した車両71が将来通る軌道点列であり、これらを出力情報とする。なお、この例では、3列の軌道点列を予測しており、それぞれに信頼度の情報を付加して出力することができる。
 本実施形態において、移動体挙動予測部13から出力される移動体の挙動予測結果は、移動体の将来位置及び/又は将来速度を含む予測軌道情報(例えば、軌道点列)である。そして、移動体の挙動予測結果は、この予測軌道情報についての信頼度情報を含み、一つの移動体に対して少なくとも一つ以上の予測軌道情報を含む。
 このような本実施形態によれば、一つ以上の予測軌道情報を含む移動体の挙動予測結果を後段の運転支援判断部14で使用することで、従来よりも高精度な挙動予測結果に基づいてより適切な運転支援を実現できる。
[移動体挙動予測部の具体的な動作]
 次に、移動体挙動予測部の具体的な動作の例について、図8~図12を用いて説明する。
(移動体挙動予測処理の第1の例)
 図8は、移動体挙動予測処理の第1の例を示す図である。図8には、駐車場内の交差路89に、自車80及び移動体である車両81が差し掛かっている状況の例が示されている。図8上段では、車両81は駐車場に入ってきて交差路89の入口で停車しており、自車80は交差路89に向かって走行している(状態(1))。この状況で、移動体挙動予測部により車両81の将来挙動を予測すると、候補として2つの軌道点列82及び83を予測することができる。さらに、車両81は右側の方向指示器81dを点灯しており、この状態を自車80が検知できている場合、軌道点列82の信頼度を高く設定して出力することができる。
 ただし、この状態では車両81から自車80を見た場合に、自車80の行動意図(自車80が交差路89を直進するか、左折するか、その他の行動をとるか)が把握できない。このため、軌道点列82の速度情報(どのようなタイミングで交差路89に進入してくるか)の信頼度を上げることができず、最終的には軌道点列82は信頼度の低い情報としての予測に留まってしまう。例えば、このような状態で運転支援として駐車場内での自走走行を行うと、車両81の交差路89に進入してくるタイミングが計れないため、自車80は安全のために早めに減速して徐行しながら交差路89に接近する等の動作になる。
 図8下段は、図8上段から所定時間経過後の状況であり、自車80が左側の方向指示器80dを点灯している(状態(2))。このとき、車両81から自車80を見た場合に自車80の左側の方向指示器80dの点灯を認識できるため、車両81の状態は「自車80が交差路89を破線84のように左折してくる」と予測可能な状態であることが分かる。
 この状態において、自車80の移動体挙動予測部による車両81についての予測結果は、自車80の方向指示器80dの情報を用いることで、軌道点列82が最も信頼度が高く、さらに軌道点列82の速度情報に関しても信頼度高く予測できる。そのため、自車80の移動体挙動予測部において、車両81の予測を高精度に実施することが可能となる。なお、具体的な軌道点列82の速度情報としては、例えば図8下段で自車80と車両81との距離が離れている場合は、自車80が交差路89に到達する前から車両81が交差路89に進入してくると予測することが可能である。
 以上のように、自車80の車両制御装置10(移動体挙動予測部)で高精度に車両81の挙動を予測することができると、例えば運転支援として、駐車場や狭路などでの自動運転において相互に作用し合う車両がお互いにスムーズな走行を実施可能となる。
(移動体挙動予測処理の第2の例)
 図9は、移動体挙動予測処理の第2の例を示す図である。図9には、駐車場内において、自車90が駐車スペース95に駐車しようとしてハザードランプ90hを点灯して停車しており、対向車91が工事中のため狭くなっている通路を自車90の方向に向かって一定速度で進行してくる状況の例が示されている。
 この状況で、自車90の移動体挙動予測部により対向車91の将来挙動を予測すると、工事中を示す看板96の手前で一旦停止する軌道点列92、工事中の看板96を避けて直進してくる軌道点列93、及び交差路99を右折して駐車場から出る軌道点列94の3つの軌道点列が予測される。ここで、対向車91から認識可能な自車90のハザードランプ90hの点灯状態の情報を用いることで、対向車91の状態は「自車90が駐車をしたいが対向車91の通行を妨げないようにするため停止している」と予測可能な状態であることが分かる。
 したがって、移動体挙動予測部により予測した軌道点列92~94においては、対向車91が工事中の看板96を避けて直進してくる軌道点列93の信頼度が最も高くなる。その軌道点列93の速度情報としては、対向車91が現時点での一定速度の状態をほぼ維持しながら(通路幅が狭くなる箇所では適宜速度を落としながら)走行するような予測が可能である。
 なお、工事中の看板96の手前で一旦停止する軌道点列92に関しては、工事中の看板96までの距離が近く、停止するには急減速が必要なために信頼度は低く設定される。また、交差路99を右折する軌道点列94に関しても対向車91の右側方向指示器の点灯が検出されておらず、速度が維持されていることから信頼度は低く設定される。
 以上のように、自車90の車両制御装置10(移動体挙動予測部)で高精度に対向車91の挙動を予測することができると、例えば運転支援として、自動駐車を実行する場合に対向車91の接近度合いから制御の開始タイミングを変更することができる。そのため、自車90は、対向車91の走行を妨げずスムーズな駐車制御を実施可能となる。
(移動体挙動予測処理の第3の例)
 図10は、移動体挙動予測処理の第3の例を示す図である。図10には、駐車場内において、自車100が交差路109を直進しようとしており、対向車101は交差路109を右折しようとしている例が示されている。ここでは、自車100は、駐車スペースに入ろうとしている対向車101の存在を確認して対向車101に道を譲ろうと、前照灯100fでのパッシングの合図を出しつつ交差路109の手前で減速(破線103)して止まろうとしている状況である。
 この状況で、移動体挙動予測部により対向車101の将来挙動を予測すると、交差路109を直進する軌道点列104、交差路109を右折する軌道点列105の2つの軌道点列が予測される。このとき、既に対向車101の右側方向指示器101dの点灯を自車100が検出している場合は、交差路109を右折する軌道点列105の信頼度が高く設定される。
 ここで、対向車101が認識可能な自車100の前照灯100fのパッシング状態を用いることで、対向車101の状態は「自車100が道を譲ろうとしてくれている」と予測可能な状態であることが分かる。したがって、移動体挙動予測部により予測した軌道点列94~95においては、交差路109を右折する軌道点列105の信頼度が最も高くなる。その軌道点列105の速度情報としては、自車100が停止するタイミング前後で対向車101が交差路109に進入してくるような予測が可能である。
 以上のように、自車100の車両制御装置10(移動体挙動予測部)で高精度に対向車101の挙動を予測することができると、例えば運転支援として、駐車場や狭路などでの自動運転において相互に作用し合う車両がお互いにスムーズな走行を実施可能となる。
(移動体挙動予測処理の第4の例)
 図11は、移動体挙動予測処理の第4の例を示す図である。図11は、図10と類似の状況であり、駐車場内において、自車110が交差路119を直進しようとしており、対向車101は交差路119を右折しようとしている状況を示す。ここでは、自車110の運転手が、前照灯100fでのパッシングの合図の代わりに、対向車111の運転手に対して「先に行ってよい」を意味するジェスチャー(例えば、手を使って合図)をし、交差路119の手前で減速(破線113)して止まろうとしている状況である。
 この状況で、自車110の移動体挙動予測部により対向車111の将来挙動を予測すると、交差路119を直進する軌道点列114、交差路を右折する軌道点列115の2つの軌道点列が予測される。このとき、既に対向車111の右側方向指示器111dの点灯を自車110が検出している場合は、交差路119を右折する軌道点列115の信頼度が高く設定される。
 ここで、対向車111が認識可能な自車110の運転手のジェスチャーを検知しているDMS情報の状態を用いることで、対向車111の状態は「自車110が道を譲ろうとしてくれている」と予測可能な状態であることが分かる。したがって、移動体挙動予測部により予測した軌道点列114~115においては、交差路119を右折する軌道点列115の信頼度が最も高くなる。その軌道点列115の速度情報としては、自車110が停止するタイミング前後で対向車111が交差路119に進入してくるような予測が可能である。
 以上のように、自車100の車両制御装置10(移動体挙動予測部)で高精度に対向車111の挙動を予測することができると、例えば運転支援として、駐車場や狭路などでの自動運転において相互に作用し合う車両がお互いにスムーズな走行を実施可能となる。
(移動体挙動予測処理の第5の例)
 図12は、移動体挙動予測処理の第5の例を示す図である。図12には、片側一車線の道路において、自車120がリアウィンドウ内の表示器に「低速作業中。注意して走行願います。」と表示しながら路肩を低速で走行中に(破線123)、後続の車両(以下、「後続車」と記す)121が接近してきている状況の例が示されている。
 この状況で、移動体挙動予測部により後続車121の将来挙動を予測すると、自車120との車間を保持しながら走行する軌道点列124、自車120を追い抜く軌道点列125の2つの軌道点列が予測される。
 ここで、後続車121が認識可能な自車120の表示器122の表示状態を用いることで、後続車121の状態は「自車120がそのまま低速で路肩を走行し続ける」と予測可能な状態であることが分かる。したがって、移動体挙動予測部により予測した軌道点列124~125においては、自車120を追い抜く軌道点列125の信頼度が最も高くなる。その軌道点列125の速度情報としては、例えば対向車が近くに来ていない状況であれば、後続車121はその道路の制限速度付近の速度で走行すると予測することが可能である。また、対向車が存在する場合には、対向車との位置関係から後続車121は制限速度よりも減速しつつ、自車120より高い速度で走行すると予測できる。
 以上のように、自車120の車両制御装置10(移動体挙動予測部)で高精度に後続車121の挙動を予測することができると、例えば運転支援として、自動運転において周囲の交通流を妨げないスムーズな走行を実施可能となる。
 以上、複数の実施例及び複数の移動体挙動予測処理の例を用いて説明したように、本発明の一実施形態によれば、移動体の挙動を予測する際に自車状態情報を考慮することで、自車と相互作用のある移動体の挙動を高精度に予測することが可能となる。
 なお、上述した自車状態情報については、地域や国等によっては異なる意味合いを持つことがある。例えば、前照灯でのパッシングは、相手に道を譲る合図に使われることもあれば、自分が先に行きたいときに送る合図に使われることもある。ハザードランプは、駐停車するときの合図に使われることもあれば、緊急事態を表す合図に使われることもある。これらの自車状態情報は、地域や国等で使い方が異なる場合がある。したがって、機械学習を用いた移動体挙動予測モデルを用いる場合には、対象国の地域毎に定義された自車状態情報に基づいて移動体挙動予測モデルに学習させる。そして、移動体挙動予測部は、地図情報等から自車が位置する地域を判断し、当該予測モデルにその地域を示す情報をさらに入力して移動体の挙動を予測することが望ましい。これは、自車挙動予測部17で用いる予測モデルに対しても同様である。
 あるいは、対象国の地域毎に学習した移動体挙動予測モデルを複数準備し、地域にあった移動体挙動予測モデルに切り替えながら移動体の挙動を予測することが望ましい。移動体挙動予測部は、自車が位置する地域を示す情報を地図情報等から判断して、自車が位置する地域を示す情報をさらに入力する。そして、移動体挙動予測部は、地域を示す情報に基づいて複数の移動体挙動予測モデルから当該地域にあった移動体挙動予測モデルを選択し、選択した移動体挙動予測モデルを用いて移動体の挙動予測結果を出力する。このように、移動体挙動予測部は、自車が位置する地域にあった移動体挙動予測モデルに切り替えながら移動体の挙動を予測する。これは、自車挙動予測部17で用いる予測モデルに対しても同様である。
 また、移動体挙動予測部に機械学習を用いた予測モデルを用いる場合、学習済みの予測モデルを車両制御装置等に実装することを想定して説明したが、この例に限らない。各車両の走行中のデータをクラウド等へアップロードし、そのデータの中から学習に必要なデータを抜き出して再学習し、車両側にその予測モデルをダウンロードして実行する方法も考えられる。例えば、自車状態情報が入力される移動体と自車との相互作用が発生する場合のデータをクラウド上で判別し、それらデータを追加した再学習を実施して車両側にダウンロードして実行することが考えられる。これにより、自車との相互作用がある際の移動体の挙動を予測する精度を向上させることができる。
 なお、本実施形態ではいくつかのパターンを例にとって説明したが、他のパターンにおいても本発明を適用可能である。特に、本実施形態では駐車場内での走行シーンを中心に説明したが、一般道や高速道、その他専用道路や私有地内等の場所でも本発明を適用可能である。
 以上、本発明は上述した実施形態に限定されるものではなく、請求の範囲に記載された発明の要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。例えば、上述した実施形態は本発明を分かりやすく説明するためにその構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成要素を備えるものに限定されない。また、実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。
 また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。ハードウェアとして、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などの広義のプロセッサデバイスを用いてもよい。
 また、上述した実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成要素が相互に接続されていると考えてもよい。
 1…外環境認識装置、 10…車両制御装置、 11…周辺環境認識部、 12…地図情報記憶部、 13…移動体挙動予測部、 13a~13c…移動体挙動予測部、 14…運転支援判断部、 15…車両制御部、 16…情報報知部、 17…自車挙動予測部、 18…移動体挙動予測決定部、 131…移動体挙動予測モデル、 131a~131c…移動体挙動予測モデル、 132…移動体基本挙動予測モデル、 200a~200c…移動体挙動予測装置
 

Claims (12)

  1.  異なる時刻における自車及び自車周辺の移動体の位置情報を含む時系列情報と、前記自車又は当該自車の搭乗者により表示される当該自車の操作又は状態を表す情報であって前記移動体が認識可能な情報である自車状態情報とを入力とし、前記自車周辺の移動体の挙動予測結果を出力とする移動体挙動予測モデルを格納するモデル格納部と、
     異なる時刻において取得された自車及び自車周辺の移動体の位置情報を含む時系列情報と、前記自車又は当該自車の搭乗者により表示される当該自車の操作又は状態を表す情報であって前記移動体が認識可能な情報である自車状態情報と、を前記移動体挙動予測モデルに入力し、前記移動体の挙動予測結果を出力する移動体挙動予測部と、を備える
     移動体挙動予測装置。
  2.  異なる時刻における前記自車の位置情報を含む時系列情報と、前記自車状態情報に基づいて、前記自車の挙動予測結果を出力する自車挙動予測部、を備え、
     前記移動体挙動予測部は、前記自車挙動予測部により予測された前記自車の挙動予測結果を、前記自車状態情報に代えて前記移動体挙動予測モデルに入力することにより、前記移動体挙動予測モデルに前記移動体の挙動予測結果を出力させる
     請求項1に記載の移動体挙動予測装置。
  3.  前記移動体の挙動予測を決定する移動体挙動予測決定部、を備え、
     前記モデル格納部は、前記時系列情報に基づいて、前記移動体の挙動予測結果を出力する移動体基本挙動予測モデルをさらに格納し、
     前記移動体挙動予測部は、前記移動体基本挙動予測モデルに前記移動体の第一の予測結果を出力させるとともに、前記移動体挙動予測モデルに前記移動体の第二の予測結果を出力させ、
     前記移動体挙動予測決定部は、前記第一の予測結果及び前記第二の予測結果に基づいて、前記移動体の挙動予測を決定する
     請求項1に記載の移動体挙動予測装置。
  4.  前記自車状態情報は、前記自車の灯火器の状態、前記自車の表示器の状態、又は前記自車の搭乗者の挙動のうち少なくとも一つを含む
     請求項1に記載の移動体挙動予測装置。
  5.  前記移動体挙動予測モデルから出力される前記移動体の挙動予測結果は、当該移動体挙動予測モデルに入力される前記自車状態情報の有無又は種別に応じて異なる
     請求項1に記載の移動体挙動予測装置。
  6.  前記挙動予測結果は、前記移動体の将来位置及び/又は将来速度を含む予測軌道情報であって、前記予測軌道情報についての信頼度情報を含み、一つの移動体に対して少なくとも一つ以上の予測軌道情報を含む
     請求項1に記載の移動体挙動予測装置。
  7.  前記移動体挙動予測モデルは、前記時系列情報と前記自車状態情報を入力とし、機械学習のアルゴリズムに基づいて前記挙動予測結果を出力する
     請求項1に記載の移動体挙動予測装置。
  8.  前記第一の予測結果は当該第一の予測結果についての第一の信頼度情報を含み、前記第二の予測結果は当該第二の予測結果についての第二の信頼度情報を含み、
     前記移動体挙動予測決定部は、前記第一の信頼度情報及び前記第二の信頼度情報に基づいて、前記移動体の挙動予測を決定する
     請求項3に記載の移動体挙動予測装置。
  9.  前記移動体挙動予測モデルは、所定の地域毎に定義された前記自車状態情報に基づいて学習されており、前記自車が位置する地域を示す情報をさらに入力し、前記移動体の挙動予測結果を出力する
     請求項7に記載の移動体挙動予測装置。
  10.  前記モデル格納部は、所定の地域毎に学習された複数の前記移動体挙動予測モデルを備え、
     前記移動体挙動予測部は、前記自車が位置する地域を示す情報をさらに入力し、前記地域を示す情報に基づいて複数の前記移動体挙動予測モデルから移動体挙動予測モデルを選択し、選択した移動体挙動予測モデルを用いて前記移動体の挙動予測結果を出力する
     請求項7に記載の移動体挙動予測装置。
  11.  請求項1に記載の移動体挙動予測装置を備え、前記移動体挙動予測装置から出力される前記移動体の挙動予測結果を用いて自車の走行を制御する
     車両制御装置。
  12.  モデル格納部と移動体挙動予測部とを備える移動体挙動予測装置による移動体挙動予測方法であって、
     前記モデル格納部は、異なる時刻における自車及び自車周辺の移動体の位置情報を含む時系列情報と、前記自車又は当該自車の搭乗者により表示される当該自車の操作又は状態を表す情報であって前記移動体が認識可能な情報である自車状態情報とを入力とし、前記自車周辺の移動体の挙動予測結果を出力とする移動体挙動予測モデルを格納しており、
     前記移動体挙動予測部は、異なる時刻において取得された自車及び自車周辺の移動体の位置情報を含む時系列情報と、前記自車又は当該自車の搭乗者により表示される当該自車の操作又は状態を表す情報であって前記移動体が認識可能な情報である自車状態情報と、
    を前記移動体挙動予測モデルに入力し、前記移動体の挙動予測結果を出力する
     移動体挙動予測方法。
PCT/JP2025/020628 2024-06-14 2025-06-06 移動体挙動予測装置、車両制御装置、及び移動体挙動予測方法 Pending WO2025258519A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-096764 2024-06-14
JP2024096764A JP2025187738A (ja) 2024-06-14 2024-06-14 移動体挙動予測装置、車両制御装置、及び移動体挙動予測方法

Publications (1)

Publication Number Publication Date
WO2025258519A1 true WO2025258519A1 (ja) 2025-12-18

Family

ID=98050564

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/020628 Pending WO2025258519A1 (ja) 2024-06-14 2025-06-06 移動体挙動予測装置、車両制御装置、及び移動体挙動予測方法

Country Status (2)

Country Link
JP (1) JP2025187738A (ja)
WO (1) WO2025258519A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005062912A (ja) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd 車両制御装置
JP2024046031A (ja) * 2022-09-22 2024-04-03 本田技研工業株式会社 注意喚起システム及び注意喚起方法
JP2024067296A (ja) * 2022-11-04 2024-05-17 本田技研工業株式会社 注意喚起システム及び注意喚起方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005062912A (ja) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd 車両制御装置
JP2024046031A (ja) * 2022-09-22 2024-04-03 本田技研工業株式会社 注意喚起システム及び注意喚起方法
JP2024067296A (ja) * 2022-11-04 2024-05-17 本田技研工業株式会社 注意喚起システム及び注意喚起方法

Also Published As

Publication number Publication date
JP2025187738A (ja) 2025-12-25

Similar Documents

Publication Publication Date Title
US10160378B2 (en) Light output system for a self-driving vehicle
US10077007B2 (en) Sidepod stereo camera system for an autonomous vehicle
JP7145815B2 (ja) 電子制御装置
WO2021054051A1 (ja) 電子制御装置
US12280770B1 (en) Risk mitigation in speed planning
US10752249B2 (en) Vehicle systems and methods for providing turn assistance at an intersection
CN117302198A (zh) 驾驶辅助装置以及车辆的控制方法
JP6951271B2 (ja) 車両制御装置
US10948303B2 (en) Vehicle control device
CN110171420A (zh) 车辆控制装置
JP2022080304A (ja) 車両アダプティブクルーズコントロールシステム、方法、および方法を実施するためのコンピュータプログラムとコンピュータ可読媒体
CN114651286A (zh) 避障动作
WO2023112385A1 (ja) 車両制御装置
JP2021172264A (ja) 車両の走行支援方法及び走行支援装置
JP2023149504A (ja) 運転支援装置、運転支援方法、およびプログラム
JP7145178B2 (ja) 走行制御装置、走行制御方法およびプログラム
WO2023149003A1 (ja) 車両制御装置
CN113401056A (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质
CN107599965A (zh) 用于车辆的电子控制装置及方法
CN117782120A (zh) 危险碰撞目标轨迹预测方法、装置、计算机设备
WO2024029243A1 (ja) 電子制御装置、計画方法
JP2024021514A (ja) 電子制御装置、計画方法
JP7839721B2 (ja) 運転支援装置
JP2025187738A (ja) 移動体挙動予測装置、車両制御装置、及び移動体挙動予測方法
JP2024175581A (ja) 報知装置及び交通情報提供装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25821865

Country of ref document: EP

Kind code of ref document: A1