WO2021240623A1 - 予測追跡装置、予測追跡方法および予測追跡プログラム - Google Patents

予測追跡装置、予測追跡方法および予測追跡プログラム Download PDF

Info

Publication number
WO2021240623A1
WO2021240623A1 PCT/JP2020/020676 JP2020020676W WO2021240623A1 WO 2021240623 A1 WO2021240623 A1 WO 2021240623A1 JP 2020020676 W JP2020020676 W JP 2020020676W WO 2021240623 A1 WO2021240623 A1 WO 2021240623A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving object
point cloud
tracking
unit
moving
Prior art date
Application number
PCT/JP2020/020676
Other languages
English (en)
French (fr)
Inventor
俊仁 池西
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112020006961.3T priority Critical patent/DE112020006961B4/de
Priority to JP2022527299A priority patent/JP7126633B2/ja
Priority to PCT/JP2020/020676 priority patent/WO2021240623A1/ja
Priority to CN202080100999.0A priority patent/CN115667993A/zh
Publication of WO2021240623A1 publication Critical patent/WO2021240623A1/ja
Priority to US17/961,988 priority patent/US20230036137A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Definitions

  • This disclosure relates to predictive tracking of moving objects.
  • LiDAR is an abbreviation for Light Detection And Ranking.
  • the self-position is estimated by matching the point cloud of the peripheral object by the ICP algorithm.
  • the moving position of surrounding vehicles is estimated using a prediction filter such as a Kalman filter or Bayesian estimation.
  • ICP is an abbreviation for Iterative Closet Point.
  • the posterior probability is maximized by predicting the movement of the target object using a prediction filter. This improves the estimation accuracy.
  • estimation cannot be performed, and the target object to which the prior distribution is given is limited to the vehicle.
  • posterior probabilities may fall into local solutions.
  • the values do not converge depending on how the prior distribution is given, making prediction difficult.
  • the ICP algorithm is used for a wide range or many objects, which increases the computational cost.
  • the purpose of this disclosure is to improve the accuracy of predictive tracking of moving objects while suppressing calculation costs.
  • the predictive tracking device of the present disclosure is A moving object detection unit that extracts a point cloud representing a moving object existing around the moving object from the point cloud data obtained by LiDAR that measures the periphery of the moving object. Point cloud within the range of posterior distribution for the tracked object that is the tracked moving object is extracted from the point cloud data, and the extracted point cloud is matched with the point cloud of the moving object. It is equipped with a department.
  • FIG. 1 The block diagram of the predictive tracking system 200 in Embodiment 1.
  • FIG. The flowchart of the predictive tracking method in Embodiment 1. The flowchart of the predictive tracking method in Embodiment 1.
  • the flowchart of the predictive tracking method in Embodiment 1. The flowchart of the predictive tracking method in Embodiment 1.
  • FIG. 1 The explanatory diagram about the prior distribution and the likelihood function with respect to the moving direction of the moving object in Embodiment 1.
  • FIG. 1 The figure which shows an example of the sensor group 180 in Embodiment 1.
  • Embodiment 1 The predictive tracking system 200 will be described with reference to FIGS. 1 to 13.
  • the configuration of the predictive tracking system 200 will be described with reference to FIG.
  • the predictive tracking system 200 is mounted on the own vehicle 210.
  • the own vehicle 210 is a vehicle equipped with the predictive tracking system 200.
  • a car is an example of a mobile body.
  • the predictive tracking system 200 includes a predictive tracking device 100 and a sensor group 180.
  • the configuration of the predictive tracking device 100 will be described with reference to FIG.
  • the predictive tracking device 100 is a computer including hardware such as a processor 101, a memory 102, an auxiliary storage device 103, a communication device 104, and an input / output interface 105. These hardware are connected to each other via signal lines.
  • the processor 101 is an IC that performs arithmetic processing and controls other hardware.
  • the processor 101 is a CPU, DSP or GPU.
  • IC is an abbreviation for Integrated Circuit.
  • CPU is an abbreviation for Central Processing Unit.
  • DSP is an abbreviation for Digital Signal Processor.
  • GPU is an abbreviation for Graphics Processing Unit.
  • the memory 102 is a volatile or non-volatile storage device.
  • the memory 102 is also referred to as a main storage device or a main memory.
  • the memory 102 is a RAM.
  • the data stored in the memory 102 is stored in the auxiliary storage device 103 as needed.
  • RAM is an abbreviation for Random Access Memory.
  • the auxiliary storage device 103 is a non-volatile storage device.
  • the auxiliary storage device 103 is a ROM, an HDD, or a flash memory.
  • the data stored in the auxiliary storage device 103 is loaded into the memory 102 as needed.
  • ROM is an abbreviation for Read Only Memory.
  • HDD is an abbreviation for Hard Disk Drive.
  • the communication device 104 is a receiver and a transmitter.
  • the communication device 104 is a communication chip or NIC.
  • NIC is an abbreviation for Network Interface Card.
  • the input / output interface 105 is a port to which an input device, an output device, and a sensor group 180 are connected.
  • the input / output interface 105 is a USB terminal
  • the input device is a keyboard and a mouse
  • the output device is a display.
  • USB is an abbreviation for Universal Serial Bus.
  • the prediction tracking device 100 includes elements such as a sensor data acquisition unit 111, a self-position estimation unit 112, a moving object detection unit 113, a moving object recognition unit 114, a movement prediction unit 115, and a moving object tracking unit 116. These elements are realized by software.
  • the auxiliary storage device 103 includes a sensor data acquisition unit 111, a self-position estimation unit 112, a moving object detection unit 113, a moving object recognition unit 114, a movement prediction unit 115, and a prediction tracking unit for operating a computer as a moving object tracking unit 116.
  • the program is remembered.
  • the predictive tracking program is loaded into memory 102 and executed by processor 101.
  • the auxiliary storage device 103 further stores the OS. At least a portion of the OS is loaded into memory 102 and executed by processor 101.
  • the processor 101 executes the prediction tracking program while executing the OS.
  • OS is an abbreviation for Operating System.
  • the input / output data of the predictive tracking program is stored in the storage unit 190.
  • the memory 102 functions as a storage unit 190.
  • a storage device such as an auxiliary storage device 103, a register in the processor 101, and a cache memory in the processor 101 may function as a storage unit 190 instead of the memory 102 or together with the memory 102.
  • the predictive tracking device 100 may include a plurality of processors that replace the processor 101.
  • the plurality of processors share the functions of the processor 101.
  • the predictive tracking program can be computer-readablely recorded (stored) on a non-volatile recording medium such as an optical disk or flash memory.
  • the configuration of the sensor group 180 will be described with reference to FIG.
  • the sensor group 180 includes sensors such as LiDAR181, GPS182 and a speedometer 183.
  • An example of LiDAR181 is a laser scanner.
  • the LiDAR181 emits laser light in each direction, incidents the laser light reflected at each point, and outputs point cloud data.
  • the point cloud data shows the distance vector and the reflection intensity for each point where the laser beam is reflected.
  • LiDAR is an abbreviation for Light Detection and Ringing.
  • GPS182 is an example of a positioning system.
  • the GPS 182 receives a positioning signal, positions itself, and outputs positioning data. Positioning data indicates location information.
  • the position information indicates a three-dimensional coordinate value.
  • GPS is an abbreviation for Global Positioning System.
  • the speedometer 183 measures the speed of the own vehicle 210 and outputs speed data.
  • the speed data indicates the speed of the own vehicle 210.
  • the procedure of operation of the predictive tracking device 100 corresponds to the predictive tracking method. Further, the procedure of operation of the predictive tracking device 100 corresponds to the procedure of processing by the predictive tracking program.
  • the sensor data acquisition unit 111 acquires the sensor data group from the sensor group 180.
  • the sensor group 180 is a set of sensors.
  • a sensor data group is a set of sensor data.
  • the sensor data is the data obtained by the sensor.
  • the sensor data group includes sensor data such as point cloud data, positioning data and velocity data.
  • the self-position estimation unit 112 estimates the position of the own vehicle 210 using the sensor data group.
  • the position of the own vehicle 210 is referred to as "self-position".
  • the self-position estimation unit 112 calculates the movement amount using the speed shown in the speed data and the elapsed time from the time of measurement. Then, the self-position estimation unit 112 estimates the self-position based on the position information shown in the positioning data and the calculated movement amount.
  • the self-position estimation unit 112 uses the point cloud data to match the point cloud of the feature by SLAM technology, and estimates the self-position.
  • step S103 the moving object detection unit 113 extracts a point cloud representing a moving object existing around the own vehicle 210 from the point cloud shown in the point cloud data.
  • a moving object is a moving object such as an automobile. That is, both a moving vehicle and a stopped vehicle correspond to moving objects.
  • the moving object is not limited to the vehicle.
  • the moving object detection unit 113 extracts a point cloud of a moving object by machine learning, a rule-based method, or deep learning.
  • the point cloud of the road surface is first detected, and the point cloud of the moving object is extracted from the point cloud other than the point cloud of the road surface.
  • the moving object corresponding to the extracted point cloud is referred to as a "detection object”.
  • the moving object detection unit 113 calculates the relative position of the detected object based on the point cloud of the moving object.
  • the relative position of the detected object is the position of the detected object with respect to the own vehicle 210.
  • the moving object detection unit 113 selects one representative point from the point cloud of the moving object, and converts the distance vector of the representative point into a three-dimensional coordinate value.
  • the three-dimensional coordinate values obtained by the transformation indicate the relative position of the detected object.
  • the moving object recognition unit 114 determines the attribute of the detected object based on the point cloud of the moving object.
  • the attributes of the detected object include type, orientation and size.
  • the type distinguishes between types of moving objects such as trucks, ordinary cars, motorcycles, bicycles or pedestrians.
  • the orientation means the heading of a moving object and corresponds to the direction of movement.
  • the size indicates the width, depth and height.
  • the moving object recognition unit 114 determines the attributes of a moving object by machine learning, a rule-based method, or deep learning.
  • step S106 the moving object tracking unit 116 extracts a point cloud within the range of the posterior distribution of the tracking object from the point cloud data.
  • the tracking object is a moving object being tracked, that is, a moving object being tracked by the predictive tracking device 100.
  • the posterior distribution will be described later.
  • the moving object tracking unit 116 matches the extracted point cloud with the point cloud of the detected object.
  • the movement prediction unit 115 performs matching by the ICP algorithm.
  • ICP is an abbreviation for Iterative Closet Point.
  • the movement prediction unit 115 performs matching in descending order of likelihood based on the posterior distribution.
  • step S107 the moving object tracking unit 116 determines whether or not there is a point cloud that matches the point cloud of the detected object in the point cloud within the range of the posterior distribution of the tracking object based on the matching result. If there is a point cloud that matches the point cloud of the detected object, the process proceeds to step S111. If there is no point cloud that matches the point cloud of the detected object, the process proceeds to step S121.
  • step S111 the moving object tracking unit 116 corrects the relative position of the detected object calculated in step S104 by using the matching result. That is, the movement prediction unit 115 calculates the accurate relative position of the detected object.
  • the exact relative position is represented by a set of relative distance (x, y, z) and rotation angle ( ⁇ x, ⁇ y, ⁇ z).
  • step S112 the movement prediction unit 115 updates the parameters of the prediction filter for the tracking object based on the relative position of the detected object.
  • a predictive filter is the Kalman filter.
  • the parameters of the Kalman filter are the predicted value, the covariance of the state transition matrix, the observed noise and the Kalman gain.
  • the covariance of the predicted values and the state transition matrix is updated based on the covariance of the system noise and the Jacobian matrix of the state transition in the prediction step of the Kalman filter.
  • the Kalman gain is updated using the covariance of the state transition matrix and the observed noise in the measurement update step of the Kalman filter.
  • the Kalman gain is updated as follows.
  • the relative position obtained in step S111 is referred to as an accurate relative position.
  • the movement prediction unit 115 predicts the current relative position of the detected object by calculating the Kalman filter.
  • the predicted relative position (predicted value) is referred to as the predicted relative position.
  • the movement prediction unit 115 calculates the difference between the accurate relative position and the predicted relative position. Then, the movement prediction unit 115 updates the Kalman gain using the calculated difference.
  • the parameters of the prediction filter are predicted values and hyperparameters. Hyperparameters are used to determine the distribution shape of the likelihood (probability distribution) of observed noise.
  • the likelihood (probability distribution) of the observed noise is updated by the EM algorithm or approximation method.
  • the movement prediction unit 115 calculates the posterior distribution for the tracking object by using the prediction filter for the tracking object, the prior distribution, and the likelihood function. Then, the movement prediction unit 115 predicts the state quantity of the tracking object by using the posterior distribution for the tracking object.
  • the predicted state quantity is the state quantity that maximizes the posterior probability.
  • the state quantity that maximizes the posterior probability is calculated by the maximum a posteriori estimation.
  • state quantities include position, velocity, acceleration, yaw angle, yaw rate and size.
  • the prior distribution, the likelihood function and the posterior distribution are set for each state quantity.
  • step S114 the moving object tracking unit 116 determines the presence or absence of the tracking ID for the detected object. If there is a tracking ID for the detected object, the tracking ID for the detected object will continue to be used. The process proceeds to step S116. If there is no tracking ID for the detected object, the process proceeds to step S115.
  • step S115 the moving object tracking unit 116 generates a new tracking ID for the detected object, and adds the new tracking ID to the point cloud of the detected object.
  • step S116 the moving object tracking unit 116 adds the sampling time to the tracking duration for the detected object.
  • the tracking duration is the length of time that the tracking object is being tracked.
  • the initial value of the tracking duration is zero seconds.
  • the sampling time is, for example, the time interval at which the sensor data group is acquired in step S101.
  • step S117 the moving object tracking unit 116 sets the posterior distribution for the tracking object to a new prior distribution for the tracking object.
  • the posterior distribution for the tracked object is used as the prior distribution for the tracked object in the next processing after step S101.
  • step S117 the process proceeds to step S101.
  • step S121 the moving object tracking unit 116 determines whether or not there is at least one tracking ID. If there is a tracking ID, that tracking ID will continue to be used. The process proceeds to step S131. If there is no tracking ID, the process proceeds to step S122.
  • step S122 the moving object tracking unit 116 generates a new tracking ID for the detected object, and adds the new tracking ID to the point cloud of the detected object. As a result, the detected object is treated as a new tracking object.
  • step S123 the moving object tracking unit 116 initially sets the prior distribution, the likelihood function, and the prediction filter for the detected object based on the attributes of the detected object.
  • step S124 the moving object tracking unit 116 predicts the state quantity of the detected object by using the prior distribution for the detected object, the likelihood function, and the prediction filter.
  • the prediction method is the same as the method in step S113.
  • step S125 the moving object tracking unit 116 sets the sampling time to the tracking duration for the detected object.
  • step S126 the moving object tracking unit 116 sets the posterior distribution for the detected object to a new prior distribution for the detected object.
  • the detected object is treated as a tracking object, and the posterior distribution for the detected object is used as the prior distribution for the detected object (tracking object) in the next processing after step S101.
  • step S126 the process proceeds to step S101.
  • the "tracking object” means the tracking object identified by the tracking ID found in step S121.
  • step S131 the movement prediction unit 115 updates the parameters of the prediction filter for the tracking object based on the previous predicted state quantity of the tracking object.
  • step S132 the movement prediction unit 115 predicts the state quantity of the tracking object by using the prior distribution for the tracking object, the likelihood function, and the prediction file.
  • the prediction method is the same as the method in step S113.
  • step S133 the moving object tracking unit 116 determines whether the tracking interruption time for the tracking object is less than the tracking stop time.
  • the tracking interruption time is the length of time that the tracking of the tracking object is interrupted, and corresponds to the length of time that the point cloud of the tracking object is not detected.
  • the follow-up stop time is the upper limit of the follow-up break time and is predefined.
  • step S134 If the tracking interruption time for the tracking object is less than the tracking stop time, the process proceeds to step S134. If the tracking interruption time for the tracking object is greater than or equal to the tracking stop time, the process proceeds to step S135.
  • step S134 the moving object tracking unit 116 adds the sampling time to the tracking interruption time for the tracking object. After step S134, the process proceeds to step S136.
  • step S135 the moving object tracking unit 116 discards the tracking ID for the tracking object. This stops tracking the tracked object. After step S135, processing proceeds to step S136.
  • step S136 the moving object tracking unit 116 sets the posterior distribution for the tracking object to a new prior distribution for the tracking object.
  • the posterior distribution for the tracked object is used as the prior distribution for the tracked object in the next processing after step S101.
  • step S136 the process proceeds to step S101.
  • Bayesian inference which is an example of a prediction filter, will be described with reference to FIG.
  • the movement prediction unit 115 predicts the future position of the moving object by using, for example, Bayesian estimation.
  • FIG. 8 represents a simple example of Bayesian inference.
  • the horizontal axis indicates the position of a vehicle, which is an example of a moving object.
  • the vertical axis shows the probability density that the vehicle is present at each position.
  • the prior distribution P (A) represents the probability that event A will occur. Event A corresponds to the state quantity of a moving object.
  • the prior distribution is also called the prior probability distribution.
  • X) represents the probability (conditional probability) that event A will occur under the condition that event X has occurred when the likelihood function is P (X
  • Event X corresponds to the state quantity of a moving object.
  • the posterior distribution is also called the posterior probability distribution.
  • X) has a complicated shape with respect to the prior distribution P (A) and the likelihood function P (X
  • the optimal solution it is necessary to solve the optimal solution analytically or perform a numerical calculation.
  • the formula below shows Bayesian inference.
  • the sigma with the subscript "A” means the sum of the values for all events A.
  • the movement prediction unit 115 calculates the following formula to calculate the predicted value A ⁇ and the posterior distribution P (A
  • A) differ depending on the attributes of the moving object.
  • the optimal solution with the maximum posterior probability needs to be found analytically or numerically. Finding the optimal solution that maximizes the posterior probability is called maximizing the posterior probability.
  • the prior distribution becomes a conjugate prior distribution, and the posterior distribution of the same distribution as the prior distribution can be derived.
  • the prior distribution is a conjugate prior, it is possible to solve the optimal solution analytically.
  • the approximation of posterior probabilities can be obtained by using an approximation estimation method such as variational method or Laplace approximation.
  • finding the optimal solution numerically it is necessary to solve the optimization problem.
  • the EM algorithm does not require a derivative of the posterior distribution.
  • EM is an abbreviation for Expectation-Maximization.
  • the MCMC method is a kind of sampling method and approximates the distribution.
  • MCMC is an abbreviation for Markov Chain Monte Carlo.
  • the operation of the movement prediction unit 115 and the moving object tracking unit 116 will be described with reference to FIGS. 9 and 10.
  • the solid circle represents the prior distribution
  • the dashed circle represents the likelihood function
  • the dashed line circle represents the posterior distribution.
  • the predicted posterior distribution defines the range of existence of the tracked object.
  • the moving object tracking unit 116 matches the point cloud within the range of the posterior distribution. When the point clouds match, the moving object tracking unit 116 regards the matched point clouds as the point cloud of the same object and tracks them. In addition, the moving object tracking unit 116 calculates the accurate movement amount (relative distance) and posture (rotation angle) of the moving object with respect to the own vehicle. The calculated movement amount and posture are the observed values.
  • the movement prediction unit 115 sets the prior distribution P t (A) and the likelihood function P t (X
  • the movement prediction unit 115 sets the prior distribution P t (B) and the likelihood function P t (X
  • the movement prediction unit 115 uses the prior distribution P t (A) and the likelihood function P t (X
  • X) is calculated.
  • the movement prediction unit 115 uses the prior distribution P t (B) and the likelihood function P t (X
  • FIGS. 11 and 12 The prior distribution and the likelihood function based on the attributes of the moving object will be described with reference to FIGS. 11 and 12. Shading represents the prior distribution.
  • FIG. 11 visually represents the prior distribution that differs depending on the type of moving object.
  • FIG. 12 visually represents a prior distribution that differs depending on the moving direction (heading) of the moving object.
  • the likelihood function differs depending on the type and the moving direction.
  • the predictive tracking device 100 may be installed outside the own vehicle 210 as long as it is possible to acquire the sensor data group from the sensor group 180 of the own vehicle 210.
  • the sensor group 180 may be installed outside the own vehicle 210 as long as it is possible to measure the own vehicle 210 and the periphery of the own vehicle 210.
  • the sensor group 180 may include sensors such as a camera 184, a millimeter wave radar 185 and a sonar 186.
  • the camera 184 photographs the periphery of the own vehicle 210 and outputs image data.
  • the image data represents an image showing the periphery of the own vehicle 210.
  • the camera 184 is, for example, a stereo camera.
  • the millimeter wave radar 185 uses millimeter waves instead of laser light to output reflection distance data.
  • the reflection distance data of the millimeter wave radar shows the distance for each point where the millimeter wave is reflected.
  • the sonar 186 uses sound waves instead of laser light to output reflection distance data.
  • the reflection distance data of the reflection distance data indicates the distance for each point where the sound wave is reflected.
  • the self-position estimation unit 112 estimates the self-position using the image data obtained by the stereo camera.
  • the self-position estimation unit 112 measures the distance from the feature point in the image by VisualSLAM and estimates the self-position.
  • a prediction filter different from the Kalman filter and Bayesian estimation may be used.
  • a known filter such as a particle filter may be used.
  • a plurality of filters may be switched and used by the IMM method.
  • IMM is an abbreviation for Interacting Multiple Model.
  • Point cloud matching may be performed using an algorithm other than the ICP algorithm.
  • the NDT algorithm may be used.
  • NDT is an abbreviation for Normal Distributions Transfersform.
  • the moving object tracking unit 116 may evaluate the correctness of tracking using the tracking duration.
  • the tracking interruption time may also be used to assess the correctness of the tracking.
  • the tracking duration is an index for confirming how long the tracking object has been correctly tracked.
  • the tracking interruption time is, for example, the time of repeated tracking processing from when the tracking object is hidden in the shadow to when it is observed again.
  • the moving object tracking unit 116 may use the tracking duration to determine the probability that the tracking object at the predicted position of the tracking object exists.
  • the predictive tracking device 100 sets a prior distribution for a moving object in consideration of the type (truck, bus, passenger car, two-wheeled vehicle, pedestrian, etc.) and the moving direction (heading) obtained from the recognition result of the moving object. Can be done. This improves the prediction accuracy when tracking a moving object.
  • the predictive tracking device 100 performs point cloud matching by the ICP algorithm only within the range of the predicted posterior distribution. As a result, the calculation cost can be reduced and the movement amount of other vehicles can be accurately measured.
  • the predictive tracking device 100 uses an approximation method such as Laplace approximation or variational Bayesian method when determining the posterior distribution for maximizing the posterior probability. This improves the prediction accuracy when tracking a moving object.
  • the predictive tracking device 100 can also detect (extract a point cloud), recognize (determine an attribute), and track a moving object by using only the point cloud data in the sensor data group. That is, it is also possible to detect, recognize, and track a moving object by using only LiDAR181 out of the sensor group 180.
  • Embodiment 2 The embodiment using the sensor fusion will be described mainly different from the first embodiment with reference to FIG.
  • the configuration of the predictive tracking device 100 will be described with reference to FIG.
  • the predictive tracking device 100 further includes a sensor fusion unit 117.
  • the predictive tracking program further causes the computer to function as a sensor fusion unit 117.
  • the sensor fusion unit 117 performs sensor fusion using two or more types of sensor data included in the sensor data group.
  • the main methods for sensor fusion include fusion of RAW data, fusion of intermediate data, and fusion of detected data. Each method incorporates methods such as deep learning, and it is possible to extract point clouds of moving objects and determine the attributes of moving objects more accurately than when one type of sensor data is used alone.
  • Sensor fusion includes types such as early fusion, cross fusion and late fusion.
  • various combinations such as a camera 184 and LiDAR181, a LiDAR181 and a millimeter wave radar 185, or a camera 184 and a millimeter wave radar 185 can be considered.
  • the self-position estimation unit 112 estimates the self-position using the data obtained by sensor fusion for two or more types of sensor data.
  • the moving object detection unit 113 calculates the relative position of the detected object based on the data obtained by sensor fusion for two or more types of sensor data including the point cloud data.
  • the predictive tracking device 100 includes a processing circuit 109.
  • the processing circuit 109 is hardware that realizes a sensor data acquisition unit 111, a self-position estimation unit 112, a moving object detection unit 113, a moving object recognition unit 114, a movement prediction unit 115, a moving object tracking unit 116, and a sensor fusion unit 117. Is.
  • the processing circuit 109 may be dedicated hardware or may be a processor 101 that executes a program stored in the memory 102.
  • the processing circuit 109 is dedicated hardware, the processing circuit 109 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof.
  • ASIC is an abbreviation for Application Specific Integrated Circuit.
  • FPGA is an abbreviation for Field Programmable Gate Array.
  • the predictive tracking device 100 may include a plurality of processing circuits that replace the processing circuit 109.
  • the plurality of processing circuits share the functions of the processing circuit 109.
  • processing circuit 109 some functions may be realized by dedicated hardware, and the remaining functions may be realized by software or firmware.
  • the function of the predictive tracking device 100 can be realized by hardware, software, firmware or a combination thereof.
  • Each embodiment is an example of a preferred embodiment and is not intended to limit the technical scope of the present disclosure. Each embodiment may be partially implemented or may be implemented in combination with other embodiments. The procedure described using the flowchart or the like may be appropriately changed.
  • the "part” which is an element of the predictive tracking device 100 may be read as “processing” or "process”.
  • 100 predictive tracking device 101 processor, 102 memory, 103 auxiliary storage device, 104 communication device, 105 input / output interface, 109 processing circuit, 111 sensor data acquisition unit, 112 self-position estimation unit, 113 moving object detection unit, 114 moving object Recognition unit, 115 movement prediction unit, 116 moving object tracking unit, 117 sensor fusion unit, 180 sensor group, 181 LiDAR, 182 GPS, 183 speed meter, 184 camera, 185 millimeter wave radar, 186 sonar, 190 storage unit, 200 prediction Tracking system, 210 own vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

移動物体検知部（１１３）は、移動体の周辺に対する計測を行うＬｉＤＡＲによって得られた点群データから、前記移動体の周辺に存在する移動物体を表す点群を抽出する。移動物体追跡部（１１６）は、追跡されている移動物体である追跡物体用の事後分布の範囲内の点群を前記点群データから抽出し、抽出した点群に対して前記移動物体の点群とのマッチングを行う。

Description

予測追跡装置、予測追跡方法および予測追跡プログラム
　本開示は、移動物体の予測追跡に関するものである。
　ＬｉＤＡＲによって計測される点群を利用して移動物体を追跡する手法が知られている。
　ＬｉＤＡＲは、Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇの略称である。
　特許文献１に開示された手法では、ＩＣＰアルゴリズムによって周辺物体の点群のマッチングを行って自己位置が推定される。また、カルマンフィルタまたはベイズ推定などの予測フィルタを用いて周辺車両の移動位置が推定される。
　ＩＣＰは、Ｉｔｅｒａｔｉｖｅ　Ｃｌｏｓｅｓｔ　Ｐｏｉｎｔの略称である。
特開２０１８－１４１７１６号公報
　従来技術では、予測フィルタを用いて対象物体の移動を予測して事後確率の最大化が行われる。これにより、推定精度が向上する。
　しかし、事前分布がない場合には推定を行えず、事前分布が与えられる対象物体は車両に限定される。
　また、事後確率の最大化において、事後確率が局所解に陥る可能性がある。車両以外の物体を対象にする場合には、事前分布の与えかたによっては値が収束せず、予測が困難になる。
　また、ＩＣＰアルゴリズムが広い範囲または多くの対象に対して用いられるため、計算コストが増大する。
　本開示は、計算コストを抑制しつつ移動物体の予測追跡の精度を向上できるようにすることを目的とする。
　本開示の予測追跡装置は、
　移動体の周辺に対する計測を行うＬｉＤＡＲによって得られた点群データから、前記移動体の周辺に存在する移動物体を表す点群を抽出する移動物体検知部と、
　追跡されている移動物体である追跡物体用の事後分布の範囲内の点群を前記点群データから抽出し、抽出した点群に対して前記移動物体の点群とのマッチングを行う移動物体追跡部と、を備える。
　本開示によれば、計算コストを抑制しつつ移動物体の予測追跡の精度を向上することが可能となる。
実施の形態１における予測追跡システム２００の構成図。 実施の形態１における予測追跡装置１００の構成図。 実施の形態１におけるセンサ群１８０の構成図。 実施の形態１における予測追跡方法のフローチャート。 実施の形態１における予測追跡方法のフローチャート。 実施の形態１における予測追跡方法のフローチャート。 実施の形態１における予測追跡方法のフローチャート。 実施の形態１における予測フィルタに関する説明図。 実施の形態１における予測追跡に関する説明図。 実施の形態１における予測追跡に関する説明図。 実施の形態１における移動物体の種別に対する事前分布および尤度関数に関する説明図。 実施の形態１における移動物体の移動方向に対する事前分布および尤度関数に関する説明図。 実施の形態１におけるセンサ群１８０の一例を示す図。 実施の形態２における予測追跡装置１００の構成図。 実施の形態における予測追跡装置１００のハードウェア構成図。
　実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
　実施の形態１．
　予測追跡システム２００について、図１から図１３に基づいて説明する。
＊＊＊構成の説明＊＊＊
　図１に基づいて、予測追跡システム２００の構成を説明する。
　予測追跡システム２００は、自車両２１０に搭載される。
　自車両２１０は、予測追跡システム２００が搭載される自動車である。自動車は移動体の一例である。
　予測追跡システム２００は、予測追跡装置１００とセンサ群１８０とを備える。
　図２に基づいて、予測追跡装置１００の構成を説明する。
　予測追跡装置１００は、プロセッサ１０１とメモリ１０２と補助記憶装置１０３と通信装置１０４と入出力インタフェース１０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
　プロセッサ１０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ１０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。
　ＩＣは、Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔの略称である。
　ＣＰＵは、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略称である。
　ＤＳＰは、Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒの略称である。
　ＧＰＵは、Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略称である。
　メモリ１０２は揮発性または不揮発性の記憶装置である。メモリ１０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ１０２はＲＡＭである。メモリ１０２に記憶されたデータは必要に応じて補助記憶装置１０３に保存される。
　ＲＡＭは、Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙの略称である。
　補助記憶装置１０３は不揮発性の記憶装置である。例えば、補助記憶装置１０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置１０３に記憶されたデータは必要に応じてメモリ１０２にロードされる。
　ＲＯＭは、Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙの略称である。
　ＨＤＤは、Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅの略称である。
　通信装置１０４はレシーバ及びトランスミッタである。例えば、通信装置１０４は通信チップまたはＮＩＣである。
　ＮＩＣは、Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄの略称である。
　入出力インタフェース１０５は、入力装置、出力装置およびセンサ群１８０が接続されるポートである。例えば、入出力インタフェース１０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。
　ＵＳＢは、Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓの略称である。
　予測追跡装置１００は、センサデータ取得部１１１と自己位置推定部１１２と移動物体検知部１１３と移動物体認識部１１４と移動予測部１１５と移動物体追跡部１１６といった要素を備える。これらの要素はソフトウェアで実現される。
　補助記憶装置１０３には、センサデータ取得部１１１と自己位置推定部１１２と移動物体検知部１１３と移動物体認識部１１４と移動予測部１１５と移動物体追跡部１１６としてコンピュータを機能させるための予測追跡プログラムが記憶されている。予測追跡プログラムは、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
　補助記憶装置１０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
　プロセッサ１０１は、ＯＳを実行しながら、予測追跡プログラムを実行する。
　ＯＳは、Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍの略称である。
　予測追跡プログラムの入出力データは記憶部１９０に記憶される。
　メモリ１０２は記憶部１９０として機能する。但し、補助記憶装置１０３、プロセッサ１０１内のレジスタおよびプロセッサ１０１内のキャッシュメモリなどの記憶装置が、メモリ１０２の代わりに、又は、メモリ１０２と共に、記憶部１９０として機能してもよい。
　予測追跡装置１００は、プロセッサ１０１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ１０１の機能を分担する。
　予測追跡プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
　図３に基づいて、センサ群１８０の構成を説明する。
　センサ群１８０は、ＬｉＤＡＲ１８１、ＧＰＳ１８２および速度計１８３などのセンサを含む。
　ＬｉＤＡＲ１８１の一例として、レーザスキャナがある。ＬｉＤＡＲ１８１は、レーザ光を各方向へ出射し、各地点で反射したレーザ光を入射し、点群データを出力する。点群データは、レーザ光を反射した地点ごとに距離ベクトルと反射強度とを示す。ＬｉＤＡＲは、Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇの略称である。
　ＧＰＳ１８２は、測位システムの一例である。ＧＰＳ１８２は、測位信号を受信し、自己位置を測位し、測位データを出力する。測位データは位置情報を示す。位置情報は三次元座標値を示す。ＧＰＳは、Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｉｎｇ　Ｓｙｓｔｅｍの略称である。
　速度計１８３は、自車両２１０の速度を計測し、速度データを出力する。速度データは、自車両２１０の速度を示す。
＊＊＊動作の説明＊＊＊
　予測追跡装置１００の動作の手順は予測追跡方法に相当する。また、予測追跡装置１００の動作の手順は予測追跡プログラムによる処理の手順に相当する。
　図４から図７に基づいて、予測追跡方法を説明する。
　ステップＳ１０１において、センサデータ取得部１１１は、センサ群１８０からセンサデータ群を取得する。
　センサ群１８０はセンサの集合である。センサデータ群はセンサデータの集合である。センサデータはセンサによって得られるデータである。
　センサデータ群は、点群データ、測位データおよび速度データなどのセンサデータを含む。
　ステップＳ１０２において、自己位置推定部１１２は、センサデータ群を用いて、自車両２１０の位置を推定する。自車両２１０の位置を「自己位置」と称する。
　例えば、自己位置推定部１１２は、速度データに示される速度と計測時からの経過時間とを用いて移動量を算出する。そして、自己位置推定部１１２は、測位データに示される位置情報と算出された移動量とに基づいて自己位置を推定する。
　例えば、自己位置推定部１１２は、点群データを用いてＳＬＡＭ技術によって地物の点群のマッチングを行い、自己位置を推定する。
　ステップＳ１０３において、移動物体検知部１１３は、点群データに示される点群から、自車両２１０の周囲に存在する移動物体を表す点群を抽出する。
　移動物体は、自動車などの移動する物体である。つまり、走行している自動車と停止している自動車とのいずれも移動物体に該当する。但し、移動物体は車両に限定されない。
　具体的には、移動物体検知部１１３は、機械学習、ルールベース手法またはディープラーニングによって移動物体の点群を抽出する。
　ルールベース手法では、まず路面の点群が検出され、路面の点群以外の点群から移動物体の点群が抽出される。
　抽出される点群に対応する移動物体を「検知物体」と称する。
　ステップＳ１０４において、移動物体検知部１１３は、移動物体の点群に基づいて、検知物体の相対位置を算出する。
　検知物体の相対位置は、自車両２１０に対する検知物体の位置である。
　具体的には、移動物体検知部１１３は、移動物体の点群から代表点を１つ選択し、代表点の距離ベクトルを三次元座標値に変換する。変換によって得られる三次元座標値は、検知物体の相対位置を示す。
　ステップＳ１０５において、移動物体認識部１１４は、移動物体の点群に基づいて、検知物体の属性を判別する。
　検知物体の属性は、種別、向きおよびサイズなどを含む。種別は、トラック、普通車、バイク、自転車または歩行者など、移動物体の種類を区別する。向きは、移動物体のヘディングを意味し、移動方向に相当する。サイズは、幅、奥行きおよび高さなどを示す。
　具体的には、移動物体認識部１１４は、機械学習、ルールベース手法またはディープラーニングによって移動物体の属性を判別する。
　ステップＳ１０６において、移動物体追跡部１１６は、点群データから、追跡物体の事後分布の範囲内の点群を抽出する。
　追跡物体は、追跡されている移動物体つまり予測追跡装置１００が追跡している移動物体である。
　事後分布について後述する。
　移動物体追跡部１１６は、抽出された点群に対して検知物体の点群とのマッチングを行う。
　例えば、移動予測部１１５は、ＩＣＰアルゴリズムによってマッチングを行う。ＩＣＰは、Ｉｔｅｒａｔｉｖｅ　Ｃｌｏｓｅｓｔ　Ｐｏｉｎｔの略称である。
　事後分布の範囲内に複数の点群がある場合、移動予測部１１５は、事後分布に基づく尤度の大きい順にマッチングを行う。
　ステップＳ１０７において、移動物体追跡部１１６は、マッチング結果に基づいて、追跡物体の事後分布の範囲内の点群の中に検知物体の点群と合致する点群があるか判定する。
　検知物体の点群と合致する点群がある場合、処理はステップＳ１１１に進む。
　検知物体の点群と合致する点群がない場合、処理はステップＳ１２１に進む。
　ステップＳ１１１において、移動物体追跡部１１６は、マッチング結果を用いて、ステップＳ１０４で算出された検知物体の相対位置を修正する。つまり、移動予測部１１５は、検知物体の正確な相対位置を算出する。
　正確な相対位置は、相対距離（ｘ，ｙ，ｚ）と回転角度（θｘ，θｙ，θｚ）との組で表される。
　ステップＳ１１２において、移動予測部１１５は、検知物体の相対位置に基づいて、追跡物体用の予測フィルタのパラメータを更新する。
　予測フィルタの具体例は、カルマンフィルタである。カルマンフィルタのパラメータは、予測値、状態遷移行列の共分散、観測ノイズおよびカルマンゲインである。
　予測値および状態遷移行列の共分散は、カルマンフィルタの予測ステップにおいて、システムノイズの共分散と状態遷移のヤコビ行列とに基づいて更新される。
　カルマンゲインは、カルマンフィルタの計測更新ステップにおいて、状態遷移行列の共分散と観測ノイズとを用いて更新される。
　一般的なカルマンフィルタにおいて、カルマンゲインは以下のように更新される。ステップＳ１１１で得られた相対位置を正確な相対位置と称する。
　前回のステップＳ１１２で、移動予測部１１５は、カルマンフィルタを演算することによって、検知物体の今回の相対位置を予測する。予測された相対位置（予測値）を予測の相対位置と称する。
　今回のステップＳ１１２で、移動予測部１１５は、正確な相対位置と予測の相対位置との差を算出する。そして、移動予測部１１５は、算出された差を用いて、カルマンゲインを更新する。
　ベイズ推定が予測フィルタとして用いられる場合、予測フィルタのパラメータは、予測値およびハイパーパラメータなどである。ハイパーパラメータは、観測ノイズの尤度（確率分布）の分布形状を決めるために用いられる。観測ノイズの尤度（確率分布）は、ＥＭアルゴリズムまたは近似手法によって更新される。
　ステップＳ１１３において、移動予測部１１５は、追跡物体用の予測フィルタと事前分布と尤度関数とを用いて、追跡物体用の事後分布を算出する。
　そして、移動予測部１１５は、追跡物体用の事後分布を用いて、追跡物体の状態量を予測する。
　予測される状態量は、事後確率が最大となる状態量である。事後確率が最大となる状態量は、最大事後確率推定によって算出される。
　例えば、状態量は、位置、速度、加速度、ヨー角、ヨーレートおよびサイズなどである。なお、事前分布、尤度関数および事後分布は、状態量別に設定される。
　ステップＳ１１４において、移動物体追跡部１１６は、検知物体用の追跡ＩＤの有無を判定する。
　検知物体に対する追跡ＩＤが有る場合、検知物体に対する追跡ＩＤが継続して使用される。処理はステップＳ１１６に進む。
　検知物体に対する追跡ＩＤが無い場合、処理はステップＳ１１５に進む。
　ステップＳ１１５において、移動物体追跡部１１６は、検知物体用に新規の追跡ＩＤを生成し、新規の追跡ＩＤを検知物体の点群に付加する。
　ステップＳ１１６において、移動物体追跡部１１６は、検知物体用の追跡継続時間にサンプリング時間を加算する。
　追跡継続時間は、追跡物体が追跡されている時間の長さである。追跡継続時間の初期値はゼロ秒である。
　サンプリング時間は、例えば、ステップＳ１０１でセンサデータ群が取得される時間間隔である。
　ステップＳ１１７において、移動物体追跡部１１６は、追跡物体用の事後分布を追跡物体用の新たな事前分布に設定する。これにより、追跡物体用の事後分布が、次回のステップＳ１０１以降の処理において追跡物体用の事前分布として用いられる。
　ステップＳ１１７の後、処理はステップＳ１０１に進む。
　ステップＳ１２１において、移動物体追跡部１１６は、少なくとも１つの追跡ＩＤが有るか否かを判定する。
　追跡ＩＤが有る場合、その追跡ＩＤは継続して使用される。処理はステップＳ１３１に進む。
　追跡ＩＤが無い場合、処理はステップＳ１２２に進む。
　ステップＳ１２２において、移動物体追跡部１１６は、検知物体用に新規の追跡ＩＤを生成し、新規の追跡ＩＤを検知物体の点群に付加する。これにより、検知物体は新規の追跡物体として扱われる。
　ステップＳ１２３において、移動物体追跡部１１６は、検知物体の属性に基づいて、検知物体用に事前分布と尤度関数と予測フィルタとを初期設定する。
　ステップＳ１２４において、移動物体追跡部１１６は、検知物体用の事前分布と尤度関数と予測フィルタとを用いて、検知物体の状態量を予測する。
　予測方法は、ステップＳ１１３における方法と同じである。
　ステップＳ１２５において、移動物体追跡部１１６は、検知物体用の追跡継続時間にサンプリング時間を設定する。
　ステップＳ１２６において、移動物体追跡部１１６は、検知物体用の事後分布を検知物体用の新たな事前分布に設定する。これにより、検知物体が追跡物体として扱われ、検知物体用の事後分布が次回のステップＳ１０１以降の処理において検知物体（追跡物体）用の事前分布として用いられる。
　ステップＳ１２６の後、処理はステップＳ１０１に進む。
　ステップＳ１３１以降のステップについて説明する。ステップＳ１３１以降のステップの説明において、「追跡物体」は、ステップＳ１２１で見つかった追跡ＩＤで識別される追跡物体を意味する。
　ステップＳ１３１において、移動予測部１１５は、追跡物体の前回の予測状態量に基づいて、追跡物体用の予測フィルタのパラメータを更新する。
　ステップＳ１３２において、移動予測部１１５は、追跡物体用の事前分布と尤度関数と予測ファイルとを用いて、追跡物体の状態量を予測する。
　予測方法は、ステップＳ１１３における方法と同じである。
　ステップＳ１３３において、移動物体追跡部１１６は、追跡物体用の追跡中断時間が追跡中止時間未満であるか判定する。
　追跡中断時間は、追跡物体に対する追跡が中断している時間の長さであり、追跡物体の点群が検出されていない時間の長さに相当する。
　追跡中止時間は、追跡中断時間の上限であり、予め定義される。
　追跡物体用の追跡中断時間が追跡中止時間未満である場合、処理はステップＳ１３４に進む。
　追跡物体用の追跡中断時間が追跡中止時間以上である場合、処理はステップＳ１３５に進む。
　ステップＳ１３４において、移動物体追跡部１１６は、追跡物体用の追跡中断時間にサンプリング時間を加算する。
　ステップＳ１３４の後、処理はステップＳ１３６に進む。
　ステップＳ１３５において、移動物体追跡部１１６は、追跡物体用の追跡ＩＤを破棄する。これにより、追跡物体に対する追跡が中止される。
　ステップＳ１３５の後、処理はステップＳ１３６に進む。
　ステップＳ１３６において、移動物体追跡部１１６は、追跡物体用の事後分布を追跡物体用の新たな事前分布に設定する。これにより、追跡物体用の事後分布が、次回のステップＳ１０１以降の処理において追跡物体用の事前分布として用いられる。
　ステップＳ１３６の後、処理はステップＳ１０１に進む。
　図８に基づいて、予測フィルタの一例であるベイズ推定について説明する。
　移動予測部１１５は、例えばベイズ推定を用いて、移動物体の未来の位置を予測する。
　図８は、ベイズ推定の単純な例を表している。横軸は、移動物体の一例である車両の位置を示す。縦軸は、車両が各位置に存在する確率密度を示す。
　事前分布Ｐ（Ａ）は、事象Ａが発生する確率を表している。事象Ａは、移動物体の状態量に相当する。事前分布は事前確率分布ともいう。
　事後分布Ｐ（Ａ｜Ｘ）は、尤度関数がＰ（Ｘ｜Ａ）であるときに事象Ｘが発生したという条件の下で事象Ａが発生する確率（条件付き確率）を表している。事象Ｘは、移動物体の状態量に相当する。事後分布は事後確率分布ともいう。
　図８に示すように、事前分布Ｐ（Ａ）と尤度関数Ｐ（Ｘ｜Ａ）に対して、事後分布Ｐ（Ａ｜Ｘ）は複雑な形状を成す。
　事後確率が最大となる車両位置（最適解）を求めるには、解析的に最適解を解くか、数値的に計算を行う必要がある。
　下記の式は、ベイズ推定を示す。添え字「Ａ」が付されたシグマは、全ての事象Ａに対する値の和を意味する。
　移動予測部１１５は、下記の式を計算して、事後分布Ｐ（Ａ｜Ｘ）を最大化するような予測値Ａ＾と事後分布Ｐ（Ａ｜Ｘ）とを算出する。なお、事前分布Ｐ（Ａ）と尤度関数Ｐ（Ｘ｜Ａ）の初期値は、移動物体の属性によって異なる。
Figure JPOXMLDOC01-appb-M000001
　事後確率が最大となる最適解は、解析的または数値的に求める必要がある。事後確率が最大となる最適解を求めることを事後確率最大化という。
　解析的に最適解を求める際には、事前分布は共役事前分布となり、事前分布と同じ分布の事後分布を導出できる。事前分布が共役事前分布である場合には、最適解を解析的に解くことが可能である。この場合、変分法またはラプラス近似などの近似推定手法を用いて事後確率の近似を求めることができる。
　数値的に最適解を求める際には、最適化問題を解く必要がある。最適化問題を解くために、ＥＭアルゴリズムまたはＭＣＭＣ法などがある。
　ＥＭアルゴリズムでは、事後分布の導関数が不要である。ＥＭは、Ｅｘｐｅｃｔａｔｉｏｎ－Ｍａｘｉｍｉｚａｔｉｏｎの略称である。
　ＭＣＭＣ法は、サンプリング法の一種であり、分布を近似するものである。ＭＣＭＣは、マルコフ連鎖モンテカルロの略称である。
　図９および図１０に基づいて、移動予測部１１５および移動物体追跡部１１６の動作を説明する。実線円は事前分布を表し、破線円は尤度関数を表し、一点鎖線円は事後分布を表している。
　時刻ｔの自車位置Ｖｔ（図９を参照）を原点（０，０）として考える。自車の移動量が観測可能である場合、時刻ｔから時刻ｔ＋１までの自車移動量ΔＶ（図１０を参照）は自明である。ここで、移動予測部１１５は、予測の対象となる移動物体用に事前分布および尤度関数を設定し、事後分布を求める。事後確率最大化により、複雑な事後分布の形状に対応することが可能である。予測された事後分布により、追跡対象の存在範囲が規定される。移動物体追跡部１１６は、事後分布の範囲内で点群のマッチングを行う。点群同士が合致した場合、移動物体追跡部１１６は、合致した点群同士を同一物体の点群とみなして追跡を行う。また、移動物体追跡部１１６は、自車に対する移動物体の正確な移動量（相対距離）および姿勢（回転角度）を算出する。算出される移動量および姿勢が観測値となる。
　図９において、移動予測部１１５は、自車の前方の車両（移動物体Ａ）用に事前分布Ｐｔ（Ａ）と対向車線の車両（移動体Ｂ）用の事前分布Ｐｔ（Ｂ）を設定する。
　予測初期（ｔ＝０）において、移動予測部１１５は、移動物体Ａの属性に基づいて、事前分布Ｐｔ（Ａ）および尤度関数Ｐｔ（Ｘ｜Ａ）を設定する。
　予測初期（ｔ＝０）において、移動予測部１１５は、移動物体Ｂの属性に基づいて、事前分布Ｐｔ（Ｂ）および尤度関数Ｐｔ（Ｘ｜Ｂ）を設定する。
　移動物体の属性に基づく事前分布および尤度関数について後述する。
　図１０において、移動予測部１１５は、事前分布Ｐｔ（Ａ）と尤度関数Ｐｔ（Ｘ｜Ａ）とを用いて、時刻ｔ＋１における移動物体Ａの位置（予測値Ａ＾ｔ＋１）と事後分布Ｐｔ（Ａ｜Ｘ）を算出する。
　また、移動予測部１１５は、事前分布Ｐｔ（Ｂ）と尤度関数Ｐｔ（Ｘ｜Ｂ）とを用いて、時刻ｔ＋１における移動物体Ｂの位置（予測値Ｂ＾ｔ＋１）と事後分布Ｐｔ（Ｂ｜Ｘ）を算出する。
　図１１および図１２に基づいて、移動物体の属性に基づく事前分布および尤度関数について説明する。網掛けは事前分布を表している。
　図１１は、移動物体の種別によって異なる事前分布を視覚的に表している。
　図１２は、移動物体の移動方向（ヘディング）によって異なる事前分布を視覚的に表している。
　尤度関数も同様に、種別および移動方向などによって異なる。
＊＊＊実施例の説明＊＊＊
　予測追跡装置１００は、自車両２１０のセンサ群１８０からセンサデータ群を取得することが可能であれば、自車両２１０の外部に設置されてもよい。
　センサ群１８０は、自車両２１０および自車両２１０の周辺に対する計測を行うことが可能であれば、自車両２１０の外部に設置されてもよい。
　図１３に示すように、センサ群１８０は、カメラ１８４、ミリ波レーダ１８５およびソナー１８６などのセンサを含んでもよい。
　カメラ１８４は、自車両２１０の周辺を撮影し、画像データを出力する。画像データは、自車両２１０の周辺が映った画像を表す。カメラ１８４は例えばステレオカメラである。
　ミリ波レーダ１８５は、レーザ光の代わりにミリ波を利用して反射距離データを出力する。ミリ波レーダの反射距離データは、ミリ波を反射した地点ごとに距離を示す。
　ソナー１８６は、レーザ光の代わりに音波を利用して反射距離データを出力する。反射距離データの反射距離データは、音波を反射した地点ごとに距離を示す。
　画像データおよび反射距離データを利用することにより、自己位置の推定を高精度に行うことが可能となる。
　画像データのみを使用して自己位置を推定することも可能である。例えば、自己位置推定部１１２は、ステレオカメラによって得られた画像データを用いて自己位置を推定する。または、自己位置推定部１１２は、ＶｉｓｕａｌＳＬＡＭによって画像内の特徴点から距離を測定し、自己位置を推定する。
　画像データおよび反射距離データを利用することにより、移動物体の点群の抽出精度および移動物体の属性の判別精度を向上させることが可能となる。
　カルマンフィルタおよびベイズ推定とは別の予測フィルタが用いられてもよい。例えば、パーティクルフィルタのような公知のフィルタが用いられてもよい。また、ＩＭＭ法によって、複数のフィルタを切り替えて用いてもよい。ＩＭＭは、Ｉｎｔｅｒａｃｔｉｎｇ　Ｍｕｌｔｉｐｌｅ　Ｍｏｄｅｌの略称である。
　ＩＣＰアルゴリズム以外のアルゴリズムを利用して点群のマッチングが行われてもよい。例えば、ＮＤＴアルゴリズムが利用されてもよい。ＮＤＴは、Ｎｏｒｍａｌ　Ｄｉｓｔｒｉｂｕｔｉｏｎｓ　Ｔｒａｎｓｆｏｒｍの略称である。
　移動物体追跡部１１６は、追跡継続時間を用いて追跡の正しさの評価を行ってもよい。また、追跡の正しさの評価のために、追跡継続時間に加えて追跡中断時間が用いられてもよい。追跡継続時間は、追跡物体がどれだけの時間正しく追跡されたかを確認するための指標となる。追跡中断時間は、例えば、追跡物体が物陰に隠れてから再度観測されるまでに繰り返された追跡処理の時間である。
　移動物体追跡部１１６は、追跡継続時間を用いて、追跡物体の予測位置の追跡物体が存在する確率を求めてもよい。
＊＊＊実施の形態１の効果＊＊＊
　予測追跡装置１００は、移動物体の認識結果から得られた種別（トラック、バス、乗用車、二輪車または歩行者など）および移動方向（ヘディング）を考慮して、移動物体用の事前分布を設定することができる。これにより、移動物体を追跡する際の予測精度が向上する。
　予測追跡装置１００は、ＩＣＰアルゴリズムによる点群のマッチングを予測された事後分布の範囲内のみで行う。これにより、計算コストの削減と他車両の移動量についての正確な計測が実現される。
　予測追跡装置１００は、事後確率最大化のために事後分布を求める際に、ラプラス近似または変分ベイズ法などの近似手法を用いる。これにより、移動物体を追跡する際の予測精度が向上する。
　予測追跡装置１００は、センサデータ群のうち点群データのみを用いて移動物体を検知（点群の抽出）、認識（属性の判別）および追跡することも可能である。つまり、センサ群１８０のうちＬｉＤＡＲ１８１だけを使用して、移動物体の検知、認識および追跡を行うことも可能である。
　実施の形態２．
　センサフュージョンを利用する形態について、主に実施の形態１と異なる点を図１４に基づいて説明する。
＊＊＊構成の説明＊＊＊
　図１４に基づいて、予測追跡装置１００の構成を説明する。
　予測追跡装置１００は、さらに、センサフュージョン部１１７を備える。
　予測追跡プログラムは、さらに、センサフュージョン部１１７としてコンピュータを機能させる。
＊＊＊動作の説明＊＊＊
　センサフュージョン部１１７は、センサデータ群に含まれる２種類以上のセンサデータを用いて、センサフュージョンを行う。
　センサフュージョンのための主な方法として、ＲＡＷデータをフュージョンする方法、中間データをフュージョンする方法および検出後のデータをフュージョンする方法がある。どの方法もディープラーニングなどの手法を取り入れており、１種類のセンサデータが単体で使用される場合と比べて、移動物体の点群の抽出および移動物体の属性の判別を精度よく行うことが可能である。
　センサフュージョンには、アーリーフュージョン、クロスフュージョンおよびレイトフュージョンなどの種類がある。
　センサフュージョンにおけるセンサの組み合わせとして、カメラ１８４とＬｉＤＡＲ１８１、ＬｉＤＡＲ１８１とミリ波レーダ１８５またはカメラ１８４とミリ波レーダ１８５など、様々な組み合わせが考えられる。
　自己位置推定部１１２は、２種類以上のセンサデータに対するセンサフュージョンによって得られたデータを用いて自己位置を推定する。
　移動物体検知部１１３は、点群データを含む２種類以上のセンサデータに対するセンサフュージョンによって得られたデータに基づいて、検知物体の相対位置を算出する。
＊＊＊実施の形態２の効果＊＊＊
　センサフュージョンを利用することにより、移動物体の検知、認識および追跡をより高い精度で行うことが可能である。
＊＊＊実施の形態の補足＊＊＊
　図１５に基づいて、予測追跡装置１００のハードウェア構成を説明する。
　予測追跡装置１００は処理回路１０９を備える。
　処理回路１０９は、センサデータ取得部１１１と自己位置推定部１１２と移動物体検知部１１３と移動物体認識部１１４と移動予測部１１５と移動物体追跡部１１６とセンサフュージョン部１１７とを実現するハードウェアである。
　処理回路１０９は、専用のハードウェアであってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。
　処理回路１０９が専用のハードウェアである場合、処理回路１０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
　ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔの略称である。
　ＦＰＧＡは、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙの略称である。
　予測追跡装置１００は、処理回路１０９を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１０９の機能を分担する。
　処理回路１０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
　このように、予測追跡装置１００の機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。
　各実施の形態は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
　予測追跡装置１００の要素である「部」は、「処理」または「工程」と読み替えてもよい。
　１００　予測追跡装置、１０１　プロセッサ、１０２　メモリ、１０３　補助記憶装置、１０４　通信装置、１０５　入出力インタフェース、１０９　処理回路、１１１　センサデータ取得部、１１２　自己位置推定部、１１３　移動物体検知部、１１４　移動物体認識部、１１５　移動予測部、１１６　移動物体追跡部、１１７　センサフュージョン部、１８０　センサ群、１８１　ＬｉＤＡＲ、１８２　ＧＰＳ、１８３　速度計、１８４　カメラ、１８５　ミリ波レーダ、１８６　ソナー、１９０　記憶部、２００　予測追跡システム、２１０　自車両。

Claims (7)

  1. 　移動体の周辺に対する計測を行うＬｉＤＡＲによって得られた点群データから、前記移動体の周辺に存在する移動物体を表す点群を抽出する移動物体検知部と、
    　追跡されている移動物体である追跡物体用の事後分布の範囲内の点群を前記点群データから抽出し、抽出した点群に対して前記移動物体の点群とのマッチングを行う移動物体追跡部と、
    を備える予測追跡装置。
  2. 　前記移動物体の点群に基づいて前記移動物体の属性を判別する移動物体認識部と、
    　前記移動物体の属性に基づいて前記移動物体用の事前分布および尤度関数を設定し、前記移動物体用の事前分布および尤度関数を用いて前記移動物体用の事後分布を算出する移動予測部と、を備える
    請求項１に記載の予測追跡装置。
  3. 　前記移動物体認識部は、前記移動物体の種別を判別し、
    　前記移動予測部は、前記移動物体の種別に基づいて前記移動物体用の事前分布および尤度関数を設定する
    請求項２に記載の予測追跡装置。
  4. 　前記移動物体認識部は、前記移動物体の移動方向を判別し、
    　前記移動予測部は、前記移動物体の移動方向に基づいて前記移動物体用の事前分布および尤度関数を設定する
    請求項２または請求項３に記載の予測追跡装置。
  5. 　前記移動予測部は、事後確率最大化において事後確率の近似を求める際に近似推定手法を用いる
    請求項２から請求項４のいずれか１項に記載の予測追跡装置。
  6. 　移動物体検知部が、移動体の周辺に対する計測を行うＬｉＤＡＲによって得られた点群データから、前記移動体の周辺に存在する移動物体を表す点群を抽出し、
    　移動物体追跡部が、追跡されている移動物体である追跡物体用の事後分布の範囲内の点群を前記点群データから抽出し、抽出した点群に対して前記移動物体の点群とのマッチングを行う
    予測追跡方法。
  7. 　移動体の周辺に対する計測を行うＬｉＤＡＲによって得られた点群データから、前記移動体の周辺に存在する移動物体を表す点群を抽出する移動物体検知処理と、
    　追跡されている移動物体である追跡物体用の事後分布の範囲内の点群を前記点群データから抽出し、抽出した点群に対して前記移動物体の点群とのマッチングを行う移動物体追跡処理と、
    をコンピュータに実行させるための予測追跡プログラム。
PCT/JP2020/020676 2020-05-26 2020-05-26 予測追跡装置、予測追跡方法および予測追跡プログラム WO2021240623A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112020006961.3T DE112020006961B4 (de) 2020-05-26 2020-05-26 Prädiktive verfolgungsvorrichtung, prädiktives verfolgungsverfahren und prädiktives verfolgungsprogramm
JP2022527299A JP7126633B2 (ja) 2020-05-26 2020-05-26 予測追跡装置、予測追跡方法および予測追跡プログラム
PCT/JP2020/020676 WO2021240623A1 (ja) 2020-05-26 2020-05-26 予測追跡装置、予測追跡方法および予測追跡プログラム
CN202080100999.0A CN115667993A (zh) 2020-05-26 2020-05-26 预测追踪装置、预测追踪方法以及预测追踪程序
US17/961,988 US20230036137A1 (en) 2020-05-26 2022-10-07 Predictive tracking apparatus, predictive tracking method, and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/020676 WO2021240623A1 (ja) 2020-05-26 2020-05-26 予測追跡装置、予測追跡方法および予測追跡プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/961,988 Continuation US20230036137A1 (en) 2020-05-26 2022-10-07 Predictive tracking apparatus, predictive tracking method, and computer-readable medium

Publications (1)

Publication Number Publication Date
WO2021240623A1 true WO2021240623A1 (ja) 2021-12-02

Family

ID=78723050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020676 WO2021240623A1 (ja) 2020-05-26 2020-05-26 予測追跡装置、予測追跡方法および予測追跡プログラム

Country Status (5)

Country Link
US (1) US20230036137A1 (ja)
JP (1) JP7126633B2 (ja)
CN (1) CN115667993A (ja)
DE (1) DE112020006961B4 (ja)
WO (1) WO2021240623A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009052940A (ja) * 2007-08-24 2009-03-12 Toshiba Corp 移動物体検出装置および自律移動物体
JP2011196749A (ja) * 2010-03-18 2011-10-06 Toyota Central R&D Labs Inc 物体検出装置
JP2013228259A (ja) * 2012-04-25 2013-11-07 Toyota Motor Corp 物体識別装置及び物体識別方法
JP2016152586A (ja) * 2015-02-19 2016-08-22 国立大学法人電気通信大学 プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム
JP2017004106A (ja) * 2015-06-05 2017-01-05 トヨタ自動車株式会社 車両の衝突回避支援装置
WO2017130770A1 (ja) * 2016-01-29 2017-08-03 学校法人明治大学 レーザスキャンシステム、レーザスキャン方法、移動レーザスキャンシステム及びプログラム
JP2017219389A (ja) * 2016-06-06 2017-12-14 地方独立行政法人東京都立産業技術研究センター 物体追跡装置、物体追跡方法、及び物体追跡プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10324897A1 (de) 2003-05-30 2004-12-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Opjektbestimmung in Fahrerassistenzsystemen für Kraftfahrzeuge
US9129211B2 (en) 2012-03-15 2015-09-08 GM Global Technology Operations LLC Bayesian network to track objects using scan points using multiple LiDAR sensors
JP6901870B2 (ja) 2017-02-28 2021-07-14 パイオニア株式会社 位置推定装置、制御方法、及びプログラム
JP2020052897A (ja) 2018-09-28 2020-04-02 株式会社デンソーテン 物標検出装置および物標検出方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009052940A (ja) * 2007-08-24 2009-03-12 Toshiba Corp 移動物体検出装置および自律移動物体
JP2011196749A (ja) * 2010-03-18 2011-10-06 Toyota Central R&D Labs Inc 物体検出装置
JP2013228259A (ja) * 2012-04-25 2013-11-07 Toyota Motor Corp 物体識別装置及び物体識別方法
JP2016152586A (ja) * 2015-02-19 2016-08-22 国立大学法人電気通信大学 プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム
JP2017004106A (ja) * 2015-06-05 2017-01-05 トヨタ自動車株式会社 車両の衝突回避支援装置
WO2017130770A1 (ja) * 2016-01-29 2017-08-03 学校法人明治大学 レーザスキャンシステム、レーザスキャン方法、移動レーザスキャンシステム及びプログラム
JP2017219389A (ja) * 2016-06-06 2017-12-14 地方独立行政法人東京都立産業技術研究センター 物体追跡装置、物体追跡方法、及び物体追跡プログラム

Also Published As

Publication number Publication date
DE112020006961T5 (de) 2023-01-26
CN115667993A (zh) 2023-01-31
DE112020006961B4 (de) 2024-02-29
JPWO2021240623A1 (ja) 2021-12-02
JP7126633B2 (ja) 2022-08-26
US20230036137A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
RU2694154C2 (ru) Формирование моделированных данных датчиков для обучения и проверки достоверности моделей обнаружения
CN107341819B (zh) 目标跟踪方法及存储介质
JP5323766B2 (ja) 道路の特定のレーン上に目標車両が存在する確率を見積もる方法
JPWO2018221453A1 (ja) 出力装置、制御方法、プログラム及び記憶媒体
CN110867132B (zh) 环境感知的方法、装置、电子设备和计算机可读存储介质
CN110794406B (zh) 多源传感器数据融合系统和方法
US10493987B2 (en) Target-lane relationship recognition apparatus
JP2013506931A (ja) 道路車両用の衝突回避システムおよび方法ならびに各コンピュータプログラム製品
WO2023050638A1 (zh) 基于激光点云的路沿识别
CN111103587A (zh) 用于预测同时并线车辆的方法和设备及包括其的车辆
RU2764708C1 (ru) Способы и системы для обработки данных лидарных датчиков
CN110986966B (zh) 一种用于长距离隧道的自动驾驶定位方法及系统
JP6411933B2 (ja) 車両状態判定装置
CN116611603A (zh) 一种车辆路径调度方法、装置、计算机及存储介质
KR100962329B1 (ko) 스테레오 카메라 영상으로부터의 지면 추출 방법과 장치 및이와 같은 방법을 구현하는 프로그램이 기록된 기록매체
WO2021240623A1 (ja) 予測追跡装置、予測追跡方法および予測追跡プログラム
TWI541152B (zh) Traffic safety system and its obstacle screening method
KR20200133856A (ko) 자율 주행 장치 및 방법
JP7174131B2 (ja) 判定装置、判定方法及び判定用プログラム
KR20200107382A (ko) 차량용 센서의 보정 정보 획득 장치 및 방법
JP7312275B2 (ja) 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム
JP7285923B2 (ja) 車両制御システム
CN105730330A (zh) 行车安全系统及其障碍物筛选方法
CN114675295A (zh) 一种障碍物判定的方法、装置、设备及存储介质
CN114817765A (zh) 基于地图的目标航向消歧

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20938077

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527299

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20938077

Country of ref document: EP

Kind code of ref document: A1