WO2021199286A1 - オブジェクト追跡装置、オブジェクト追跡方法、および記録媒体 - Google Patents

オブジェクト追跡装置、オブジェクト追跡方法、および記録媒体 Download PDF

Info

Publication number
WO2021199286A1
WO2021199286A1 PCT/JP2020/014821 JP2020014821W WO2021199286A1 WO 2021199286 A1 WO2021199286 A1 WO 2021199286A1 JP 2020014821 W JP2020014821 W JP 2020014821W WO 2021199286 A1 WO2021199286 A1 WO 2021199286A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
tracking
parameter control
information
position information
Prior art date
Application number
PCT/JP2020/014821
Other languages
English (en)
French (fr)
Inventor
亮磨 大網
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/622,310 priority Critical patent/US20220254034A1/en
Priority to PCT/JP2020/014821 priority patent/WO2021199286A1/ja
Priority to JP2022512996A priority patent/JP7355227B2/ja
Priority to EP20929331.5A priority patent/EP4131946A4/en
Publication of WO2021199286A1 publication Critical patent/WO2021199286A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to an object tracking device for tracking an object existing around a moving object, an object tracking method, and a recording medium.
  • Patent Document 1 discloses a method of detecting and tracking an object around a UAV (Unmanned Aerial Vehicle).
  • UAV Unmanned Aerial Vehicle
  • an object to be tracked is photographed and tracked using an imaging device mounted on the UAV.
  • the UAV itself or the imaging device is controlled so that the object to be the tracking target is in the assumed shooting state.
  • the expected target information representing the assumed shooting state such as the position and size of the object is obtained, and the deviation between the predicted target information and the shooting state of the target object to be actually shot is obtained, and the deviation is calculated. It controls the imaging device by generating a control signal for correction so that it becomes smaller.
  • the information to be controlled is the size and position of the object to be tracked, or the parameters of the imaging device such as focus and exposure time.
  • Object tracking is performed by adjusting the position and orientation of the UAV or the imaging device and controlling the parameters of the imaging device such as focus and exposure time so that the deviation becomes small.
  • Patent Document 2 discloses a method of tracking an object photographed by an in-vehicle camera. If all the objects detected by the in-vehicle camera are to be tracked, the processing load will be high. Therefore, priority is given to each detected object, and the object having a high priority is tracked preferentially. At this time, in the calculation of the priority, the occlusion rate and truncation rate of the object itself, whether or not the object exists in the traveling lane, and the like are taken into consideration. In addition, in the generation of learning data used during learning of the object detector, it is determined whether or not the object should be tracked at the time of annotation, and control is performed at the learning stage so that important objects are preferentially detected.
  • Patent Document 3 discloses a method of tracking a pedestrian using a Kalman filter and estimating its movement parameter.
  • the error between the vehicle speed and the yaw rate is taken into consideration, but this error refers to the resolution of the sensor and is constant regardless of the speed and the magnitude of the yaw rate. It is considered to be.
  • This disclosure is intended to provide an object tracking device, an object tracking method, and a recording medium that solve the above-mentioned problems.
  • the first aspect of the present disclosure is a position information acquisition means for acquiring the position information of an object detected by a sensor, and the sensor.
  • Sensor speed acquisition means for acquiring speed information of the object
  • parameter control means for generating parameter control information including information for controlling parameters used in tracking processing of the object based on the speed information acquired by the sensor speed acquisition means.
  • An object tracking device including the parameter control information generated by the parameter control means and an object tracking means that performs the tracking process using the position information acquired by the position information acquisition means.
  • the second aspect of the present disclosure is to acquire the position information of the object detected by the sensor, acquire the speed information of the sensor, and based on the acquired speed information, a parameter used in the tracking process of the object.
  • This is an object tracking method in which parameter control information including information for controlling the above is generated, and the tracking process is performed using the generated parameter control information and the acquired position information.
  • the third aspect of the present disclosure is to use the computer of the object tracking device as a position information acquisition means for acquiring the position information of the object detected by the sensor, a sensor speed acquisition means for acquiring the speed information of the sensor, and the like.
  • a parameter control means that generates parameter control information including information for controlling parameters used in the tracking process of the object, and the parameter control generated by the parameter control means.
  • It is a storage medium that stores a recording medium that functions as an object tracking means that performs the tracking process using the information and the position information acquired by the position information acquisition means.
  • FIG. 1 It is a schematic block diagram which shows the structure of the object tracking apparatus by 1st Embodiment of this disclosure. It is a flowchart of the flow of the tracking process of the object tracking apparatus according to the 1st Embodiment of this disclosure. It is a figure which shows one configuration example of the parameter control part (FIG. 1) of the object tracking apparatus by 1st Embodiment of this disclosure. It is a figure which shows the other configuration example of the parameter control part (FIG. 1) of the object tracking apparatus by 1st Embodiment of this disclosure. It is a schematic block diagram which shows the structure of the object tracking apparatus by the 2nd Embodiment of this disclosure. It is a figure which shows one configuration example of the parameter control part (FIG.
  • FIG. 5 shows the other configuration example of the parameter control part (FIG. 5) of the object tracking apparatus by the 2nd Embodiment of this disclosure.
  • FIG. 5 shows the other configuration example of the parameter control part (FIG. 5) of the object tracking apparatus by the 2nd Embodiment of this disclosure.
  • FIG. 5 illustrates a computer, a sensor, and a speed sensor for realizing an object tracking device.
  • It is a block diagram which shows the structure of the object tracking apparatus which has the minimum structure. It is a flowchart which shows the processing of the object tracking apparatus which has the minimum configuration.
  • FIG. 1 is a schematic block diagram showing a configuration of an object tracking device 100a according to the first embodiment of the present disclosure.
  • the object tracking device 100a includes a position information acquisition unit 101 (also referred to as a position information acquisition means), a sensor speed acquisition unit 102 (also referred to as a sensor speed acquisition means), a parameter control unit 103 (also referred to as a parameter control means), and an object tracking unit 104. (Also called object tracking).
  • the position information acquisition unit 101 detects an object with a sensor and outputs the object detection position information, which is the position information of the detected object, to the object tracking unit 104.
  • the sensor speed acquisition unit 102 acquires the speed information of the sensor and outputs the acquired sensor speed information to the parameter control unit 103.
  • the parameter control unit 103 outputs the parameter control information for controlling the parameters used for tracking the object to the object tracking unit 104 based on the sensor speed information output from the sensor speed acquisition unit 102.
  • the object tracking unit 104 performs object tracking using the object detection position information output from the position information acquisition unit 101 based on the parameter control information output from the parameter control unit 103, and obtains the object tracking information which is the tracking result. Output.
  • the position information acquisition unit 101 detects an object existing around the moving body by a sensor mounted on the moving body, and obtains the position information thereof.
  • the senor may be any sensor as long as it can be used for detecting the position of an object.
  • a millimeter-wave radar or a laser range scanner may be used to detect the presence or absence of surrounding objects and their positions using radio waves or light.
  • the coordinates of each detected object obtained are converted into coordinates in the real world and output. At this time, the coordinates are described in a coordinate system based on the position of the sensor or a predetermined position of the moving body.
  • a device that captures an image of the surroundings such as a camera
  • a sensor in combination with an image processing technique for detecting an object from an image, surrounding objects are detected and the position is estimated.
  • an image processing method various existing methods can be used.
  • an object detection method for example, a detection method using a neural network-based detector trained in advance, or a method of detecting an object using a detector trained in advance after extracting features such as edges. Can be used.
  • the position information may be information on the image.
  • the position estimation a method of directly obtaining the position information (that is, the coordinates on the image) of the object from the detection result of the object can be used.
  • the position information may be converted into a real world coordinate system.
  • the camera calibration information is used to convert the camera coordinates to real-world coordinates to determine the position of the object.
  • the calibration information is determined by the position and orientation of the camera and the characteristics of the lens and the like, and can be obtained in advance.
  • two cameras may be used to determine the position by stereo vision.
  • the position of the object can be determined by various existing stereo methods.
  • a camera capable of measuring the depth such as a TOF (Time Of Flight) camera, may be used to determine the position of the object.
  • TOF Time Of Flight
  • the position information acquisition unit 101 outputs the object detection position information acquired in this way to the object tracking unit 104.
  • the object detection position information includes the number of detected objects, the ID information that identifies each detected object, and the position information of each object.
  • the object detection position information may further include error information indicating how much error can be included in the detected position. If the error characteristics differ depending on the direction, the object detection position information may include error information for each direction. Even if no object is detected as a result of the detection process, the position information acquisition unit 101 provides information indicating that (that is, the number of detected objects is 0) to the object detection position. Output as information.
  • information representing the appearance characteristics of the object may be output together with the object detection position information. This information can be used to map objects during tracking.
  • the sensor speed acquisition unit 102 acquires the speed of the sensor that detects the position of the object with the object tracking device 100a.
  • the speed of the moving body becomes the speed of the sensor. Therefore, a sensor that measures the speed of the moving body may be used.
  • the sensor speed information may include not only the magnitude of the speed of the sensor but also information on the direction in which the sensor moves.
  • the acquired sensor speed information is output to the parameter control unit 103.
  • the parameter control unit 103 generates parameter control information including information for controlling tracking parameters based on the sensor speed information input from the sensor speed acquisition unit 102. The details of this process will be described later.
  • the parameter control unit 103 outputs the generated parameter control information to the object tracking unit 104.
  • the object tracking unit 104 is a tracking process called "Tracking by Detection" using the object detection position information output from the position information acquisition unit 101, and performs a tracking process based on the detection result. That is, each object included in the object tracking result up to the previous time and being tracked is found to correspond to which detected object included in the object detection result at the current time, and the tracking result is updated. do.
  • various methods such as a Kalman filter and a particle filter can be used.
  • a method using a PHD (Probabilistic Hypothesis Density) filter for estimating the existence distribution of a plurality of objects or a method using a CPHD (Cardinal PHD) filter for estimating the distribution of the number of objects at the same time may be used.
  • PHD Probabilistic Hypothesis Density
  • CPHD Cardinal PHD
  • FIG. 2 is a flowchart showing the flow of the tracking process of the object tracking device 100a according to the first embodiment of the present disclosure.
  • step S101 the position of each tracking target object is predicted from the past tracking results. That is, the motion model of the object is obtained based on the past tracking result, and the position of the object at the current time is predicted based on the motion model and the past position information. For example, when tracking using a Kalman filter, a linear motion model is used to predict the current position from the previous position. When using a particle filter, the position of each particle is determined based on the motion model. At this time, the position is predicted by changing the amount of movement and the direction of each particle in consideration of the distribution of the values assumed as the movement.
  • the input object position detection result is associated with the tracked object. That is, each detected object is associated with each object to be tracked.
  • the association likelihood representing the certainty of the association can be used, and for example, the similarity of the positions can be used.
  • the distance from the tracked object to each detected object is obtained, the association likelihood is determined as a monotonous non-increasing function of the distance, and the association likelihood is considered to correspond to a predetermined threshold value or more.
  • the distance may be used as it is, and it may be regarded as corresponding when the distance is within a predetermined threshold value.
  • the Mahalanobis distance may be used for determination in consideration of the dispersion of positions.
  • the association may be performed by the Hungarian method. The above-mentioned distance can also be used for the cost of association at this time.
  • the association information is information indicating which detection object each tracking object corresponds to. At this time, not only the information as to whether or not the correspondence has been made may be included, but also the association likelihood may be included. In addition, some tracked objects may not correspond to the detected object. In this case, information indicating that the tracked object is not supported is generated. Similarly, some detected objects may not correspond to the tracked object, but similarly, information indicating that they do not correspond is generated as association information.
  • the similarity of the appearance features may be taken into consideration and the association may be performed. That is, the association likelihood may be obtained by using both the position similarity and the appearance feature similarity, and the association may be performed.
  • various existing methods can be used, and for example, the association likelihood may be obtained by weighted addition of similarity.
  • step S103 the information of each tracking object is updated.
  • the position of the tracked object is updated according to the update formula of the Kalman filter according to the corresponding position of the detected object.
  • the association likelihood of each particle is obtained, the position with the highest likelihood as a whole is set as the position of the object to be tracked, and the particles are re-liked according to the likelihood. Perform sampling. For unsupported tracked objects, the predicted position is regarded as the current position and the position of the object is updated.
  • the tracking likelihood which is the likelihood that represents the certainty of the tracked object.
  • the association likelihood is higher than the predetermined value, the tracking result is considered to be probable, so the value of the tracking likelihood is increased.
  • the association likelihood is lower than the predetermined value or when it is not supported, the value of the tracking likelihood is lowered.
  • the tracking likelihood is automatically calculated by the update formula of the filter because the distribution itself represents the existence probability of the object.
  • the association likelihood, the undetected occurrence frequency (or the detection rate indicating the degree to which an object is detected), and the clutter occurrence rate indicating the false detection occurrence frequency are used, and a predetermined update formula is used. calculate.
  • step S104 a process of newly creating and deleting a tracked object is performed. Unsupported detected objects that did not correspond to any tracked object are likely to be newly appearing objects, so a new tracked object corresponding to the detected object is newly generated and added to the object tracking result. do. In particular, since there is no object to be tracked at the start of tracking, all the detected objects are added to the object tracking result and used in subsequent tracking. At this time, as the initial tracking likelihood to be given, a predetermined value may be used, or may be changed depending on the certainty of detection. Further, in the case of a PHD filter or a CPHD filter, the tracking likelihood may be determined by using the probability of occurrence of an object. When using the Kalman filter, a predetermined initial value is set as the variance of the position and velocity. When using a particle filter, the number of particles to be used is also set as a parameter.
  • the unsupported tracked object that did not correspond to any detected object is a tracked object added based on a previous false positive, in addition to the case that happened to be undetected in the current frame. It is conceivable that the tracked object goes out of the coverage of the sensor and disappears. Therefore, it is determined that the tracking target object whose tracking likelihood has become low due to unsupported many times is unlikely to exist at the present time, and is deleted.
  • step S105 it is determined whether or not the next object detection position information has been input from the position information acquisition unit 101, and when the object detection position information is input (YES in step S105), the process returns to step S101. If not (NO in step S105), the process of the flowchart of FIG. 2 is terminated.
  • the object tracking unit 104 generates and outputs the object tracking information at the current time.
  • the object tracking information includes the position of the object, the ID information assigned to each tracked object, and the ID information of the detected object that is associated (information indicating that the object is not supported if it is not matched). ..
  • the description method of location information is arbitrary.
  • the circumscribed rectangle of the tracking object may be obtained and the position may be indicated by the information itself, or a point in the tracking object area (for example).
  • the coordinates of a fixed point such as the center of the circumscribed rectangle of the object or the midpoint of the lower side
  • the position information is represented by real space coordinates, it is converted into a predetermined coordinate system and output as necessary. For example, if the originally obtained position coordinates are individual coordinate systems for each sensor and need to be converted to the coordinate system determined by the moving body, the sensor coordinate system is used based on the sensor installation position and orientation. A conversion formula for converting to the coordinate system of the moving body is obtained, and the position coordinates obtained by the above tracking are converted and output.
  • the object tracking unit 104 uses the associated tracking likelihood threshold, the degree to which the tracking likelihood is changed at the time of update, the initial tracking likelihood, the initial object position, the speed variance, and the particle filter, which are used in the above-mentioned tracking process.
  • Tracking parameters such as the number of particles and the threshold of tracking likelihood at the time of object deletion are controlled based on the parameter control information output from the parameter control unit 103.
  • parameters based on sensor detection characteristics such as detection rate and clutter generation rate (hereinafter referred to as sensor characteristic parameters) used for updating the PHD and CPHD filters are also based on the parameter control information output from the parameter control unit 103. Control. These controls will be described together in the description of the operation of the parameter control unit 103, which will be described later.
  • FIG. 3 is a diagram showing a configuration example of the parameter control unit 103 (FIG. 1) of the object tracking device 100a according to the first embodiment of the present disclosure.
  • the parameter control unit 103 shown in FIG. 3 includes a tracking parameter adjustment unit 110.
  • the tracking parameter adjusting unit 110 adjusts the tracking parameter based on the sensor speed information, generates parameter control information, and outputs the parameter control information to the object tracking unit 104 (FIG. 1).
  • the tracking parameter adjusting unit 110 adjusts the tracking parameter according to the input sensor speed information. If the moving object is moving, and there is a delay between the sensor detecting the object and the actual output of the position information, the position information output from the sensor may deviate from the current position of the object. There is sex. If this delay is constant, no major problem will occur, but if the delay variation is large and the speed of the moving object is large, the effect of the misalignment on the tracking cannot be ignored. As a result, the tracking result of the object may be easily interrupted.
  • the parameters used for associating the detected object and the tracked object are controlled in consideration of the possibility that the position shift is large. Specifically, the threshold value of the association likelihood is set low (or the threshold value of the distance between the detected object and the tracked object is increased). Also, when creating a new tracked object, set a large variance for the position and velocity of the object. Alternatively, the number of particles used in the particle filter may be increased and more positions may be added to the tracking candidates.
  • the fluctuation range of the tracking likelihood at the time of updating the tracking likelihood may be reduced, or the threshold value of the tracking likelihood at the time of deleting the tracking target object may be lowered. ..
  • the tracking parameter adjustment unit 110 holds information (conversion table, logic information required for conversion, etc.) that describes the relationship between the sensor speed and the above-mentioned parameter change value, and when the sensor speed information is input. , The changed value of the tracking parameter to be changed is obtained, parameter control information including this value is generated, and output to the object tracking unit 104 (FIG. 1). Then, the object tracking unit 104 tracks the object by using the value of the parameter included in the parameter control information.
  • conversion table logic information required for conversion, etc.
  • FIG. 4 is a diagram showing another configuration example of the parameter control unit 103 (FIG. 1) of the object tracking device 100a according to the first embodiment of the present disclosure.
  • the parameter control unit 103 shown in FIG. 4 includes a sensor characteristic parameter estimation unit 111.
  • the sensor characteristic parameter estimation unit 111 estimates the sensor characteristic parameter based on the sensor speed information, generates parameter control information, and outputs the parameter control information to the object tracking unit 104 (FIG. 1).
  • the sensor characteristic parameter estimation unit 111 estimates the sensor characteristic parameter based on the input sensor speed information.
  • sensor characteristic parameters such as detection rate and clutter generation rate may change depending on the moving speed. For example, in the case of a camera, the characteristics of object detection change due to motion blurring. Therefore, when a sensor affected by the moving speed is used, the detection rate and the clutter generation rate are estimated according to the sensor speed.
  • the characteristics of the sensor may be actually measured in advance according to various speeds, and stored in association with the sensor speed. Then, the sensor characteristic parameter estimation unit 111 reads out the corresponding sensor characteristic value according to the input sensor speed, generates parameter control information including the read out sensor characteristic parameter value, and causes the object tracking unit 104 (FIG. FIG. Output to 1). The object tracking unit 104 tracks the object by using the value of the sensor characteristic parameter included in the parameter control information.
  • the sensor characteristic parameter used for tracking approaches the actual value, so that the accuracy of tracking is improved.
  • the sensor characteristic parameter used for tracking approaches the actual value, so that the accuracy of tracking is improved.
  • FIG. 5 is a schematic block diagram showing the configuration of the object tracking device 100b according to the second embodiment of the present disclosure.
  • the object tracking device 100b includes a position information acquisition unit 101, a sensor speed acquisition unit 102, a parameter control unit 203, and an object tracking unit 104.
  • the object tracking device 100b of FIG. 5 includes a parameter control unit 203 instead of the parameter control unit 103.
  • the object detection position information output from the position information acquisition unit 101 is output to the object tracking unit 104 and the parameter control unit 203.
  • the sensor speed information output from the sensor speed acquisition unit 102 is output to the parameter control unit 203.
  • the parameter control unit 203 generates parameter control information based on the object detection position information output from the position information acquisition unit 101 and the sensor speed information output from the sensor speed acquisition unit 102, and sends the object tracking unit 104 to the object tracking unit 104. Output. Since the other connection relationships are the same as those in FIG. 1, their description will be omitted.
  • the parameter control unit 203 generates parameter control information including information for controlling tracking parameters based on the object detection position information output from the position information acquisition unit 101 and the sensor speed information input from the sensor speed acquisition unit 102. do. Details of this process will be described later.
  • the generated parameter control information is output to the object tracking unit 104. Next, the details of the parameter control unit 203 will be described.
  • FIG. 6 is a diagram showing a configuration example of the parameter control unit 203 (FIG. 5) of the object tracking device 100b according to the second embodiment of the present disclosure.
  • the parameter control unit 103 shown in FIG. 6 includes a sensor characteristic parameter estimation unit 211.
  • the sensor characteristic parameter estimation unit 211 estimates the sensor characteristic parameter based on the object detection position information and the sensor speed information, and the parameter control information. Is generated and output to the object tracking unit 104 (FIG. 5).
  • the sensor characteristic parameter estimation unit 211 of FIG. 6 is different from the sensor characteristic parameter estimation unit 111 of FIG. 4 in that the sensor characteristic parameter is estimated using the object detection position information actually obtained by the sensor.
  • the detection characteristics such as the detection rate of the sensor and the clutter generation rate, and there are some variations. Therefore, unless it is adjusted individually for each sensor, there may be a deviation from the set value. It is also conceivable that the performance of the sensor may change on the way due to deterioration over time. If the detection characteristics of the sensor deviate in this way, the tracking performed using the value as in the PHD or CPHD filter is also adversely affected. In order to avoid this, it is necessary to estimate and correct the characteristics of the sensor.
  • the moving object If the moving object is stationary, the surrounding stationary objects will continue to stand still, so it is possible to associate the same objects in chronological order without having to track them. As a result, undetected can be easily determined and the detection rate can be estimated. In addition, even if the object is moving around, the movement is simpler than when the moving object is moving, so that it is easier to track. Therefore, the determination of false positives becomes easy.
  • the sensor characteristic parameter estimation unit 211 performs the above estimation only when the magnitude of the sensor speed is equal to or less than a predetermined threshold value. Then, the sensor characteristic parameter estimation unit 211 generates parameter control information when the estimated result is obtained, and outputs the parameter control information to the object tracking unit 104 (FIG. 5).
  • FIG. 7 is a diagram showing another configuration example of the parameter control unit 203 (FIG. 5) of the object tracking device 100b according to the second embodiment of the present disclosure.
  • the parameter control unit 203 shown in FIG. 7 includes a tracking parameter adjustment unit 210 and a sensor characteristic parameter estimation unit 211.
  • the sensor characteristic parameter estimation unit 211 estimates the sensor characteristic parameter based on the sensor speed information and the object detection position information, generates parameter control information, and outputs the parameter control information to the tracking parameter adjustment unit 210.
  • the tracking parameter adjusting unit 210 adjusts the tracking parameter and generates the parameter control information based on the sensor speed information and the parameter control information regarding the sensor characteristic output from the sensor characteristic parameter estimation unit 211, and the generated parameter control information. Is output to the object tracking unit 104 (FIG. 5).
  • the operation of the sensor characteristic parameter estimation unit 211 is the same as the operation described with reference to FIG.
  • the operation of the tracking parameter adjusting unit 210 is the same as the operation of the tracking parameter adjusting unit 110 of FIG. 3, but the tracking parameter is adjusted based on the sensor characteristic parameter control information output from the sensor characteristic parameter estimation unit 211. What's more is different.
  • the tracked object should not be mistakenly associated with the clutter.
  • Tighten the parameters of the association increase the threshold of the association likelihood (decrease the threshold of the distance), etc.
  • how to change the tracking parameter with respect to the clutter occurrence rate may be determined in advance, and the correspondence may be maintained. Then, the tracking parameter to be used is selected according to the input clutter occurrence rate.
  • the sensor characteristic parameter estimation unit 211 adjusts the value of the tracking parameter in this way, and generates parameter control information including this value.
  • the output parameter control information may include only the information regarding the tracking parameter, or may include both the tracking parameter and the sensor characteristic parameter information output from the sensor characteristic parameter estimation unit 211.
  • each functional component of the object tracking devices 100a and 100b may be realized by hardware that realizes each functional component (eg, a hard-wired electronic circuit, etc.), or a combination of hardware and software (eg, a combination of hardware and software). For example, it may be realized by a combination of an electronic circuit and a program that controls it).
  • each functional component of the object tracking devices 100a and 100b is realized by a combination of hardware and software will be further described.
  • FIG. 8 is a diagram illustrating a computer 1000, a sensor 1200, and a speed sensor 1300 for realizing the object tracking devices 100a and 100b.
  • the computer 1000 is an arbitrary computer.
  • the computer 1000 is a personal computer (PC), an industrial computer, or the like.
  • the computer 1000 may be a dedicated computer designed to realize the object tracking devices 100a and 100b, or may be a general-purpose computer.
  • the computer 1000 includes a bus 1020, a processor 1040, a memory 1060, a storage device 1080, an input / output I / F (interface) 1100, and a peripheral device I / F 1120.
  • the bus 1020 is a data transmission path for the processor 1040, the memory 1060, the storage device 1080, the input / output I / F1100, and the peripheral device I / F1120 to transmit and receive data to and from each other.
  • the method of connecting the processors 1040 and the like to each other is not limited to the bus connection.
  • the processor 1040 is various processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an FPGA (Field-Programmable Gate Array).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field-Programmable Gate Array
  • the memory 1060 is a main storage device realized by using a RAM (Random Access Memory) or the like.
  • the storage device 1080 is an auxiliary storage device realized by using a hard disk, an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like.
  • the input / output I / F 1100 is an interface for connecting the computer 1000 and the input / output device.
  • an input device such as a keyboard and an output device such as a display device are connected to the input / output I / F 1100.
  • the peripheral device I / F 1120 is an interface for connecting the peripheral device to the computer 1000.
  • the peripheral device I / F1120 is, for example, an interface such as USB (Universal Serial Bus) or IEEE 1394. Alternatively, it is a wired or wireless network interface or an interface such as Bluetooth.
  • a sensor 1200 and a speed sensor 1300 are connected to the peripheral device interface I / F.
  • the sensor 1200, the speed sensor 1300, and the computer 1000 can communicate with each other via the peripheral device interface I / F.
  • the sensor 1200 and the speed sensor 1300 correspond to the position information acquisition unit 101 and the sensor speed acquisition unit 102 of the object tracking devices 100a and 100b, respectively.
  • the position information acquisition unit 101 analyzes the image acquired by the camera and obtains the position of the object, the camera and the function of processing the image are combined. In this case, only the camera may be connected as the sensor, and the subsequent processing may be executed on the computer 1000 side.
  • the storage device 1080 stores a program module that realizes each part of the object tracking device 100a or 100b.
  • the processor 1040 realizes the function corresponding to each program module by reading each of these program modules into the memory 1060 and executing the program module.
  • FIG. 9 is a block diagram showing the configuration of the object tracking device 100c having the minimum configuration.
  • the object tracking device 100c includes a parameter control unit 303 and an object tracking unit 304.
  • FIG. 10 is a flowchart showing the processing of the object tracking device 100c having the minimum configuration.
  • the parameter control unit 303 generates parameter control information including information for controlling parameters used in the tracking process of the object based on the speed information of the sensor (step S201). Then, the object tracking unit 304 performs tracking processing using the parameter control information generated by the parameter control unit 303 and the position information of the object (step S202).
  • Position information acquisition means for acquiring the position information of the object detected by the sensor, and A sensor speed acquisition means for acquiring the speed information of the sensor, and A parameter control means that generates parameter control information including information for controlling parameters used in the tracking process of the object based on the speed information acquired by the sensor speed acquisition means.
  • An object tracking means that performs the tracking process using the parameter control information generated by the parameter control means and the position information acquired by the position information acquisition means, and an object tracking means.
  • the parameter control means adjusts the first parameter related to the tracking process based on the speed information acquired by the sensor speed acquisition means, and generates the parameter control information.
  • Object tracking device The parameter control means adjusts the first parameter related to the tracking process based on the speed information acquired by the sensor speed acquisition means, and generates the parameter control information.
  • the parameter control means estimates a second parameter related to the detection characteristic of the sensor based on the speed information acquired by the sensor speed acquisition means, and generates the parameter control information. Described object tracking device.
  • the parameter control means uses the position information acquired by the position information acquisition means to detect characteristics of the sensor.
  • the object tracking device according to Appendix 4 which estimates a second parameter with respect to the above and generates the parameter control information.
  • the parameter control means detects the sensor by using the position information acquired by the position information acquisition means when the speed information acquired by the sensor speed acquisition means is equal to or less than a predetermined value. Estimate the second parameter for the characteristic, generate the first parameter control information, Based on the speed information acquired by the sensor speed acquisition means and the first parameter control information, the first parameter is adjusted and combined with the adjusted first parameter and the estimated second parameter. , The object tracking device according to Appendix 2 that generates the parameter control information.
  • the first parameter used in the tracking process is a threshold of the association likelihood used for associating the object and the tracking target object detected in the tracking process, and a tracking likelihood representing the certainty of the tracking target object.
  • Addendum 3 or includes at least one of the degree of variation, the initial tracking likelihood, the initial object position and velocity distribution, the number of particles in the particle filter, and the tracking likelihood threshold when deleting an object to be tracked. 6. The object tracking device according to 6.
  • the second parameter relating to the detection characteristics of the sensor is The object tracking device according to Appendix 4 or 6, which comprises at least one of the object detection rate and the clutter occurrence rate.
  • the sensor used in the position information acquisition means is a camera capable of acquiring an image, and the object is detected by analyzing the obtained image.
  • Object tracking device is a camera capable of acquiring an image, and the object is detected by analyzing the obtained image.
  • Position information acquisition means for acquiring the position information of the object detected by the sensor
  • a sensor speed acquisition means for acquiring the speed information of the sensor
  • a parameter control means that generates parameter control information including information for controlling parameters used in the tracking process of the object based on the speed information acquired by the sensor speed acquisition means.
  • An object tracking means that performs the tracking process using the parameter control information generated by the parameter control means and the position information acquired by the position information acquisition means.
  • a recording medium that records a program that functions as.
  • the object tracking device can be used to detect and track surrounding objects by a sensor mounted on a moving body such as a UAV, and to grasp whether or not there are obstacles or the like in the surroundings. ..
  • the moving body includes not only UAVs but also vehicles, robots, ships, submersibles, and anything else that moves by mounting a sensor for detecting an object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

オブジェクト追跡装置は、センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、センサの速度情報を取得するセンサ速度取得手段と、センサ速度取得手段で取得した速度情報に基づいて、オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、パラメータ制御手段で生成したパラメータ制御情報と、位置情報取得手段で取得した位置情報とを用いて追跡処理を行うオブジェクト追跡手段と、を備える。

Description

オブジェクト追跡装置、オブジェクト追跡方法、および記録媒体
　本発明は、移動体の周囲に存在するオブジェクトを追跡するオブジェクト追跡装置、オブジェクト追跡方法、および記録媒体に関する。
　従来、移動体の周囲に存在するオブジェクトを追跡する方式が複数提案されている。
　例えば、特許文献１では、ＵＡＶ（Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）の周囲のオブジェクトを検出し、追跡する方法が開示されている。この特許文献１では、ＵＡＶに搭載された撮像デバイスを用いて追跡目標となるオブジェクトを撮影し、追跡する。この際、追跡目標となるオブジェクトが、想定された撮影状態になるように、ＵＡＶ自体、あるいは撮像デバイスが制御される。具体的には、オブジェクトの位置やサイズなど、想定された撮影状態を表す予想目標情報を求め、その予想目標情報と、実際に撮影される目標物体の撮影状態との偏差を求めて、偏差が小さくなるように補正するための制御信号を生成し、撮像デバイスを制御する。この際、制御する情報としては、追跡目標となるオブジェクトの大きさや位置、あるいは、フォーカス、露光時間などの撮像デバイスのパラメータである。偏差が小さくなるように、ＵＡＶ、あるいは撮像デバイスの位置や向きを調整したり、フォーカスや露光時間などの撮像デバイスのパラメータを制御したりし、オブジェクト追跡を行っている。
　また、特許文献２では、車載カメラで撮影したオブジェクトを追跡する方法が開示されている。車載カメラで検出されたオブジェクトをすべて追跡しようとすると、処理負荷が高くなるため、各検出オブジェクトに優先度を付与し、優先度が高いオブジェクトを優先的に追跡している。この際、優先度の算出では、オブジェクト自体のオクルージョン率やトランケーション率、走行中の車線にオブジェクトが存在するかどうか等を考慮している。また、オブジェクト検出器の学習時に用いる学習データの生成で、アノテーション時に追跡すべきオブジェクトかどうかを判定し、重要なオブジェクトを優先的に検出するように、学習段階で制御している。
　また、特許文献３では、カルマンフィルタを用いて歩行者を追跡し、その移動パラメータを推定する方法が開示されている。この特許文献３では、歩行者を追跡する際に、車速とヨーレイトの誤差分を考慮しているが、この誤差は、センサの分解能を指しており、速度やヨーレイトの大きさによらず、一定であるとみなしている。
特開２０１８－１２９０６３号公報 特開２０１９－２１１８３１号公報 特開２０１８－０６０３２６号公報
　この開示は、上述の課題を解決するオブジェクト追跡装置、オブジェクト追跡方法、および記録媒体を提供することを目的としている。
　本開示のいくつかの態様は、上述の課題を解決すべくなされたもので、本開示の第１の態様は、センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、前記センサの速度情報を取得するセンサ速度取得手段と、前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段と、を備えるオブジェクト追跡装置である。
　また、本開示の第２の態様は、センサにより検出されたオブジェクトの位置情報を取得し、前記センサの速度情報を取得し、取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成し、生成した前記パラメータ制御情報と、取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡方法である。
　また、本開示の第３の態様は、オブジェクト追跡装置のコンピュータを、センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、前記センサの速度情報を取得するセンサ速度取得手段と、前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段、として機能させる記録媒体を記憶した記憶媒体である。
本開示の第１の実施の形態によるオブジェクト追跡装置の構成を示す概略ブロック図である。 本開示の第１の実施の形態によるオブジェクト追跡装置の追跡処理の流れをフローチャートである。 本開示の第１の実施の形態によるオブジェクト追跡装置のパラメータ制御部（図１）の一構成例を示す図である。 本開示の第１の実施の形態によるオブジェクト追跡装置のパラメータ制御部（図１）の他の構成例を示す図である。 本開示の第２の実施の形態によるオブジェクト追跡装置の構成を示す概略ブロック図である。 本開示の第２の実施の形態によるオブジェクト追跡装置のパラメータ制御部（図５）の一構成例を示す図である。 本開示の第２の実施の形態によるオブジェクト追跡装置のパラメータ制御部（図５）の他の構成例を示す図である。 オブジェクト追跡装置を実現するための計算機、センサ、速度センサを例示する図である。 最小構成を有するオブジェクト追跡装置の構成を示すブロック図である。 最小構成を有するオブジェクト追跡装置の処理を示すフローチャートである。
　以下に、本開示を実施するためのいくつかの形態について、図面を参照して詳細に説明する。
（第１の実施の形態）
　図１は、本開示の第１の実施の形態によるオブジェクト追跡装置１００ａの構成を示す概略ブロック図である。オブジェクト追跡装置１００ａは、位置情報取得部１０１（位置情報取得手段とも称する）、センサ速度取得部１０２（センサ速度取得手段とも称する）、パラメータ制御部１０３（パラメータ制御手段とも称する）、オブジェクト追跡部１０４（オブジェクト追跡とも称する）を備える。
　位置情報取得部１０１は、センサでオブジェクトを検出し、検出されたオブジェクトの位置情報であるオブジェクト検出位置情報を、オブジェクト追跡部１０４へ出力する。
　センサ速度取得部１０２は、センサの速度情報を取得し、取得したセンサ速度情報を、パラメータ制御部１０３へ出力する。
　パラメータ制御部１０３は、センサ速度取得部１０２から出力されるセンサ速度情報に基づいて、オブジェクトの追跡に用いるパラメータを制御するパラメータ制御情報を、オブジェクト追跡部１０４へ出力する。
　オブジェクト追跡部１０４は、パラメータ制御部１０３から出力されるパラメータ制御情報に基づいて、位置情報取得部１０１から出力されるオブジェクト検出位置情報を用いてオブジェクト追跡を行い、追跡結果であるオブジェクト追跡情報を出力する。
　次に、図1のオブジェクト追跡装置１００ａの動作について説明する。
　位置情報取得部１０１は、移動体に搭載されたセンサによって、移動体の周囲に存在するオブジェクトを検出し、その位置情報を求める。
　ここで、センサとしては、オブジェクトの位置検出に利用できるものであれば、どのようなセンサでもよい。例えば、ミリ波レーダやレーザレンジスキャナのように、電波や光を用いて周囲のオブジェクトの有無とその位置を検出するものであってもよい。得られた各検出オブジェクトの座標は、実世界上での座標に変換されて出力される。この際、座標は、センサの位置や移動体の所定の位置を基準とした座標系で記述される。
　あるいは、カメラのように、周囲の画像を撮影するデバイスを、センサとして用いてもよい。この場合は、画像からオブジェクトを検出する画像処理技術と組み合わせ、周囲のオブジェクト検出と位置推定を行う。この画像処理の方式としては、既存の様々な方式を用いることができる。オブジェクト検出の方式としては、例えば、あらかじめ学習させたニューラルネットワークベースの検出器を用いる検出方式や、エッジなどの特徴量を抽出した上で、あらかじめ学習させた検出器を用いてオブジェクトを検出する方式を用いることができる。
　また、センサがカメラ画像の場合には、位置情報は画像上の情報であってもよい。この場合は、位置推定としては、オブジェクトの検出結果から直接そのオブジェクトの位置情報（すなわち、画像上の座標）を求める方式を用いることができる。一方、位置情報は、実世界座標系に変換されたものであってもよい。この場合は、カメラのキャリブレーション情報を用いて、カメラ座標を実世界座標に変換し、オブジェクトの位置を求める。キャリブレーション情報は、カメラの位置と姿勢、およびレンズ等の特性によって定まり、事前に求めておくことが可能である。
　あるいは、カメラを２つ用いて、ステレオ視によって位置を求めるようにしてもよい。この場合は、既存の様々なステレオ方式によってオブジェクトの位置を求めることができる。あるいは、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラのように奥行き計測が可能なカメラを用い、オブジェクトの位置を求めるようにしてもよい。
　位置情報取得部１０１は、このようにして取得したオブジェクト検出位置情報を、オブジェクト追跡部１０４へ出力する。オブジェクト検出位置情報は、検出されたオブジェクトの数と、各検出オブジェクトを識別するＩＤ情報、および、各オブジェクトの位置情報を含む。オブジェクト検出位置情報は、さらに、検出された位置にどの程度の誤差が含まれ得るかを表す誤差情報も含んでもよい。もし、誤差特性が方向によって異なる場合には、オブジェクト検出位置情報は、方向別の誤差情報を含んでもよい。なお、検出処理の結果、オブジェクトが一つも検出されなかった場合であっても、そのことを示す情報（すなわち、オブジェクト検出数が０であること）を、位置情報取得部１０１は、オブジェクト検出位置情報として出力する。
　また、センサがカメラの場合には、オブジェクト検出位置情報と合わせて、オブジェクトの外見特徴を表す情報も併せて出力してもよい。この情報は、追跡の際のオブジェクトの対応付けに用いることができる。
　センサ速度取得部１０２は、オブジェクト追跡装置１００ａでオブジェクトの位置を検出するセンサの速度を取得する。センサが移動体に固定されている場合には、移動体の速度がセンサの速度となるため、移動体の速度を計測するセンサを用いればよい。例えば、移動体がＵＡＶの場合は、ＵＡＶの速度を、センサ速度として取得する。速度を計測して取得する方法としては、既存の任意の方式を用いることができる。なお、ここでセンサ速度情報としては、センサの速度の大きさだけでなく、センサが移動する向きの情報を含んでいてもよい。取得したセンサ速度情報は、パラメータ制御部１０３へ出力される。
　パラメータ制御部１０３は、センサ速度取得部１０２から入力されるセンサ速度情報に基づいて、追跡パラメータを制御する情報を含むパラメータ制御情報を生成する。この処理の詳細は後述する。パラメータ制御部１０３は、生成したパラメータ制御情報を、オブジェクト追跡部１０４へ出力する。
　オブジェクト追跡部１０４は、位置情報取得部１０１から出力されるオブジェクト検出位置情報を用いて、「Ｔｒａｃｋｉｎｇ　ｂｙ　Ｄｅｔｅｃｔｉｏｎ」と呼ばれる追跡処理であって、検出結果に基づいた追跡処理を行う。すなわち、一つ前の時刻までのオブジェクト追跡結果に含まれ、追跡対象となっている各オブジェクトが、現時刻のオブジェクト検出結果に含まれる、どの検出オブジェクトと対応づくかを求め、追跡結果を更新する。
　追跡処理としては、カルマンフィルタやパーティクルフィルタによる方式など、様々な方式を用いることができる。あるいは、複数オブジェクトの存在分布を推定するＰＨＤ（Ｐｒｏｂａｂｉｌｉｓｔｉｃ　Ｈｙｐｏｔｈｅｓｉｓ　Ｄｅｎｓｉｔｙ）フィルタによる方式や、さらにオブジェクト数の分布も同時に推定するＣＰＨＤ（Ｃａｒｄｉｎａｌ　ＰＨＤ）フィルタによる方式を用いてもよい。
　図２は、本開示の第１の実施の形態によるオブジェクト追跡装置１００ａの追跡処理の流れをフローチャートである。
　ステップＳ１０１では、過去の追跡結果から、各追跡対象オブジェクトの位置を予測する。すなわち、過去の追跡結果に基づいてオブジェクトの動きモデルを求めておき、動きモデルと過去の位置情報に基づいて、現時刻におけるオブジェクトの位置を予測する。例えば、カルマンフィルタを用いて追跡する場合には、線形な動きモデルを用い、一つ前の位置から現在の位置を予測する。パーティクルフィルタを用いる場合には、動きモデルに基づいて各粒子の位置を定める。この際、動きとして想定される値の分布を考慮して、各粒子の動き量や向きを変化させて位置を予測する。
　ステップＳ１０２では、入力されるオブジェクト位置検出結果と追跡対象オブジェクトとを対応付ける。すなわち、検出された各オブジェクトと追跡対象となっている各オブジェクトとの対応付けを行う。対応付けの指標としては、対応付けの確からしさを表す対応付け尤度を用いることができ、例えば位置の類似度を用いることができる。この場合、追跡対象オブジェクトから各検出オブジェクトまでの距離を求め、距離の単調非増加関数として対応付け尤度を定め、対応付け尤度が所定の閾値以上のものを対応づくとみなす。あるいは、距離をそのまま用い、距離が所定の閾値以内のときに対応づくとみなしてもよい。この際、単純なユークリッド距離で対応付けを行うのではなく、位置の分散を考慮し、マハラノビス距離を用いて判定してもよい。あるいは、検出されたオブジェクトと追跡対象オブジェクトを排他的に対応付ける場合には、ハンガリアン法による対応付けを行ってもよい。この際の対応付けのコストにも、上述の距離を用いることができる。
　この結果、追跡対象オブジェクトと検出オブジェクトを対応付ける対応付け情報が生成される。対応づけ情報は、各追跡対象オブジェクトが、どの検出オブジェクトに対応づくかを表す情報である。この際、単に対応づいたかどうかという情報だけでなく、対応付け尤度も含めてもよい。また、追跡対象オブジェクトの中には、検出オブジェクトと対応づかないものも存在し得る。この場合は、その追跡対象オブジェクトに対しては、未対応であることを表す情報を生成する。同様に、検出オブジェクトの中にも、追跡対象オブジェクトと対応づかないものが存在し得るが、同様に未対応であることを表す情報を対応付け情報として生成する。
　なお、センサがカメラの場合で外見特徴も用いることができる場合には、外見特徴の類似性も併せて考慮し、対応付けを行ってもよい。すなわち、位置の類似性と外見特徴の類似性の両方を用いて対応付け尤度を求め、対応付けを行ってもよい。この際の組み合わせ方法としては、既存の様々な方式を用いることができ、例えば、類似度の重みづけ加算によって対応付け尤度を求めてもよい。
　ステップＳ１０３では、各追跡対象オブジェクトの情報を更新する。カルマンフィルタを用いてオブジェクトの追跡を行う場合には、対応づいた検出オブジェクトの位置によって、カルマンフィルタの更新式に従って追跡対象オブジェクトの位置を更新する。パーティクルフィルタを用いてオブジェクトの追跡を行う場合は、各粒子の対応付け尤度を求め、全体として最も尤度が高くなる位置を追跡対象オブジェクトの位置とするとともに、尤度に応じて粒子の再サンプリングを行う。なお、未対応の追跡対象オブジェクトについては、予測位置を現在の位置とみなして、オブジェクトの位置を更新する。
　また、追跡対象オブジェクトの確からしさを表す尤度である追跡尤度も併せて更新する。対応付け尤度が、所定値よりも高い場合には、追跡結果が確からしいと考えられるため、追跡尤度の値を高める。一方、対応付け尤度が、所定値よりも低い場合、あるいは未対応の場合には、追跡尤度の値を低くする。
　一方、ＰＨＤフィルタやＣＰＨＤフィルタによって追跡を行う場合には、分布自体がオブジェクトの存在確率を表しているため、追跡尤度はフィルタの更新式によって自動的に算出される。具体的には、対応付け尤度と、未検出の発生頻度（あるいは、オブジェクトが検出される度合いを表す検出率）と、誤検出の発生頻度を表すクラッタ発生率を用い、所定の更新式によって算出する。
　ステップＳ１０４では、追跡対象オブジェクトの新規生成、削除の処理を行う。どの追跡対象オブジェクトとも対応づかなかった、未対応の検出オブジェクトは、新たに出現したオブジェクトである可能性が高いため、その検出オブジェクトに対応する追跡対象オブジェクトを新たに生成し、オブジェクト追跡結果に追加する。特に、追跡開始時点では、追跡対象オブジェクトが存在しないため、検出されたオブジェクトをすべてオブジェクト追跡結果に追加し、以降の追跡で用いる。この際、付与する初期の追跡尤度としては、あらかじめ定めた値を用いてもよいし、あるいは、検出の確からしさによって変化させてもよい。また、ＰＨＤフィルタやＣＰＨＤフィルタの場合は、オブジェクトの発生確率も用いて追跡尤度を定めてもよい。また、カルマンフィルタを用いる場合は、位置や速度の分散として所定の初期値を設定する。パーティクルフィルタを用いる場合は、さらに、用いる粒子数もパラメータとして設定する。
　一方、どの検出オブジェクトとも対応づかなかった、未対応の追跡対象オブジェクトは、現フレームでたまたま未検出であったケース以外にも、以前の誤検出に基づいて追加された追跡対象オブジェクトであったり、追跡対象オブジェクトがセンサの覆域外に出て消失したりしたケースが考えられる。よって、何度も未対応が続いて追跡尤度が低くなった追跡対象オブジェクトは、現時点で存在している可能性が低いと判定し、削除する。
　ステップＳ１０５では、位置情報取得部１０１から次のオブジェクト検出位置情報が入力されたか否かを判定し、オブジェクト検出位置情報が入力されたとき（ステップＳ１０５のＹＥＳ）には、ステップＳ１０１に戻り、そうでないとき（ステップＳ１０５のＮＯ）には、図２のフローチャートの処理を終了する。
　このようにして、オブジェクト追跡部１０４は、現時刻におけるオブジェクト追跡情報を生成し、出力する。ここで、オブジェクト追跡情報は、オブジェクトの位置、追跡対象オブジェクトごとに付与されたＩＤ情報、対応づいた検出オブジェクトのＩＤ情報（対応づかなかった場合には未対応であることを表す情報）を含む。
　なお、位置情報の記述方法は任意である。センサがカメラの場合であって、位置情報が画面上の位置を表す場合には、追跡オブジェクトの外接矩形を求め、その情報自体で位置を示してもよいし、追跡オブジェクト領域中の一点（例えば、オブジェクトの外接矩形の中心や下辺の中点などの定められた点）の座標を求めてもよい。あるいは、位置情報を実空間座標で表す場合には、必要に応じて所定の座標系に変換して出力する。例えば、もともと求まっている位置座標がセンサごとの個別の座標系であり、移動体によって定められる座標系に変換する必要がある場合には、センサの設置位置や向きに基づいて、センサ座標系から移動体の座標系に変換する変換式を求めておき、上述の追跡で求まった位置座標を変換して出力する。
　オブジェクト追跡部１０４は、上述の追跡処理によって用いる、対応付け尤度の閾値や、更新時に追跡尤度を変化させる度合い、初期の追跡尤度や、初期のオブジェクト位置、速度の分散、パーティクルフィルタの粒子数、オブジェクト削除時の追跡尤度の閾値などの追跡パラメータを、パラメータ制御部１０３から出力されるパラメータ制御情報に基づいて制御する。また、ＰＨＤやＣＰＨＤフィルタの更新で用いる、検出率やクラッタ発生率といったセンサの検出特性に基づくパラメータ（以後、センサ特性パラメータと呼ぶ）も、パラメータ制御部１０３から出力されるパラメータ制御情報に基づいて制御する。これらの制御については、この後に述べるパラメータ制御部１０３の動作説明の際に一緒に述べる。
　次に、パラメータ制御部１０３について図を用いて説明する。
　図３は、本開示の第１の実施の形態によるオブジェクト追跡装置１００ａのパラメータ制御部１０３（図１）の一構成例を示す図である。図３に示すパラメータ制御部１０３は、追跡パラメータ調整部１１０を備える。追跡パラメータ調整部１１０は、センサ速度情報に基づいて追跡パラメータを調整し、パラメータ制御情報を生成し、オブジェクト追跡部１０４（図１）へ出力する。
　次に、図３のパラメータ制御部１０３の動作について説明する。
　追跡パラメータ調整部１１０は、入力されるセンサ速度情報によって、追跡パラメータの調整を行う。移動体が移動している場合、センサがオブジェクトを検出してから実際に位置情報を出力するまでに遅延がある場合、センサから出力される位置情報は、現在のオブジェクトの位置からずれている可能性がある。もし、この遅延が一定であれば大きな問題は生じないが、遅延のばらつきが大きい場合で、かつ移動体の速度が大きい場合には、位置のずれが追跡に与える影響を無視できなくなる。その結果、オブジェクトの追跡結果が途切れやすくなるなどの影響が生じ得る。
　これを避けるために、移動体の速度が速い場合には、位置のずれが大きい可能性を考慮し、検出オブジェクトと追跡対象オブジェクトの対応付けで用いるパラメータを制御する。具体的には、対応づけ尤度の閾値を低め（あるいは検出オブジェクトと追跡対象オブジェクトの距離の閾値を高め）に設定する。また、追跡対象オブジェクトを新規生成する際、オブジェクトの位置や速度の分散を大きめに設定する。あるいは、パーティクルフィルタで用いる粒子数を増やし、より多くの位置を追跡候補に加えてもよい。
　また、位置ずれによって追跡が途切れやすくなることを考慮し、追跡尤度更新時の追跡尤度の変動幅を小さくしたり、追跡対象オブジェクト削除時の追跡尤度の閾値を下げたりしてもよい。
　追跡パラメータ調整部１１０は、センサ速度と上述のパラメータの変更値の関係を記述した情報（変換テーブルや、変換に必要なロジックの情報など）を保持しており、センサ速度情報が入力されると、変更する追跡パラメータの変更後の値を求め、この値を含むパラメータ制御情報を生成し、オブジェクト追跡部１０４（図１）へ出力する。そして、オブジェクト追跡部１０４では、パラメータ制御情報に含まれるパラメータの値を用いて、オブジェクトの追跡を行う。
　このように、センサ速度の大きさに応じて、追跡パラメータを制御することで、追跡の途切れを減らすことができ、追跡の精度が向上する。
　次に、パラメータ制御部１０３（図１）の別の例ついて説明する。
　図４は、本開示の第１の実施の形態によるオブジェクト追跡装置１００ａのパラメータ制御部１０３（図１）の他の構成例を示す図である。図４に示すパラメータ制御部１０３は、センサ特性パラメータ推定部１１１を備える。センサ特性パラメータ推定部１１１は、センサ速度情報に基づいてセンサ特性パラメータを推定し、パラメータ制御情報を生成し、オブジェクト追跡部１０４（図１）へ出力する。
　次に、図４のパラメータ制御部１０３の動作について説明する。
センサ特性パラメータ推定部１１１は、入力されるセンサ速度情報に基づいて、センサ特性パラメータの推定を行う。
　センサによっては、移動速度によって、検出率やクラッタ発生率といったセンサ特性パラメータが変わり得る。例えば、カメラの場合、動きボケが生じることによって、オブジェクト検出の特性が変わる。よって、移動速度によって影響を受けるセンサを用いる場合には、センサ速度に応じて、検出率やクラッタ発生率を推定する。
　これは、例えば、事前に様々な速度に応じてセンサの特性を実測しておき、センサ速度に対応付けて記憶しておけばよい。そして、センサ特性パラメータ推定部１１１は、入力されるセンサ速度に応じて、対応するセンサ特性の値を読み出し、読み出したセンサ特性パラメータの値を含むパラメータ制御情報を生成し、オブジェクト追跡部１０４（図１）へ出力する。オブジェクト追跡部１０４は、パラメータ制御情報に含まれるセンサ特性パラメータの値を用いて、オブジェクトの追跡を行う。
　これにより、追跡で用いるセンサ特性パラメータが実際の値に近づくため、追跡の精度が向上する。
　このように、第１の実施の形態では、センサ速度を用いてパラメータを制御することにより、移動体の速度にあった追跡を行うことができ、移動体の周囲にあるオブジェクトの追跡精度を向上できる。
（第２の実施の形態）
　次に、本開示の第２の実施の形態について説明する。第２の実施の形態によるオブジェクト追跡装置の構成及び処理が、第１の実施の形態によるオブジェクト追跡装置１００ａと同じ部分については、それらの説明を省略する。
　図５は、本開示の第２の実施の形態によるオブジェクト追跡装置１００ｂの構成を示す概略ブロック図である。オブジェクト追跡装置１００ｂは、位置情報取得部１０１、センサ速度取得部１０２と、パラメータ制御部２０３と、オブジェクト追跡部１０４を備える。図１のオブジェクト追跡装置１００ａと比較すると、図５のオブジェクト追跡装置１００ｂは、パラメータ制御部１０３のかわりに、パラメータ制御部２０３を備えている。
　位置情報取得部１０１から出力されるオブジェクト検出位置情報は、オブジェクト追跡部１０４とパラメータ制御部２０３へ出力される。センサ速度取得部１０２から出力されるセンサ速度情報は、パラメータ制御部２０３へ出力される。パラメータ制御部２０３は、位置情報取得部１０１から出力されるオブジェクト検出位置情報と、センサ速度取得部１０２から出力されるセンサ速度情報とに基づいて、パラメータ制御情報を生成し、オブジェクト追跡部１０４へ出力する。それ以外の接続関係は、図１と同様であるため、それらの説明を省略する。
　次に、図５のオブジェクト追跡装置１００ｂの動作について説明する。
　位置情報取得部１０１、センサ速度取得部１０２、オブジェクト追跡部１０４の動作は、図１の場合と同様である。
　パラメータ制御部２０３は、位置情報取得部１０１から出力されるオブジェクト検出位置情報と、センサ速度取得部１０２から入力されるセンサ速度情報に基づいて、追跡パラメータを制御する情報を含むパラメータ制御情報を生成する。この処理の詳細は後で述べる。生成されたパラメータ制御情報は、オブジェクト追跡部１０４へ出力される。
次に、パラメータ制御部２０３の詳細について説明する。
　図６は、本開示の第２の実施の形態によるオブジェクト追跡装置１００ｂのパラメータ制御部２０３（図５）の一構成例を示す図である。図６に示すパラメータ制御部１０３は、センサ特性パラメータ推定部２１１を備えるセンサ特性パラメータ推定部２１１は、オブジェクト検出位置情報と、センサ速度情報とに基づいて、センサ特性パラメータを推定し、パラメータ制御情報を生成し、オブジェクト追跡部１０４（図５）へ出力する。
　次に、図６のパラメータ制御部２０３の動作について説明する。
　図６のセンサ特性パラメータ推定部２１１は、実際にセンサで得られたオブジェクト検出位置情報も使ってセンサ特性パラメータを推定する点で、図４のセンサ特性パラメータ推定部１１１とは異なる。センサの検出率やクラッタ発生率などの検出に関する特性は、センサの個体差があり、ある程度のばらつきが存在する。このため、センサごとに個別に調整しない限りは、設定された値からずれがある場合がある。また、経年劣化等によって、センサの性能が途中で変化することも考えられえる。このようにセンサの検出特性がずれると、ＰＨＤやＣＰＨＤフィルタのようにその値を用いて実行される追跡にも悪影響を及ぼす。これを避けるためには、センサの特性を推定し、補正する必要が生じる。
　移動体が止まっている状況であれば、周囲の静止オブジェクトは静止し続けるため、あえて追跡しなくても、同一物体を時系列で対応付けることが可能となる。その結果、未検出が容易に判定できるようになり、検出率を推定できる。また、周囲に移動しているオブジェクトであっても、移動体が移動している場合よりも動きがシンプルになるため、追跡しやすくなる。よって、誤検知の判定も容易になる。
　したがって、実際の検出結果に基づく検出率やクラッタ発生率の推定は、移動体が止まっているとき、あるいは、一定速度よりもゆっくり動いているときに限定するほうが望ましい。よって、センサ特性パラメータ推定部２１１は、センサ速度の大きさが所定の閾値以下である場合のみ、上述の推定を行う。そして、センサ特性パラメータ推定部２１１は、推定された結果が求まった時点で、パラメータ制御情報を生成し、そのパラメータ制御情報を、オブジェクト追跡部１０４（図５）へ出力する。
　このようにすることで、センサの個体差まで考慮したセンサ特性パラメータの推定精度の向上が可能となり、追跡精度が向上する。
　次に、パラメータ制御部２０３（図５）の別の例ついて説明する。
　図７は、本開示の第２の実施の形態によるオブジェクト追跡装置１００ｂのパラメータ制御部２０３（図５）の他の構成例を示す図である。図７に示すパラメータ制御部２０３は、追跡パラメータ調整部２１０、センサ特性パラメータ推定部２１１を備える。センサ特性パラメータ推定部２１１は、センサ速度情報とオブジェクト検出位置情報とに基づいてセンサ特性パラメータを推定し、パラメータ制御情報を生成し、そのパラメータ制御情報を、追跡パラメータ調整部２１０へ出力する。追跡パラメータ調整部２１０は、センサ速度情報と、センサ特性パラメータ推定部２１１から出力されるセンサ特性に関するパラメータ制御情報に基づいて、追跡パラメータを調整してパラメータ制御情報を生成し、生成したパラメータ制御情報を、オブジェクト追跡部１０４（図５）へ出力する。
　次に、図７のパラメータ制御部２０３の動作について説明する。
　センサ特性パラメータ推定部２１１の動作は、図６で説明した動作と同様である。
　追跡パラメータ調整部２１０の動作は、図３の追跡パラメータ調整部１１０の動作と同様であるが、センサ特性パラメータ推定部２１１から出力されるセンサ特性パラメータの制御情報に基づいて、追跡パラメータの調整をさらに行う点が異なる。
　例えば、センサ特性パラメータ推定部２１１から出力されるパラメータ制御情報が、推定されるクラッタ発生率が増加していることを示している場合には、追跡対象オブジェクトが誤ってクラッタと対応づかないように、対応付けのパラメータを厳しくする（対応づけ尤度の閾値を上げる（距離の閾値を小さくする）など）ようにする。この追跡パラメータの調整は、例えば、事前にクラッタ発生率に対してどのように追跡パラメータを変化させるかを決め、その対応関係を保持しておけばよい。そして、入力されるクラッタ発生率に応じて、用いる追跡パラメータを選択するようにする。
　センサ特性パラメータ推定部２１１は、このようにして追跡パラメータの値を調整し、この値を含むパラメータ制御情報を生成する。出力されるパラメータ制御情報は、追跡パラメータに関する情報のみを含んでもよいし、追跡パラメータと、センサ特性パラメータ推定部２１１から出力されたセンサ特性パラメータの両方の情報を含んでもよい。
　このように、センサ特性に基づくパラメータも用いて追跡パラメータを調整することで、より適切なパラメータ調整が可能となり、追跡の精度が向上する。
　このように、第２の実施の形態では、センサ速度だけでなく、オブジェクト検出位置情報も用いてパラメータ制御情報を生成することで、より適切な追跡が行えるようになり、追跡精度が向上する。
　＜ハードウエアの構成例＞
　ここで、第１の実施の形態によるオブジェクト追跡装置１００ａ（図１）、および、第２の実施の形態によるオブジェクト追跡装置１００ｂ（図５）のハードウエア構成について以下に説明する。オブジェクト追跡装置１００ａ及び１００ｂの各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、オブジェクト追跡装置１００ａ及び１００ｂの各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図８は、オブジェクト追跡装置１００ａ及び１００ｂを実現するための計算機１０００、センサ１２００、速度センサ１３００を例示する図である。計算機１０００は、任意の計算機である。例えば計算機１０００は、Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ（ＰＣ）、産業用コンピュータなどである。計算機１０００は、オブジェクト追跡装置１００ａ及び１００ｂを実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
　計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力Ｉ／Ｆ（インタフェース）１１００、及び周辺機器Ｉ／Ｆ１１２０を備える。
　バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力Ｉ／Ｆ１１００、及び周辺機器Ｉ／Ｆ１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０４０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、又は、FＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などの種々のプロセッサである。
　メモリ１０６０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを用いて実現される主記憶装置である。
　ストレージデバイス１０８０は、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、メモリカード、又は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などを用いて実現される補助記憶装置である。
　入出力Ｉ／Ｆ１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば、入出力Ｉ／Ｆ１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
　周辺機器Ｉ／Ｆ１１２０は、周辺機器を計算機１０００に接続するためのインタフェースである。周辺機器Ｉ／Ｆ１１２０は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）やＩＥＥＥ１３９４などのインタフェースである。あるいは、有線又は無線のネットワークインターフェースやＢｒｕｅｔｏｏｔｈなどのインタフェースである。
　さらに、周辺機器インタフェースＩ／Ｆには、センサ１２００、速度センサ１３００が接続されている。センサ１２００及び速度センサ１３００と、計算機１０００とは、周辺機器インタフェースＩ／Ｆを介して通信できる。ここで、センサ１２００、速度センサ１３００は、オブジェクト追跡装置１００ａ及び１００ｂの、位置情報取得部１０１、センサ速度取得部１０２に、それぞれ該当する。なお、位置情報取得部１０１がカメラによって取得した映像を解析し、オブジェクトの位置を求める場合には、カメラとその映像を処理する機能が組み合わされる。この場合、センサとしてはカメラのみを接続し、そのあとの処理は、計算機１０００側で実行してもよい。
　ストレージデバイス１０８０は、オブジェクト追跡装置１００ａ又は１００ｂの各部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
　図９は、最小構成を有するオブジェクト追跡装置１００ｃの構成を示すブロック図である。オブジェクト追跡装置１００ｃは、パラメータ制御部３０３、オブジェクト追跡部３０４を備える。
　図１０は、最小構成を有するオブジェクト追跡装置１００ｃの処理を示すフローチャートである。
　パラメータ制御部３０３は、センサの速度情報に基づいて、オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成する（ステップＳ２０１）。
　そして、オブジェクト追跡部３０４は、パラメータ制御部３０３で生成したパラメータ制御情報と、オブジェクトの位置情報とを用いて追跡処理を行う（ステップＳ２０２）。
　以上、本開示を、上述した第１及び第２の実施の形態に適用した例として説明した。しかしながら、本開示の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本開示の技術的範囲に含まれ得る。そして、このことは、請求の範囲に記載した事項から明らかである。
　上記の第１又は第２の実施の形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）　センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、
　前記センサの速度情報を取得するセンサ速度取得手段と、
　前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、
　前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段と、
　を備えるオブジェクト追跡装置。
（付記２）　前記パラメータ制御手段は、さらに、前記位置情報取得手段で取得した前記位置情報も用いて、前記パラメータ制御情報を生成する
　付記１に記載のオブジェクト追跡装置。
（付記３）　前記パラメータ制御手段は、前記センサ速度取得手段で取得された前記速度情報に基づいて、前記追跡処理に関する第１のパラメータを調整し、前記パラメータ制御情報を生成する
　付記１に記載のオブジェクト追跡装置。
（付記４）　前記パラメータ制御手段は、前記センサ速度取得手段で取得された前記速度情報に基づいて、前記センサの検出特性に関する第２のパラメータを推定し、前記パラメータ制御情報を生成する
　付記２に記載のオブジェクト追跡装置。
（付記５）　前記パラメータ制御手段は、前記センサ速度取得手段で取得する前記速度情報が所定の値以下のときに、前記位置情報取得手段が取得する前記位置情報を用いて、前記センサの検出特性に関する第２のパラメータを推定し、前記パラメータ制御情報を生成する
　付記４に記載のオブジェクト追跡装置。
（付記６）　前記パラメータ制御手段は、前記センサ速度取得手段が取得する前記速度情報が、所定の値以下のときに、前記位置情報取得手段が取得する前記位置情報を用いて、前記センサの検出特性に関する第２のパラメータを推定し、第一のパラメータ制御情報を生成し、
　前記センサ速度取得手段が取得した前記速度情報と、前記第一のパラメータ制御情報に基づいて、第１のパラメータを調整し、調整した前記第１のパラメータと推定した前記第２のパラメータと合わせて、前記パラメータ制御情報を生成する
　付記２に記載のオブジェクト追跡装置。
（付記７）　前記追跡処理で用いる前記第１のパラメータは、前記追跡処理で検出する前記オブジェクトと追跡対象オブジェクトの対応付けに用いる対応付け尤度の閾値、追跡対象オブジェクトの確からしさを表す追跡尤度を変化させる度合い、初期の追跡尤度、初期のオブジェクト位置および速度の分散、パーティクルフィルタの粒子数、追跡対象オブジェクトをオブジェクト削除する際の追跡尤度の閾値の少なくとも１つを含む
　付記３又は６に記載のオブジェクト追跡装置。
（付記８）　前記センサの検出特性に関する前記第２のパラメータは、
　前記オブジェクトの検出率とクラッタ発生率の少なくとも１つを含む
　付記４又は６に記載のオブジェクト追跡装置。
（付記９）　前記位置情報取得手段で用いる前記センサは、電波や光によって前記オブジェクトを検出し、前記オブジェクトの位置を検出する
　付記１から８までのいずれか一項に記載のオブジェクト追跡装置。
（付記１０）　前記位置情報取得手段で用いる前記センサは、画像を取得可能なカメラであり、得られた前記画像を解析して前記オブジェクトを検出する
　付記１から８までのいずれか一項に記載のオブジェクト追跡装置。
（付記１１）　センサにより検出されたオブジェクトの位置情報を取得し、
　前記センサの速度情報を取得し、
　取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成し、
　生成した前記パラメータ制御情報と、取得した前記位置情報とを用いて前記追跡処理を行う
　オブジェクト追跡方法。
（付記１２）　オブジェクト追跡装置のコンピュータを、
　センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、
　前記センサの速度情報を取得するセンサ速度取得手段と、
　前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、
　前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段、
　として機能させるプログラムを記録した記録媒体。
　本開示のいくつかの態様によるオブジェクト追跡装置は、ＵＡＶなど移動体に搭載されたセンサによって周囲のオブジェクトを検出、追跡し、周囲に障害物等がないかどうかを把握するのに用いることができる。移動体としては、ＵＡＶだけでなく、車両やロボット、船舶、潜水艇など、オブジェクト検知のためのセンサを搭載して移動する、あらゆるものを含む。
１００ａ、１００ｂ、１００ｃ・・・オブジェクト追跡装置
１０１・・・位置情報取得部
１０２・・・センサ速度取得部
１０３・・・パラメータ制御部
１０４・・・オブジェクト追跡部
１１０・・・追跡パラメータ調整部
１１１・・・センサ特性パラメータ推定部
２０３・・・パラメータ制御部
２１０・・・追跡パラメータ調整部
２１１・・・センサ特性パラメータ推定部
３０３・・・パラメータ制御部
３０４・・・オブジェクト追跡部
１０００・・・計算機
１０２０・・・バス
１０４０・・・プロセッサ
１０６０・・・メモリ
１０８０・・・ストレージデバイス
１１００・・・入出力Ｉ／Ｆ
１１２０・・・周辺機器Ｉ／Ｆ
１２００・・・センサ
１３００・・・速度センサ

Claims (12)

  1. 　センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、
    　前記センサの速度情報を取得するセンサ速度取得手段と、
    　前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、
    　前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段と、
    　を備えるオブジェクト追跡装置。
  2. 　前記パラメータ制御手段は、さらに、前記位置情報取得手段で取得した前記位置情報も用いて、前記パラメータ制御情報を生成する
    　請求項１に記載のオブジェクト追跡装置。
  3. 　前記パラメータ制御手段は、前記センサ速度取得手段で取得された前記速度情報に基づいて、前記追跡処理に関する第１のパラメータを調整し、前記パラメータ制御情報を生成する
    　請求項１に記載のオブジェクト追跡装置。
  4. 　前記パラメータ制御手段は、前記センサ速度取得手段で取得された前記速度情報に基づいて、前記センサの検出特性に関する第２のパラメータを推定し、前記パラメータ制御情報を生成する
    　請求項２に記載のオブジェクト追跡装置。
  5. 　前記パラメータ制御手段は、前記センサ速度取得手段で取得する前記速度情報が所定の値以下のときに、前記位置情報取得手段が取得する前記位置情報を用いて、前記センサの検出特性に関する第２のパラメータを推定し、前記パラメータ制御情報を生成する
    　請求項４に記載のオブジェクト追跡装置。
  6. 　前記パラメータ制御手段は、前記センサ速度取得手段が取得する前記速度情報が、所定の値以下のときに、前記位置情報取得手段が取得する前記位置情報を用いて、前記センサの検出特性に関する第２のパラメータを推定し、第一のパラメータ制御情報を生成し、
    　前記センサ速度取得手段が取得した前記速度情報と、前記第一のパラメータ制御情報に基づいて、第１のパラメータを調整し、調整した前記第１のパラメータと推定した前記第２のパラメータと合わせて、前記パラメータ制御情報を生成する
    　請求項２に記載のオブジェクト追跡装置。
  7. 　前記追跡処理で用いる前記第１のパラメータは、前記追跡処理で検出する前記オブジェクトと追跡対象オブジェクトの対応付けに用いる対応付け尤度の閾値、追跡対象オブジェクトの確からしさを表す追跡尤度を変化させる度合い、初期の追跡尤度、初期のオブジェクト位置および速度の分散、パーティクルフィルタの粒子数、追跡対象オブジェクトをオブジェクト削除する際の追跡尤度の閾値の少なくとも１つを含む
    　請求項３又は６に記載のオブジェクト追跡装置。
  8. 　前記センサの検出特性に関する前記第２のパラメータは、
    　前記オブジェクトの検出率とクラッタ発生率の少なくとも１つを含む
    　請求項４又は６に記載のオブジェクト追跡装置。
  9. 　前記位置情報取得手段で用いる前記センサは、電波や光によって前記オブジェクトを検出し、前記オブジェクトの位置を検出する
    　請求項１から８までのいずれか一項に記載のオブジェクト追跡装置。
  10. 　前記位置情報取得手段で用いる前記センサは、画像を取得可能なカメラであり、得られた前記画像を解析して前記オブジェクトを検出する
    　請求項１から８までのいずれか一項に記載のオブジェクト追跡装置。
  11. 　センサにより検出されたオブジェクトの位置情報を取得し、
    　前記センサの速度情報を取得し、
    　取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成し、
    　生成した前記パラメータ制御情報と、取得した前記位置情報とを用いて前記追跡処理を行う
    　オブジェクト追跡方法。
  12. 　オブジェクト追跡装置のコンピュータを、
    　センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、
    　前記センサの速度情報を取得するセンサ速度取得手段と、
    　前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、
    　前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段、
    　として機能させるプログラムを記録した記録媒体。
PCT/JP2020/014821 2020-03-31 2020-03-31 オブジェクト追跡装置、オブジェクト追跡方法、および記録媒体 WO2021199286A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/622,310 US20220254034A1 (en) 2020-03-31 2020-03-31 Object tracking device, object tracking method, and recording medium
PCT/JP2020/014821 WO2021199286A1 (ja) 2020-03-31 2020-03-31 オブジェクト追跡装置、オブジェクト追跡方法、および記録媒体
JP2022512996A JP7355227B2 (ja) 2020-03-31 2020-03-31 オブジェクト追跡装置、オブジェクト追跡方法、およびプログラム
EP20929331.5A EP4131946A4 (en) 2020-03-31 2020-03-31 OBJECT TRACKING DEVICE, OBJECT TRACKING METHOD AND RECORDING MEDIA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014821 WO2021199286A1 (ja) 2020-03-31 2020-03-31 オブジェクト追跡装置、オブジェクト追跡方法、および記録媒体

Publications (1)

Publication Number Publication Date
WO2021199286A1 true WO2021199286A1 (ja) 2021-10-07

Family

ID=77929148

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014821 WO2021199286A1 (ja) 2020-03-31 2020-03-31 オブジェクト追跡装置、オブジェクト追跡方法、および記録媒体

Country Status (4)

Country Link
US (1) US20220254034A1 (ja)
EP (1) EP4131946A4 (ja)
JP (1) JP7355227B2 (ja)
WO (1) WO2021199286A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089365A (ja) * 2007-09-20 2009-04-23 Delphi Technologies Inc 物体追跡の方法
WO2014083910A1 (ja) * 2012-11-30 2014-06-05 日本電気株式会社 対象物追跡システム、対象物追跡方法、画像処理装置およびその制御方法と制御プログラム
JP2018060326A (ja) 2016-10-04 2018-04-12 株式会社豊田中央研究所 トラッキング装置及びプログラム
JP2018129063A (ja) 2018-03-14 2018-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム
JP2019511044A (ja) * 2016-02-29 2019-04-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行デバイスの動き制御のための方法およびシステム
JP2019128944A (ja) * 2018-01-22 2019-08-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 目標追跡方法、目標追跡装置、目標追跡システム及びプログラム。
JP2019211831A (ja) 2018-05-31 2019-12-12 トヨタ自動車株式会社 物体認識装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025825B2 (en) * 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US10339387B2 (en) * 2016-03-03 2019-07-02 Brigham Young University Automated multiple target detection and tracking system
US10410055B2 (en) * 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
US20210147077A1 (en) * 2018-04-03 2021-05-20 Autonomous Control Systems Laboratory Ltd. Localization Device and Localization Method for Unmanned Aerial Vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089365A (ja) * 2007-09-20 2009-04-23 Delphi Technologies Inc 物体追跡の方法
WO2014083910A1 (ja) * 2012-11-30 2014-06-05 日本電気株式会社 対象物追跡システム、対象物追跡方法、画像処理装置およびその制御方法と制御プログラム
JP2019511044A (ja) * 2016-02-29 2019-04-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行デバイスの動き制御のための方法およびシステム
JP2018060326A (ja) 2016-10-04 2018-04-12 株式会社豊田中央研究所 トラッキング装置及びプログラム
JP2019128944A (ja) * 2018-01-22 2019-08-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 目標追跡方法、目標追跡装置、目標追跡システム及びプログラム。
JP2018129063A (ja) 2018-03-14 2018-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム
JP2019211831A (ja) 2018-05-31 2019-12-12 トヨタ自動車株式会社 物体認識装置

Also Published As

Publication number Publication date
EP4131946A1 (en) 2023-02-08
JPWO2021199286A1 (ja) 2021-10-07
EP4131946A4 (en) 2023-05-17
JP7355227B2 (ja) 2023-10-03
US20220254034A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
CN109086788B (zh) 用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和系统
US11042723B2 (en) Systems and methods for depth map sampling
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
US10586102B2 (en) Systems and methods for object tracking
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
JP2018508078A (ja) オブジェクト追跡のためのシステムおよび方法
US11164051B2 (en) Image and LiDAR segmentation for LiDAR-camera calibration
KR20180056685A (ko) 비 장애물 영역 검출을 위한 시스템 및 방법
US10579888B2 (en) Method and system for improving object detection and object classification
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
US11941889B2 (en) Advanced driver assist system and method of detecting object in the same
WO2020235466A1 (ja) 車両制御システム及び車両制御方法
US11080562B1 (en) Key point recognition with uncertainty measurement
KR101806453B1 (ko) 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법
KR20200102108A (ko) 차량의 객체 검출 장치 및 방법
WO2021199286A1 (ja) オブジェクト追跡装置、オブジェクト追跡方法、および記録媒体
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
US20240127567A1 (en) Detection-frame position-accuracy improving system and detection-frame position correction method
JP7412254B2 (ja) 物体認識装置および物体認識方法
CN115222771B (zh) 一种目标跟踪方法及装置
TWI773112B (zh) 道路監測系統、裝置及方法
US20240104910A1 (en) Method and apparatus of obtaining position of stationary target
WO2021187338A1 (ja) 撮像システム、撮像制御方法および撮影制御プログラム
CN118115968A (zh) 障碍物检测方法、装置、设备以及计算机可读存储介质
CN117036485A (zh) 空间信息预测方法、装置、可读存储介质及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20929331

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022512996

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020929331

Country of ref document: EP

Effective date: 20221031