WO2022230739A1 - 物体追跡装置 - Google Patents

物体追跡装置 Download PDF

Info

Publication number
WO2022230739A1
WO2022230739A1 PCT/JP2022/018331 JP2022018331W WO2022230739A1 WO 2022230739 A1 WO2022230739 A1 WO 2022230739A1 JP 2022018331 W JP2022018331 W JP 2022018331W WO 2022230739 A1 WO2022230739 A1 WO 2022230739A1
Authority
WO
WIPO (PCT)
Prior art keywords
processor
detection target
tracking
object tracking
kalman filter
Prior art date
Application number
PCT/JP2022/018331
Other languages
English (en)
French (fr)
Inventor
顕嗣 山本
淳 黒田
徹 佐原
方偉 童
拓也 本間
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP22795652.1A priority Critical patent/EP4332896A1/en
Priority to US18/557,520 priority patent/US20240144491A1/en
Priority to CN202280031201.0A priority patent/CN117203667A/zh
Publication of WO2022230739A1 publication Critical patent/WO2022230739A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to an object tracking device.
  • Patent Document 1 processes a video signal output from an in-vehicle camera that captures images around the vehicle, detects the presence or absence of approaching vehicles and pedestrians, and adds square frame marks to the approaching vehicles and pedestrians.
  • An object tracking device includes: an input interface for obtaining sensor data; a processor that detects a detection target from the sensor data and tracks the detection target using a Kalman filter associated with each of the detection target and the observed value; an output interface for outputting a detection result of the detection target,
  • the processor places limits on the range of variation of the Kalman filter index that affects tracking of the detected object.
  • FIG. 1 is a block diagram showing a schematic configuration of an object tracking system including an object tracking device according to one embodiment.
  • FIG. 2 is a diagram showing a vehicle equipped with the object tracking system of FIG. 1 and a detection target.
  • FIG. 3 is a flowchart showing an example of processing for tracking an image of an object on a moving image.
  • FIG. 4 is a diagram showing an example of an image of an object on a moving image.
  • FIG. 5 is a diagram for explaining the relationship between an object in real space, an image of the object in a moving image, and mass points in virtual space.
  • FIG. 6 is a diagram showing an example of movement of mass points in virtual space.
  • FIG. 7 is a diagram for explaining data association.
  • FIG. 8 is a diagram illustrating a hierarchical structure of tracked object ID management.
  • FIG. 9 is a diagram for explaining restrictions on the Mahalanobis distance.
  • FIG. 10 is a diagram for explaining restrictions on the grouping area.
  • FIG. 11 is a diagram for explaining restrictions on the grouping area.
  • FIG. 12 is a diagram for explaining restrictions on the size of the error ellipse according to the output accuracy.
  • FIG. 13 is a diagram for explaining limits on the size of the error ellipse according to the saturation of the detection result.
  • FIG. 1 is a block diagram showing a schematic configuration of an object tracking system 1.
  • FIG. Object tracking device 20 according to an embodiment of the present disclosure is included in object tracking system 1 .
  • object tracking system 1 includes imaging device 10 , object tracking device 20 , and display 30 .
  • the object tracking system 1 is mounted on a vehicle 100, which is an example of a moving body, as illustrated in FIG.
  • the object tracking device 20 acquires moving images from the imaging device 10 as sensor data. That is, in the present embodiment, the sensor used for detecting the detection target is the imaging device 12 that captures visible light and is provided in the imaging device 10 .
  • the object tracking system 1 is not limited to the configuration shown in FIG.
  • the object tracking system 1 can include a device different from the imaging device 10 as long as it detects a detection target.
  • the object tracking system 1 may be configured to include a measuring device that measures the distance to the detection target from the reflected wave of the irradiated laser light instead of the imaging device 10 .
  • the object tracking system 1 may be configured to include a detection device having a millimeter wave sensor instead of the imaging device 10 .
  • the object tracking system 1 may be configured to include an imaging device 10 including an imaging device 12 that captures light outside the visible light range.
  • the object tracking system 1 is mounted on a moving object, and detects an object 40 (see FIG. 2) around the moving moving object.
  • the object tracking system 1 is not limited to being mounted on a mobile object.
  • the object tracking system 1 may be used in a facility such as a factory to detect employees, transport robots, products, and the like.
  • the object tracking system 1 may be used in a welfare facility for the elderly, etc., and may detect elderly people and staff members in the room.
  • the object tracking system 1 not only tracks objects for the safety of traveling or behavior, but also tracks objects for efficiency of work, quality control, or improvement of productivity at agricultural and industrial sites, for example. may be performed.
  • the object that is the detection target of the object tracking device 20 includes not only objects such as mobile objects but also people.
  • the x-axis direction is the width direction of the vehicle 100 on which the imaging device 10 is installed.
  • the positive direction of the y-axis is the direction in which the vehicle 100 moves backward.
  • the x-axis direction and the y-axis direction are directions parallel to the road surface on which the vehicle 100 is located.
  • the z-axis direction is a direction perpendicular to the road surface.
  • the z-axis direction can be referred to as the vertical direction.
  • the x-axis direction, y-axis direction, and z-axis direction are orthogonal to each other.
  • the x-axis direction, y-axis direction, and z-axis direction are not limited to this.
  • the x-axis direction, y-axis direction, and z-axis direction can be interchanged with each other.
  • the imaging device 10 includes an imaging optical system 11 , an imaging device 12 and a processor 13 .
  • the imaging device 10 can be installed at various positions on the vehicle 100 .
  • the imaging device 10 includes, but is not limited to, a front camera, a left side camera, a right side camera, a rear camera, and the like.
  • the front camera, the left side camera, the right side camera, and the rear camera are installed on the vehicle 100 so as to be able to image the front, left side, right side, and rear peripheral areas of the vehicle 100, respectively.
  • the imaging device 10 is attached to the vehicle 100 with the optical axis directed downward from the horizontal direction so as to be able to image the rear of the vehicle 100 .
  • the imaging optical system 11 may be configured including one or more lenses.
  • the imaging device 12 may be configured including a CCD image sensor (charge-coupled device image sensor) or a CMOS image sensor (complementary MOS image sensor).
  • the imaging device 12 converts an object image (subject image) formed on the imaging surface of the imaging device 12 by the imaging optical system 11 into an electric signal.
  • the imaging device 12 can capture moving images at a predetermined frame rate.
  • a frame is each still image that constitutes a moving image.
  • the number of images that can be captured in one second is called a frame rate.
  • the frame rate may be, for example, 60 fps (frames per second) or 30 fps.
  • the processor 13 controls the imaging device 10 as a whole and performs various image processing on the moving image output from the imaging device 12 .
  • Image processing performed by the processor 13 may include arbitrary processing such as distortion correction, brightness adjustment, contrast adjustment, and gamma correction.
  • the processor 13 may consist of one or more processors.
  • Processor 13 includes one or more circuits or units configured to perform one or more data computing procedures or processes, eg, by executing instructions stored in associated memory.
  • Processor 13 may include one or more processors, microprocessors, microcontrollers, application specific integrated circuits (ASICs), digital signal processors (DSPs), programmable logic devices (PLDs). ), field-programmable gate arrays (FPGAs), any combination of these devices or configurations, or other known device or configuration combinations.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • PLDs programmable logic devices
  • FPGAs field-programmable gate arrays
  • the object tracking device 20 includes an input interface 21, a storage unit 22, a processor 23 and an output interface 24.
  • the input interface 21 is configured to be able to communicate with the imaging device 10 by wired or wireless communication means.
  • the input interface 21 acquires moving images from the imaging device 10 as sensor data.
  • the input interface 21 may correspond to the transmission method of the image signal transmitted by the imaging device 10 .
  • the input interface 21 can be rephrased as an input section or an acquisition section.
  • the imaging device 10 and the input interface 21 may be connected by an in-vehicle communication network such as a CAN (control area network).
  • the storage unit 22 is a storage device that stores data and programs necessary for processing performed by the processor 23 .
  • the storage unit 22 temporarily stores moving images acquired from the imaging device 10 .
  • the storage unit 22 stores data generated by processing performed by the processor 23 .
  • the storage unit 22 may be configured using, for example, one or more of a semiconductor memory, a magnetic memory, an optical memory, and the like.
  • Semiconductor memory may include volatile memory and non-volatile memory.
  • Magnetic memory may include, for example, hard disks and magnetic tapes.
  • the optical memory may include, for example, a CD (compact disc), a DVD (digital versatile disc), and a BD (blu-ray (registered trademark) disc).
  • the processor 23 controls the object tracking device 20 as a whole.
  • the processor 23 recognizes an object image included in the moving image acquired via the input interface 21 .
  • the processor 23 maps the coordinates of the image of the recognized object to the coordinates of the object 40 in the virtual space 46 (see FIG. 6), and calculates the position and velocity of the mass point 45 (see FIG. 5) representing the object 40 in the virtual space 46.
  • Mass point 45 is a point that has mass and no size.
  • the virtual space 46 is a two-dimensional space in which the value in the z-axis direction is a predetermined fixed value in a coordinate system consisting of three axes of x, y, and z in the real space.
  • the processor 23 may map-transform the coordinates of the tracked mass point 45 on the virtual space 46 to the coordinates on the moving image.
  • the processor 23 detects a detection target from the moving image and performs tracking using a Kalman filter.
  • the processor 23 can detect a plurality of detection targets from the moving image, and tracks each of the plurality of detection targets using a Kalman filter.
  • the processor 23 can avoid such problems by associating one or more Kalman filters with each of a plurality of detection targets.
  • the processor 23 manages observed values, Kalman filters, and unique identification information of tracked objects (hereinafter “tracked object IDs”) in each layer.
  • the processor 23 determines whether or not the tracked objects are the same object (the same detection target), and executes processing for associating the observed value, the Kalman filter, and the tracked object ID. This makes it possible to further improve the accuracy of tracking a plurality of detection targets.
  • the processor 23 limits the variation range of the index of the Kalman filter that affects tracking of the detection target.
  • the processor 23 includes the Mahalanobis distance used to associate the Kalman filter with the observed value, the radius of the grouping region used to associate the Kalman filter with the detection target, and the size of the error ellipse of the Kalman filter. At least one of an upper limit and a lower limit is provided for an index that includes at least one.
  • the output interface 24 is configured to output an output signal from the object tracking device 20 .
  • the output interface 24 can be called an output unit.
  • the output interface 24 may output the detection result of the detection target such as the coordinates of the mass point 45, for example.
  • the output interface 24 may be configured including a physical connector and a wireless communication device.
  • the output interface 24 may be connected to a network of the vehicle 100 such as CAN, for example.
  • the output interface 24 can be connected to the display 30, the control device of the vehicle 100, the alarm device, and the like via a communication network such as CAN.
  • the information output from the output interface 24 may be appropriately used by each of the display 30, the control device, and the alarm device.
  • the display 30 can display moving images output from the object tracking device 20 .
  • the display 30 receives the coordinates of the mass point 45 representing the position of the image of the object from the object tracking device 20, the display 30 generates an image element according to the coordinates (for example, a warning to be displayed together with the approaching object) and superimposes it on the moving image.
  • Display 30 may employ various types of devices.
  • the display 30 may be a liquid crystal display (LCD), an organic EL (electro-luminescence) display, an inorganic EL display, a plasma display (PDP), a field emission display (FED), Electrophoretic displays, twist ball displays, etc. may be employed.
  • Non-transitory computer-readable media include, but are not limited to, magnetic storage media, optical storage media, magneto-optical storage media, and semiconductor storage media.
  • Magnetic storage media include magnetic disks, hard disks, and magnetic tapes.
  • Optical storage media include optical discs such as CDs, DVDs and BDs.
  • Semiconductor storage media include ROM (read only memory), EEPROM (electrically erasable programmable read-only memory), and flash memory.
  • the flowchart in FIG. 3 shows the processing performed by the processor 23 by acquiring sequential frames of a moving image.
  • the processor 23 of the object tracking device 20 tracks the position of the object image 42 (see FIG. 4) each time it acquires a moving image frame according to the flowchart of FIG.
  • there may be multiple objects 40 to be detected including pedestrians 40A, automobiles 40B, and bicycles 40C.
  • the objects 40 are not limited to moving objects and people, but may include various objects such as road obstacles.
  • one of the plurality of objects 40 specifically, the pedestrian 40A included in the moving image of the imaging device 10 installed behind the vehicle 100 will be used.
  • Other objects 40 for example, automobile 40B and bicycle 40C are also tracked by similar processing.
  • FIG. 4 shows an example of one frame of a moving image.
  • an image of an object 40 behind the vehicle 100 (object image 42) is displayed in a two-dimensional image space 41 made up of the uv coordinate system.
  • the u coordinate is the horizontal coordinate of the image.
  • the v coordinate is the vertical coordinate of the image.
  • the origin of the uv coordinates is the upper left point of the image space 41 .
  • the positive direction is the direction from left to right.
  • the positive direction of the v-coordinate is the direction from top to bottom.
  • the processor 23 recognizes the object image 42 from each frame of the moving image by image recognition (step S102).
  • Methods for recognizing the object image 42 include various known methods.
  • the method of recognizing the object image 42 includes a method of recognizing the shape of an object such as a car or a person, a method of template matching, a method of calculating a feature amount from an image and using it for matching, and the like.
  • a function approximator capable of learning the relationship between input and output can be used to calculate the feature amount.
  • a neural network for example, can be used as the function approximator capable of learning the relationship between input and output.
  • the processor 23 maps the coordinates (u, v) of the object image 42 in the image space 41 to the object coordinates (x', y') in the virtual space 46 (see FIG. 6) (step S103).
  • the coordinates (u, v) in the image space 41 which are two-dimensional coordinates, cannot be transformed into the coordinates (x, y, z) in the real space.
  • the coordinates (u, v) in the image space 41 are changed to the coordinates (x, y, z 0 ) in the real space (z 0 is (fixed value) can be mapped to the coordinates (x', y') in the two-dimensional virtual space 46 corresponding to the fixed value).
  • the virtual space 46 is two-dimensional in this embodiment, it may be three-dimensional depending on the input information (type of sensor).
  • a representative point 43 located in the center of the bottom of the image 42 of the object is identified.
  • the representative point 43 can be the lowest v-coordinate position and the center of the u-coordinate range of the area occupied by the object image 42 in the image space 41 .
  • This representative point 43 is assumed to be the position where the object 40 corresponding to the object image 42 is in contact with the road surface or the ground.
  • FIG. 5 shows the relationship between an object 40 located in a three-dimensional real space and an image 42 of the object on a two-dimensional image space 41.
  • the center of the imaging optical system 11 of the imaging device 10 is directed to the corresponding coordinates (x, y, z) in the real space.
  • Direction can be calculated.
  • the internal parameters of the imaging device 10 include information such as the focal length and distortion of the imaging optical system 11 and the pixel size of the imaging device 12 .
  • the reference plane 44 corresponds to the road surface or the ground on which the vehicle 100 is located.
  • a particular point is a point corresponding to mass point 45 .
  • the processor 23, as shown in FIG. , v y′ ) are traced (step S104). Since mass point 45 has position (x', y') and velocity (v x ', v y' ) information, processor 23 can determine the range of mass point 45's position (x', y') in successive frames. can be predicted. The processor 23 can recognize the mass point 45 located in the predicted range in the next frame as the mass point 45 corresponding to the image 42 of the object being tracked. The processor 23 sequentially updates the position (x', y') and velocity (v x ' , v y' ) of the mass point 45 each time a new frame is input.
  • estimation using a Kalman filter based on a state space model can be adopted. Prediction/estimation using the Kalman filter improves robustness against undetectability and erroneous detection of the object 40 to be detected.
  • the object tracking device 20 of the present disclosure by mapping the object image 42 to the mass point 45 in the real space, it becomes possible to apply a model that describes the motion in the real space. improves. Further, by treating the object 40 as a mass point 45 having no size, simple and easy tracking becomes possible.
  • processor 23 may map coordinates of mass point 45 in virtual space 46 to coordinates (u,v) in image space 41 to indicate the estimated position.
  • a mass point 45 located at coordinates (x', y') in virtual space 46 can be mapped into image space 41 as a point located at coordinates (x, y, 0) in real space. Coordinates (x, y, 0) in the real space can be mapped to coordinates (u, v) in the image space 41 of the imaging device 10 by a known method.
  • the processor 23 mutually transforms the coordinates (u, v) on the image space 41, the coordinates (x', y') on the virtual space 46, and the coordinates (x, y, 0) on the real space. can be done.
  • FIG. 7 is a diagram for explaining data association.
  • Data association is a process of associating a Kalman filter with an observed value. Multiple Kalman filters may be associated with multiple observations in a data association.
  • the observed value is the position of the detection target.
  • the processor 23 assigns identifiers to the plurality of observed values and the plurality of Kalman filters to distinguish them.
  • the processor 23 designates each of the plurality of observation values as observation value (1), observation value (2), observation value (3), . . . using serial numbers, for example.
  • the processor 23 uses symbols and serial numbers, for example, to designate the plurality of Kalman filters as KF(1), KF(2), KF(3), and so on.
  • the processor 23 performs data association between M observed values and N Kalman filters.
  • M is an integer of 2 or more.
  • N is an integer greater than or equal to M.
  • processor 23 has made data associations between 3 observations and 5 Kalman filters.
  • Observed value (1) is the position of pedestrian 40A detected in frame (k) of the moving image.
  • Observation (2) is the position of vehicle 40B detected in frame (k) of the moving image.
  • Observed value (3) is the position of bicycle 40C detected in frame (k) of the moving image.
  • Frame (k-1) is the frame immediately before frame (k) in the moving image.
  • Frame (k-2) is the frame two frames before frame (k) in the moving image. Assume that the current frame is frame (k).
  • KF(2) was used to track the pedestrian 40A until frame (k-1), but it is initialized in the middle and is not used to track the position of the detection target.
  • KF(5) is a Kalman filter newly prepared by recognizing a new bicycle 40C in frame (k-2). KF(5) has started tracking the detected object because the newly recognized bicycle 40C was also recognized in the current frame (k). The other Kalman filters continue to track their detection targets from frame (k-2).
  • the processor 23 associates observed value (1) with KF (1).
  • Processor 23 associates observation (2) with KF(3) and KF(4).
  • the processor 23 associates KF(5) with observed value (3).
  • the processor 23 allows overlap of detection results in the tracking process of multiple detection targets. That is, processor 23 uses KF(3) and KF(4) to predict the range of observation (2), ie, the position of vehicle 40B.
  • local optimization can be achieved by allowing overlap in data associations.
  • a method that associates multiple observed values with multiple Kalman filters on a one-to-one basis without allowing duplication may cause a chain of misassociations due to global optimization. In this embodiment, since duplication is allowed, problems such as misassociation chains do not occur.
  • one or more Kalman filters are associated with one observed value, and tracking failure is less likely to occur for any observed value, so robustness can be improved.
  • Tracking object ID management a plurality of Kalman filters can be associated with one observed value as described above, it is also possible that a plurality of observed values are associated with one object to be detected. For example, when the detection target is the automobile 40B, and it disappears from the moving image due to a lane change, etc., and then reappears in the moving image, a new observation value may be associated with another object.
  • object tracking device 20 preferably identifies each tracked object and keeps track of its correspondence with observed values.
  • the processor 23 performs tracking object ID management using a hierarchical structure as described below, groups a plurality of Kalman filters, and determines whether or not they correspond to the same object.
  • FIG. 8 is a diagram showing the hierarchical structure of tracking object ID management (ID management) in this embodiment.
  • Tracking object ID management is a process of associating a Kalman filter with a detection target.
  • the processor 23 manages observed values, Kalman filters, and tracked object IDs in each layer.
  • the processor 23 also enables accurate object tracking by associating observed values, Kalman filters, and tracked object IDs.
  • the tracked object ID is the unique identification information of the tracked object as described above. If the tracked object ID associated with multiple observations or multiple Kalman filters is the same, then these observations or Kalman filters are associated with tracking the same object.
  • the processor 23 performs grouping of a plurality of Kalman filters when frames of the moving image are acquired. The processor 23 then updates the association of observations, Kalman filters and tracked object IDs.
  • processor 23 groups KF(1), KF(2) and KF(3) and assigns an identifier "tracked object ID(1)" to the object to be tracked using these Kalman filters. to control the tracking of this object.
  • the processor 23 also groups KF(4) and KF(5), assigns an identifier “tracked object ID(2)” to the object to be tracked using these Kalman filters, and performs tracking control of this object. I do.
  • the processor 23 associates the Kalman filters corresponding to the objects determined to be the same, and controls the tracking in a hierarchical structure that also associates the detection results of the detection targets corresponding to these Kalman filters. tracking becomes possible.
  • the processor 23 can, for example, compare or select detection results using a plurality of linked Kalman filters to obtain a detection result with a high degree of certainty.
  • multiple Kalman filters can be associated with one observation value, and multiple Kalman filters can be associated with one detection target (detection target having one tracked object ID).
  • the processor 23 can also set limits on the variation range of the Kalman filter index that affects the tracking of the detected object.
  • a specific example of limiting the fluctuation range of the index is to set at least one of an upper limit and a lower limit, which can be referred to as clipping processing.
  • the index is at least the Mahalanobis distance used for matching the Kalman filter and the observed value, the radius of the grouping region used for matching the Kalman filter and the detection target, and the size of the error ellipse of the Kalman filter. including one. Limitations on the range of variation for each of these indices are described below.
  • the processor 23 may limit the fluctuation range of the index in the above data association.
  • the index includes the Mahalanobis distance.
  • the Mahalanobis distance represents the divergence of data, and in this embodiment, it represents the divergence between the center of the error ellipse of the Kalman filter and the observed value.
  • the error ellipse of the Kalman filter indicates the estimated range by the position probability density distribution, and indicates that the position is located inside the ellipse with a predetermined probability (99% as an example).
  • the error ellipse is calculated using the standard deviation in the x' direction and the standard deviation in the y' direction of the two-dimensional virtual space 46 (see FIG. 6).
  • FIG. 9 is a diagram for explaining restrictions on the Mahalanobis distance.
  • an observation is associated with a Kalman filter with an error ellipse if it is contained in that error ellipse.
  • the observation with the smallest Mahalanobis distance from the center of the error ellipse is selected and associated with the Kalman filter having that error ellipse.
  • the tracking accuracy certainty of the predicted position
  • the size of the error ellipse decreases.
  • the position of the observed value may deviate from the center of the error ellipse of the Kalman filter due to the measurement error of the imaging optical system 11 and the influence of noise. Therefore, as in the example of FIG. 9, when the size of the error ellipse becomes smaller and the observed value is no longer included in the validation gate, tracking is no longer continued if there is no Mahalanobis distance limit.
  • the processor 23 sets a lower limit (see the dashed line in FIG. 9) on the Mahalanobis distance in the data association.
  • the processor 23 uses the lower limit of the Mahalanobis distance to associate it with the observed value. Therefore, the correspondence between observations and Kalman filters is not lost and tracking continues.
  • the lower limit of the Mahalanobis distance (see the dashed line in FIG. 9) is used only in matching observed values and Kalman filters in data associations. Since the original error ellipse (see the solid line in FIG. 9) is used in the tracking of the position of the detection target corresponding to the observed value (position prediction calculation), the tracking accuracy does not decrease.
  • the processor 23 may limit the range of fluctuation of the index in the tracking object ID management described above.
  • the same detection target and the Kalman filter are associated with each other by clustering such as DBSCAN (density-based spatial clustering of applications with noise).
  • the processor 23 determines that a plurality of Kalman filters belong to one group when the centers of the error ellipses of the Kalman filters are included in a predetermined grouping area.
  • the clustering technique is not limited to DBSCAN. Clustering may be performed by other techniques, for example the k-means method.
  • FIGS. 10 and 11 are diagrams for explaining restrictions on the grouping area.
  • the grouping areas are indicated by circles.
  • the index by which processor 23 limits the range of variation includes the radius (eps) of the grouping region.
  • the processor 23 sets at least one of an upper limit and a lower limit to the radius (eps) of the grouping region according to at least one of the observed noise and the distance to the detection target.
  • the same detection target range is susceptible to observation noise.
  • Observation noise is, for example, image distortion caused by a lens of the imaging optical system 11 .
  • the processor 23 sets the radius (eps) of the grouping area to a large value within a range not exceeding the upper limit, as shown in FIG. Based on the distance dependency of observation noise, the processor 23 sets an upper limit so that the range of the Kalman filter group associated with the same detection target does not expand without limit. In the example of FIG. 11, three Kalman filters KF(p), KF(q) and KF(r) are associated with the same detection target.
  • the processor 23 sets the radius (eps) of the grouping area to a small value within a range not less than the lower limit as shown in FIG.
  • the processor 23 sets a lower limit so that the Kalman filters associated with the same detection target do not become zero, based on the distance dependence of the observation noise.
  • two Kalman filters KF(p) and KF(r) are associated with the same detection target.
  • KF(q) is associated with another detection target.
  • processor 23 may gradually decrease the radius (eps) of the grouping region within a range from an upper limit to a lower limit.
  • the processor 23 can determine that an object that is determined to be one object when it is far away (see FIG. 11) is two or more objects that are close to each other as it approaches (see FIG. 10).
  • processor 23 may variably set the radius of the grouping region depending only on the effect of observation noise.
  • the processor 23 may adjust the radius of the grouping region according to changes in observation noise due to the shooting environment (weather as an example).
  • the processor 23 changes the radius (eps) of the grouping region after setting at least one of the upper limit and the lower limit according to at least one of the observation noise and the distance to the detection target, Tracking can be continued with higher accuracy.
  • the processor 23 may limit the variation range of the index so that the error ellipse does not become too small with respect to the output accuracy (guaranteed accuracy) required for the detection result of the detection target.
  • the guaranteed accuracy can be set, for example, as an allowable error range.
  • FIG. 12 is a diagram for explaining limits on the size of the error ellipse according to the guaranteed accuracy.
  • the error ellipse of the Kalman filter becomes smaller than the guaranteed accuracy when the frame (k-1) changes to the frame (k). Therefore, the result of tracking calculation using the error ellipse of the Kalman filter of frame (k) is overspec. It is also possible that the observed value is not included in the validation gate because the error ellipse of the Kalman filter has become smaller.
  • the index by which the processor 23 limits the variation range includes the size of the error ellipse.
  • the processor 23 sets a lower limit on the size of the error ellipse according to the accuracy guaranteed for the detection result of the detection target. That is, the processor 23 adjusts the size of the error ellipse of the Kalman filter so that it does not fall below the guaranteed accuracy (see the solid line in FIG. 12), and continues to associate the observed value with the Kalman filter.
  • the processor 23 may limit the variation range of the index so that the size of the error ellipse is appropriate according to the saturation of the observed value due to the distance to the detection target.
  • the saturability of the observed value means that there is a limit to the accuracy of the positional accuracy of the observed value, even if it is near, and the decrease in accuracy does not change even if it is far.
  • FIG. 13 is a diagram for explaining restrictions on the size of the error ellipse according to the saturation of observed values.
  • the pedestrian 40A is sufficiently close to the vehicle 100 equipped with the object tracking device 20, and even if the error ellipse associated with the observed value of the pedestrian 40A becomes smaller, the observed value Saturation does not improve detection accuracy.
  • the car 40B is sufficiently far from the vehicle 100 on which the object tracking device 20 is mounted, and even if the error ellipse associated with the observed value of the car 40B becomes larger, the observed value Saturation does not change the accuracy of detection.
  • the index by which processor 23 limits the range of variation includes the size of the error ellipse.
  • the processor 23 sets at least one of the upper limit and the lower limit according to the saturation of the observed value due to the distance to the detection target. That is, in the present embodiment, the processor 23 does not change the size of the error ellipse if the accuracy does not improve or decrease even if the size of the error ellipse is changed. As a result, the correspondence between the observed value and the Kalman filter is maintained, so highly accurate tracking can be continued.
  • the processor 23 does not have to execute all of the above-mentioned limits on the fluctuation range of the index at the same time. In other words, the processor 23 may select or combine some of the limits of the fluctuation range of the above indicators.
  • the processor 23 may select only the Mahalanobis distance, for example, as a metric limiting the range of variation. Also, the processor 23 may select, for example, the size of the error ellipse according to the radius of the grouping region and the saturation of the observed value as an index for limiting the range of variation. At this time, the processor 23 may set only the lower limit or only the upper limit of the size of the error ellipse.
  • the object tracking device 20 allows overlap of detection results in the process of tracking a plurality of detection targets with the above configuration. Therefore, the object tracking device 20 can track a plurality of objects with high accuracy without causing a chain of misassociations.
  • the object tracking device 20 according to this embodiment also limits the variation range of the index. Therefore, the object tracking device 20 can stably track the object with high accuracy.
  • the object tracking system 1 includes the imaging device 10, the object tracking device 20, and the display 30, but at least two of them may be integrated.
  • the functions of the object tracking device 20 can be installed in the imaging device 10 .
  • the imaging apparatus 10 may include the storage unit 22 and the output interface 24 in addition to the imaging optical system 11 , the imaging element 12 and the processor 13 .
  • the processor 13 may perform the processing performed by the processor 23 in the above embodiment on the moving image output by the imaging device 10 .
  • Such a configuration may realize the imaging device 10 that tracks an object.
  • Mobile objects in this disclosure include vehicles, ships, and aircraft.
  • Vehicle in the present disclosure includes, but is not limited to, automobiles and industrial vehicles, and may include railroad and utility vehicles, and fixed-wing aircraft that travel on runways.
  • Motor vehicles include, but are not limited to, cars, trucks, buses, motorcycles and trolleybuses, and may include other vehicles that travel on roads.
  • Industrial vehicles include industrial vehicles for agriculture and construction.
  • Industrial vehicles include, but are not limited to, forklifts and golf carts.
  • Industrial vehicles for agriculture include, but are not limited to, tractors, cultivators, transplanters, binders, combines and mowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, mobile cranes, tippers and road rollers.
  • Vehicles include those driven by human power.
  • classification of vehicles is not limited to the above.
  • automobiles may include road-driving industrial vehicles, and the same vehicle may be included in multiple classes.
  • Vessels in this disclosure include marine jets, boats, and tankers.
  • Aircraft in this disclosure includes fixed-wing and rotary-wing aircraft.
  • object tracking system 10 imaging device 11 imaging optical system 12 imaging device 13 processor 20 object tracking device 21 input interface 22 storage unit 23 processor 24 output interface 30 display 40 object 40A pedestrian 40B car 40C bicycle 41 image space 42 object image 43 Representative point 44 Reference plane 45 Mass point 46 Virtual space 100 Vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

物体を高精度に、安定して追跡できる物体追跡装置が提供される。物体追跡装置（２０）は、センサデータを取得する入力インターフェイス（２１）と、センサデータから検出対象を検出し、検出対象及び観測値のそれぞれに対応付けが行われたカルマンフィルタを用いて、検出対象の追跡を行うプロセッサ（２３）と、検出対象の検出結果を出力する出力インターフェイス（２４）と、を備え、プロセッサ（２３）は、検出対象の追跡に影響するカルマンフィルタの指標の変動範囲に制限を設ける。

Description

物体追跡装置 関連出願の相互参照
　本出願は、日本国特許出願２０２１－０７５２９５号（２０２１年４月２７日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本開示は、物体追跡装置に関する。
　周囲の物体を検知し、検知した物体を追跡して動きを予測する技術が知られている。例えば、特許文献１は、車両周辺の映像を取り込む車載カメラから出力される映像信号を処理して接近する車両及び歩行者の有無を検知し、接近車両及び歩行者に四角枠のマークを付加して表示する装置を開示する。
特開平１１－３２１４９４号公報
　一実施形態に係る物体追跡装置は、
　センサデータを取得する入力インターフェイスと、
　前記センサデータから検出対象を検出し、前記検出対象及び観測値のそれぞれに対応付けが行われたカルマンフィルタを用いて、前記検出対象の追跡を行うプロセッサと、
　前記検出対象の検出結果を出力する出力インターフェイスと、を備え、
　前記プロセッサは、前記検出対象の追跡に影響する前記カルマンフィルタの指標の変動範囲に制限を設ける。
図１は、一実施形態に係る物体追跡装置を含む物体追跡システムの概略構成を示すブロック図である。 図２は、図１の物体追跡システムを搭載する車両と検出対象とを示す図である。 図３は、動画像上の物体の像を追跡する処理の例を示すフローチャートである。 図４は、動画像上の物体の像の一例を示す図である。 図５は、実空間の物体、動画像中の物体の像及び仮想空間における質点の関係を説明する図である。 図６は、仮想空間における質点の移動の一例を示す図である。 図７は、データアソシエーションを説明するための図である。 図８は、追跡物体ＩＤ管理の階層構造を例示する図である。 図９は、マハラノビス距離の制限について説明するための図である。 図１０は、グルーピング領域の制限について説明するための図である。 図１１は、グルーピング領域の制限について説明するための図である。 図１２は、出力精度に応じた誤差楕円の大きさの制限について説明するための図である。 図１３は、検出結果の飽和性に応じた誤差楕円の大きさの制限について説明するための図である。
　以下、図面を参照して、本開示の実施形態が説明される。以下の説明で用いられる図は模式的なものである。図面上の寸法比率などは現実のものと必ずしも一致していない。
　図１は、物体追跡システム１の概略構成を示すブロック図である。本開示の一実施形態に係る物体追跡装置２０は、物体追跡システム１に含まれる。本実施形態において、物体追跡システム１は、撮像装置１０と、物体追跡装置２０と、ディスプレイ３０とを含む。また、本実施形態において、物体追跡システム１は、図２に例示するように移動体の一例である車両１００に搭載される。
　本実施形態に係る物体追跡装置２０は、センサデータとして撮像装置１０から動画像を取得する。つまり、本実施形態において、検出対象を検出するために用いられるセンサは、撮像装置１０が備える可視光を撮像する撮像素子１２である。ただし、物体追跡システム１は、図１に示される構成に限定されない。物体追跡システム１は、検出対象を検出するものであれば、撮像装置１０と異なる装置を備えることができる。別の例として、物体追跡システム１は、撮像装置１０に代えて、照射したレーザー光の反射波から検出対象との距離を測定する測定装置を備える構成であってよい。別の例として、物体追跡システム１は、撮像装置１０に代えて、ミリ波センサを有する検出装置を備える構成であってよい。また、別の例として、物体追跡システム１は、可視光領域以外の光を撮像する撮像素子１２を備える撮像装置１０を備える構成であってよい。
　本実施形態において、物体追跡システム１は移動体に搭載されて、移動する移動体の周囲の物体４０（図２参照）を検出対象とする。ただし、物体追跡システム１は、移動体に搭載される構成に限定されない。別の例として、物体追跡システム１は、工場などの施設で用いられて、従業員、搬送ロボット及び製造物などを検出対象としてよい。また、別の例として、物体追跡システム１は、老人福祉施設などで用いられて、室内の老人及びスタッフなどを検出対象としてよい。また、物体追跡システム１は、走行又は行動の安全のために物体の追跡を行うだけでなく、例えば農業及び工業の現場において作業の効率化、品質管理又は生産性向上などのために物体の追跡を行ってよい。ここで、本開示において、物体追跡装置２０の検出対象である物体は、移動体などの物だけでなく人を含む。
　図２に示すように、本実施形態において、実空間の座標のうち、ｘ軸方向は、撮像装置１０が設置された車両１００の幅方向とする。ｙ軸正方向は、車両１００の後退する方向とする。ｘ軸方向とｙ軸方向とは、車両１００が位置する路面に平行な方向である。ｚ軸方向は、路面に対して垂直な方向である。ｚ軸方向は、鉛直方向とよぶことができる。ｘ軸方向、ｙ軸方向及びｚ軸方向は、互いに直交する。ｘ軸方向、ｙ軸方向及びｚ軸方向のとり方はこれに限られない。ｘ軸方向、ｙ軸方向及びｚ軸方向は、互いに入れ替えることができる。
　撮像装置１０は、撮像光学系１１、撮像素子１２及びプロセッサ１３を含んで構成される。
　撮像装置１０は、車両１００の種々の位置に設置され得る。撮像装置１０は、フロントカメラ、左サイドカメラ、右サイドカメラ及びリアカメラなどを含むが、これらに限られない。フロントカメラ、左サイドカメラ、右サイドカメラ及びリアカメラは、それぞれ車両１００の前方、左側方、右側方及び後方の周辺領域を撮像可能となるように車両１００に設置される。以下に一例として説明する実施形態では、図２に示すように、撮像装置１０は、車両１００の後方を撮像可能なように、光軸方向を水平方向より下に向けて車両１００に取付けられている。
　撮像光学系１１は、１つ以上のレンズを含んで構成されてよい。撮像素子１２は、ＣＣＤイメージセンサ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ　ｄｅｖｉｃｅ　ｉｍａｇｅ　ｓｅｎｓｏｒ）又はＣＭＯＳイメージセンサ（ｃｏｍｐｌｅｍｅｎｔａｒｙ　ＭＯＳ　ｉｍａｇｅ　ｓｅｎｓｏｒ）を含んで構成されてよい。
　撮像素子１２は、撮像光学系１１により撮像素子１２の撮像面に結像された物体の像（被写体像）を電気信号に変換する。撮像素子１２は、所定のフレームレートで、動画像を撮像することができる。フレームは動画像を構成する各静止画像である。１秒間に撮像できる画像の数をフレームレートという。フレームレートは、例えば６０ｆｐｓ（ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）であってよいし、３０ｆｐｓであってよい。
　プロセッサ１３は、撮像装置１０全体を制御するとともに、撮像素子１２から出力された動画像に対して、種々の画像処理を実行する。プロセッサ１３が行う画像処理は、歪み補正、明度調整、コントラスト調整、ガンマ補正等の任意の処理を含み得る。
　プロセッサ１３は、１つ又は複数のプロセッサで構成され得る。プロセッサ１３は、例えば、関連するメモリに記憶された指示を実行することによって１以上のデータ計算手続又は処理を実行するように構成された１以上の回路又はユニットを含む。プロセッサ１３は、１以上のプロセッサ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ　ｓｐｅｃｉｆｉｃ　ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ）、デジタル信号処理装置（ＤＳＰ：ｄｉｇｉｔａｌ　ｓｉｇｎａｌ　ｐｒｏｃｅｓｓｏｒ）、プログラマブルロジックデバイス（ＰＬＤ：ｐｒｏｇｒａｍｍａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　ｇａｔｅ　ａｒｒａｙ）、これらのデバイス若しくは構成の任意の組み合わせ又は他の既知のデバイス若しくは構成の組み合わせを含む。
　物体追跡装置２０は、入力インターフェイス２１、記憶部２２、プロセッサ２３及び出力インターフェイス２４を含んで構成される。
　入力インターフェイス２１は、撮像装置１０との間で有線又は無線の通信手段により通信可能に構成される。入力インターフェイス２１は、センサデータとして撮像装置１０から動画像を取得する。入力インターフェイス２１は、撮像装置１０の送信する画像信号の伝送方式に対応してよい。入力インターフェイス２１は、入力部又は取得部と言い換えることができる。撮像装置１０と入力インターフェイス２１との間は、ＣＡＮ（ｃｏｎｔｒｏｌ　ａｒｅａ　ｎｅｔｗｏｒｋ）などの車載通信ネットワークにより接続されてよい。
　記憶部２２は、プロセッサ２３が行う処理に必要なデータ及びプログラムを格納する記憶装置である。例えば、記憶部２２は、撮像装置１０から取得した動画像を一時的に記憶する。例えば、記憶部２２は、プロセッサ２３が行う処理により生成されるデータを格納する。記憶部２２は、例えば半導体メモリ、磁気メモリ及び光メモリなどのいずれか一つ以上を用いて構成されてよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープなどを含んでよい。光メモリは、例えばＣＤ（ｃｏｍｐａｃｔ　ｄｉｓｃ）、ＤＶＤ（ｄｉｇｉｔａｌ　ｖｅｒｓａｔｉｌｅ　ｄｉｓｃ）及びＢＤ（ｂｌｕ－ｒａｙ（登録商標）　ｄｉｓｃ）などを含んでよい。
　プロセッサ２３は、物体追跡装置２０の全体を制御する。プロセッサ２３は、入力インターフェイス２１を介して取得した動画像に含まれる物体の像を認識する。プロセッサ２３は、認識した物体の像の座標を仮想空間４６（図６参照）の物体４０の座標に写像変換し、仮想空間４６上で物体４０を表す質点４５（図５参照）の位置及び速度を追跡する。質点４５は、質量を有し大きさを持たない点である。仮想空間４６は、実空間のｘ軸、ｙ軸及びｚ軸の３軸より成る座標系において、ｚ軸方向の値を所定の固定値とする２次元空間である。プロセッサ２３は、追跡した質点４５の仮想空間４６上の座標を動画像上の座標に写像変換してよい。
　また、プロセッサ２３は、動画像から検出対象を検出し、カルマンフィルタを用いて追跡を行う。ここで、プロセッサ２３は、動画像から複数の検出対象を検出可能であって、複数の検出対象のそれぞれについてカルマンフィルタを用いて追跡を行う。複数の検出対象を検出する場合に、動画像においてそれらの像が重なると、従来の技術では追跡を誤ったり、精度が低下したりする。本実施形態において、プロセッサ２３は、複数の検出対象のそれぞれに１つ以上のカルマンフィルタを対応付けることによって、このような問題を回避できる。また、プロセッサ２３は、観測値と、カルマンフィルタと、追跡物体の固有識別情報（以下「追跡物体ＩＤ」）と、を各レイヤ（層）で管理する。プロセッサ２３は、追跡物体について同一物体（同一の検出対象）であるか否かを判定し、観測値と、カルマンフィルタと、追跡物体ＩＤと、を対応付ける処理を実行する。これによって、複数の検出対象の追跡の精度をさらに向上させることができる。
　また、プロセッサ２３は、検出対象の追跡に影響するカルマンフィルタの指標の変動範囲に制限を設ける。本実施形態において、プロセッサ２３は、カルマンフィルタと観測値との対応付けに用いられるマハラノビス距離、カルマンフィルタと検出対象との対応付けに用いられるグルーピング領域の半径、及び、カルマンフィルタの誤差楕円の大きさ、の少なくとも１つを含む指標について、上限及び下限の少なくとも１つを設ける。カルマンフィルタの指標の変動範囲を適切に制限することによって、検出対象及び観測値との対応付けを途切れにくくして、安定した追跡が可能になる。プロセッサ２３が行う処理の詳細については後述する。プロセッサ２３は、撮像装置１０のプロセッサ１３と同じく、複数のプロセッサを含んでよい。また、プロセッサ２３は、プロセッサ１３と同じく、複数の種類のデバイスが組み合わされて構成されてよい。
　出力インターフェイス２４は、物体追跡装置２０から出力信号を出力するように構成される。出力インターフェイス２４は、出力部と言い換えることができる。出力インターフェイス２４は、例えば質点４５の座標などの検出対象の検出結果を出力してよい。
　出力インターフェイス２４は、物理コネクタ及び無線通信機を含んで構成され得る。出力インターフェイス２４は、例えばＣＡＮなどの車両１００のネットワークに接続されてよい。出力インターフェイス２４は、ＣＡＮなどの通信ネットワークを介してディスプレイ３０、車両１００の制御装置及び警報装置などに接続され得る。出力インターフェイス２４から出力された情報は、ディスプレイ３０、制御装置及び警報装置の各々で適宜利用されてよい。
　ディスプレイ３０は、物体追跡装置２０から出力される動画像を表示し得る。ディスプレイ３０は、物体追跡装置２０から、物体の像の位置を表す質点４５の座標を受け取った場合、これに従う画像要素（例えば、接近する物体とともに表示する警告）を生成して動画像に重畳させる機能を有してよい。ディスプレイ３０は、種々の種類の装置を採用し得る。例えば、ディスプレイ３０は、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｄｉｓｐｌａｙ）、有機ＥＬ（ｅｌｅｃｔｒｏ－ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、無機ＥＬディスプレイ、プラズマディスプレイ（ＰＤＰ：ｐｌａｓｍａ　ｄｉｓｐｌａｙ　ｐａｎｅｌ）、電界放出ディスプレイ（ＦＥＤ：ｆｉｅｌｄ　ｅｍｉｓｓｉｏｎ　ｄｉｓｐｌａｙ）、電気泳動ディスプレイ、ツイストボールディスプレイなどを採用し得る。
　次に、図３のフローチャートを参照して、物体追跡装置２０が実行する物体追跡方法を説明する。物体追跡装置２０は、以下に説明するプロセッサ２３が行う処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ、ＤＶＤ及びＢＤなどの光ディスクを含む。半導体記憶媒体は、ＲＯＭ（ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ　ｅｒａｓａｂｌｅ　ｐｒｏｇｒａｍｍａｂｌｅ　ｒｅａｄ－ｏｎｌｙ　ｍｅｍｏｒｙ）、フラッシュメモリを含む。
　図３のフローチャートは、動画像の順次のフレームを取得して、プロセッサ２３が実行する処理を示す。物体追跡装置２０のプロセッサ２３は、図３のフローチャートに従い、動画像のフレームを取得する度に、物体の像４２（図４参照）の位置を追跡（トラッキング）する。図２に示すように、検出対象となる物体４０は複数であってよく、歩行者４０Ａ、自動車４０Ｂ及び自転車４０Ｃを含み得る。さらに、物体４０は、移動している物及び人に限定されず、道路上の障害物など、種々の対象物を含み得る。以下の物体追跡方法についての説明では、車両１００の後ろに設置された撮像装置１０の動画像に含まれる複数の物体４０のうち１つ（具体的には歩行者４０Ａ）を用いて説明する。他の物体４０（例えば自動車４０Ｂ及び自転車４０Ｃ）のそれぞれについても、同様の処理によって追跡が行われる。
　プロセッサ２３は、入力インターフェイス２１を介して、撮像装置１０から動画像の各フレームを取得する（ステップＳ１０１）。図４に、動画像の１フレームの一例が示される。図４の例では、ｕｖ座標系からなる２次元の画像空間４１に、車両１００の後方の物体４０の像（物体の像４２）が表示されている。ｕ座標は、画像の横方向の座標である。ｖ座標は、画像の縦方向の座標である。図４において、ｕｖ座標の原点は、画像空間４１の左上端の点である。また、ｕ座標は、左から右へ向かう方向を正の方向とする。ｖ座標は、上から下へ向かう方向を正の方向とする。
　プロセッサ２３は、画像認識により動画像の各フレームから物体の像４２を認識する（ステップＳ１０２）。物体の像４２の認識方法は、公知の種々の方法を含む。例えば、物体の像４２の認識方法は、車及び人などの物体の形状認識による方法、テンプレートマッチングによる方法、画像から特徴量を算出しマッチングに利用する方法などを含む。特徴量の算出には、入出力の関係を学習可能な関数近似器を用いることができる。入出力の関係を学習可能な関数近似器には、例えばニューラルネットワークを用いることができる。
　プロセッサ２３は、画像空間４１の物体の像４２の座標（ｕ，ｖ）を仮想空間４６（図６参照）の物体の座標（ｘ´，ｙ´）に写像変換する（ステップＳ１０３）。一般に、２次元座標である画像空間４１の座標（ｕ，ｖ）は、実空間の座標（ｘ，ｙ，ｚ）に変換することはできない。しかし、実空間における高さを特定し、ｚ座標を所定値に固定することにより、画像空間４１の座標（ｕ，ｖ）を、実空間の座標（ｘ，ｙ，ｚ０）（ｚ０は固定値）に対応する２次元の仮想空間４６の座標（ｘ´，ｙ´）に写像することが可能になる。ここで、本実施形態では仮想空間４６を２次元としたが、入力情報（センサの種類）によって３次元とすることがあり得る。
　図４に示すように、物体の像４２の最下部の中央に位置する代表点４３が特定される。例えば、代表点４３は、画像空間４１において、物体の像４２が占める領域のｖ座標の最も下の位置且つｕ座標の範囲の中心位置とすることができる。この代表点４３は、物体の像４２に対応する物体４０の路面又は地面と接している位置であると想定される。
　図５において、３次元の実空間に位置する物体４０と、２次元の画像空間４１上の物体の像４２との関係が示される。撮像装置１０の内部パラメータが既知の場合、画像空間４１の座標（ｕ，ｖ）に基づき、撮像装置１０の撮像光学系１１の中心から実空間の対応する座標（ｘ，ｙ，ｚ）に向かう方向を算出することができる。撮像装置１０の内部パラメータは、撮像光学系１１の焦点距離、歪み及び撮像素子１２の画素サイズなどの情報を含む。実空間において、画像空間４１の代表点４３に対応する方向に向かう直線が、ｚ＝０の基準面４４と交差する点を物体４０の質点４５とする。基準面４４は、車両１００が位置する路面又は地面に相当する。質点４５は、３次元の座標（ｘ，ｙ，０）を有する。したがって、ｚ＝０の２次元空間を仮想空間４６とするとき、質点４５の座標は、（ｘ´，ｙ´）で表すことができる。仮想空間４６上の質点４５の座標（ｘ´，ｙ´）は、実空間においてｚ軸に沿う方向から物体４０を見た場合のｘｙ平面（ｚ＝０）での物体４０の特定の点の座標（ｘ，ｙ）に相当する。特定の点は、質点４５に対応する点である。
　プロセッサ２３は、図６に示すように、仮想空間４６上で物体の像４２の代表点４３から仮想空間４６に写像変換された質点４５の位置（ｘ´，ｙ´）及び速度（ｖｘ´，ｖｙ´）を追跡する（ステップＳ１０４）。質点４５が位置（ｘ´，ｙ´）及び速度（ｖｘ´，ｖｙ´）の情報を有することにより、プロセッサ２３は、順次のフレームにおける質点４５の位置（ｘ´，ｙ´）の範囲を予測することができる。プロセッサ２３は、次のフレームで予測された範囲に位置する質点４５を、追跡している物体の像４２に対応する質点４５であると認識することができる。プロセッサ２３は、新たなフレームの入力を受ける毎に、順次質点４５の位置（ｘ´，ｙ´）及び速度（ｖｘ´，ｖｙ´）を更新する。
　質点４５の追跡は、例えば、状態空間モデルに基づくカルマンフィルタを用いた推定を採用することができる。カルマンフィルタを用いた予測／推定を行うことにより、検出対象の物体４０の検知不能及び誤検知などに対するロバスト性が向上する。一般に、画像空間４１の物体の像４２に対しては、運動を記述する適切なモデルで記述することは困難である。そのため、画像空間４１の物体の像４２に対して簡易に高精度の位置の推定を行うことは困難であった。本開示の物体追跡装置２０では、物体の像４２を実空間の質点４５に写像変換することにより、実空間における運動を記述するモデルの適用が可能になるので、物体の像４２の追跡の精度が向上する。また、物体４０を、大きさを持たない質点４５として扱うことにより、単純で簡易な追跡が可能となる。
　プロセッサ２３は、質点４５の新たな位置を推定するごとに、推定位置を示すために、質点４５の仮想空間４６上の座標を画像空間４１上の座標（ｕ，ｖ）に写像変換してよい（ステップＳ１０５）。仮想空間４６の座標（ｘ´，ｙ´）に位置する質点４５は、実空間の座標（ｘ，ｙ，０）に位置する点として、画像空間４１に写像変換することができる。実空間の座標（ｘ，ｙ，０）は、公知の方法により撮像装置１０の画像空間４１上の座標（ｕ，ｖ）に写像することができる。プロセッサ２３は、画像空間４１上の座標（ｕ，ｖ）と、仮想空間４６の座標（ｘ´，ｙ´）と、実空間の座標（ｘ，ｙ，０）と、を相互に変換することができる。
（データアソシエーション）
　図７は、データアソシエーションを説明するための図である。データアソシエーションは、カルマンフィルタを観測値に対応付ける処理である。データアソシエーションにおいて、複数のカルマンフィルタが、複数の観測値と対応付けられ得る。ここで、観測値は、検出対象の位置である。プロセッサ２３は、複数の観測値及び複数のカルマンフィルタに識別子を付して区別する。本実施形態において、プロセッサ２３は、例えば通し番号を用いて、複数の観測値のそれぞれを観測値（１）、観測値（２）、観測値（３）…とする。また、プロセッサ２３は、例えば記号及び通し番号を用いて、複数のカルマンフィルタのそれぞれをＫＦ（１）、ＫＦ（２）、ＫＦ（３）…とする。
　本実施形態において、プロセッサ２３は、Ｍ個の観測値とＮ個のカルマンフィルタとのデータアソシエーションを行う。Ｍは２以上の整数である。ＮはＭ以上の整数である。図７の例において、プロセッサ２３は、３個の観測値と５個のカルマンフィルタとのデータアソシエーションを行っている。観測値（１）は動画像のフレーム（ｋ）において検出されている歩行者４０Ａの位置である。観測値（２）は動画像のフレーム（ｋ）において検出されている自動車４０Ｂの位置である。観測値（３）は動画像のフレーム（ｋ）において検出されている自転車４０Ｃの位置である。また、フレーム（ｋ－１）は、動画像におけるフレーム（ｋ）の１つ前のフレームである。フレーム（ｋ－２）は、動画像におけるフレーム（ｋ）の２つ前のフレームである。現フレームはフレーム（ｋ）であるとする。
　ここで、ＫＦ（２）は、フレーム（ｋ－１）の時まで歩行者４０Ａの追跡に用いられていたが、途中で初期化されて、検出対象の位置の追跡に用いられない。また、ＫＦ（５）は、フレーム（ｋ－２）で新たな自転車４０Ｃが認識されたことによって、新たに用意されたカルマンフィルタである。ＫＦ（５）は、新たに認識された自転車４０Ｃが、現フレーム（ｋ）でも認識されたために、検出対象の追跡を始動している。その他のカルマンフィルタは、フレーム（ｋ－２）の時から、それぞれ検出対象の追跡を継続している。
　図７の例において、プロセッサ２３は観測値（１）にＫＦ（１）を対応付けている。プロセッサ２３は観測値（２）にＫＦ（３）及びＫＦ（４）を対応付けている。また、プロセッサ２３は観測値（３）にＫＦ（５）を対応付けている。観測値（２）の例のように、プロセッサ２３は、複数の検出対象の追跡過程における検出結果の重複を許容する。つまり、プロセッサ２３は、ＫＦ（３）及びＫＦ（４）を用いて、観測値（２）すなわち自動車４０Ｂの位置の範囲の予測を行う。このように、データアソシエーションにおいて重複を許容することによって、局所最適化を行うことができる。例えば、重複を許容せずに、複数の観測値と複数のカルマンフィルタとを一対一で対応付ける手法（一例としてハンガリアン法）は、全体最適化のため、１つのミスアソシエーションが連鎖するおそれがある。本実施形態においては、重複が許容されるため、ミスアソシエーションの連鎖といった問題は生じない。また、追跡過程において、１つの観測値に対して１つ以上のカルマンフィルタが対応付けられており、どの観測値についても追跡の失敗が生じにくいため、ロバスト性を向上できる。
（追跡物体ＩＤ管理）
　ここで、上記のように１つの観測値に複数のカルマンフィルタが対応付けられ得るが、検出対象である１つの物体に複数の観測値が対応付けられることもあり得る。例えば、検出対象が自動車４０Ｂであって、車線変更などによって動画像から一度消失した後に再び動画像に出現した場合などに、別物体として新たな観測値が対応付けられることがあり得る。正確な物体の追跡を行うために、物体追跡装置２０は、それぞれの追跡物体を識別して、観測値との対応付けを把握することが好ましい。本実施形態において、プロセッサ２３は、以下に説明するように階層構造を用いた追跡物体ＩＤ管理を実行し、複数のカルマンフィルタのグループ化を行って同一物体に対応するものか否かを判定する。
　図８は、本実施形態における追跡物体ＩＤ管理（ＩＤマネジメント）の階層構造を示す図である。追跡物体ＩＤ管理は、カルマンフィルタを検出対象に対応付ける処理である。図８に示すように、プロセッサ２３は、観測値と、カルマンフィルタと、追跡物体ＩＤと、を各レイヤ（層）で管理する。また、プロセッサ２３は、観測値と、カルマンフィルタと、追跡物体ＩＤと、を対応付けることによって、正確な物体の追跡を可能にする。ここで、追跡物体ＩＤは上記のように追跡物体の固有識別情報である。複数の観測値又は複数のカルマンフィルタに対応付けられる追跡物体ＩＤが同じであれば、これらの観測値又はカルマンフィルタは同一物体の追跡に関連するものである。
　プロセッサ２３は、動画像のフレームが取得されると複数のカルマンフィルタのグループ化を実行する。そして、プロセッサ２３は、観測値、カルマンフィルタ及び追跡物体ＩＤの対応付けを更新する。図８の例において、プロセッサ２３は、ＫＦ（１）、ＫＦ（２）及びＫＦ（３）をグループ化して、これらのカルマンフィルタを用いて追跡する物体に識別子である「追跡物体ＩＤ（１）」を割り当てて、この物体の追跡制御を行う。また、プロセッサ２３は、ＫＦ（４）及びＫＦ（５）をグループ化して、これらのカルマンフィルタを用いて追跡する物体に識別子である「追跡物体ＩＤ（２）」を割り当てて、この物体の追跡制御を行う。プロセッサ２３は、同一と判定した物体に対応するカルマンフィルタを紐付けし、これらのカルマンフィルタに対応する検出対象の検出結果についても紐付けする階層構造で追跡を制御することによって、誤りのない高精度な追跡が可能になる。プロセッサ２３は、例えば紐づけされた複数のカルマンフィルタを用いた検出結果を比較又は選択して、確信度が高い検出結果を得ることが可能である。
（指標の変動範囲の制限）
　上記のように、１つの観測値に複数のカルマンフィルタが対応付けられ、１つの検出対象（１つの追跡物体ＩＤを有する検出対象）に複数のカルマンフィルタが対応付けられ得る。複数のカルマンフィルタを対応付けることによって追跡の失敗が生じにくくなり、追跡の精度を高めて、ロバスト性を向上させることができる。また、プロセッサ２３は、安定した追跡のために、検出対象の追跡に影響するカルマンフィルタの指標の変動範囲に制限を設けることができる。指標の変動範囲の制限は、具体例として、上限及び下限の少なくとも１つを設けることであって、クリッピング（Ｃｌｉｐｐｉｎｇ）処理と称することができる。本実施形態において、指標は、カルマンフィルタと観測値との対応付けに用いられるマハラノビス距離、カルマンフィルタと検出対象との対応付けに用いられるグルーピング領域の半径、及び、カルマンフィルタの誤差楕円の大きさ、の少なくとも１つを含む。これらの指標のそれぞれの変動範囲の制限が、以下に説明される。
　プロセッサ２３は、上記のデータアソシエーションにおいて、指標の変動範囲の制限を実行してよい。このとき、指標には、マハラノビス距離が含まれる。マハラノビス距離は、データの乖離を表すものであり、本実施形態において、カルマンフィルタの誤差楕円の中心と、観測値との乖離を表す。ここで、カルマンフィルタの誤差楕円は、位置の確率密度分布による推定範囲を示すものであって、所定の確率（一例として９９％）で楕円の内部に位置することを示すものである。誤差楕円は、２次元の仮想空間４６（図６参照）のｘ´方向の標準偏差及びｙ´方向の標準偏差などを用いて計算される。
　図９は、マハラノビス距離の制限について説明するための図である。マハラノビス距離の制限がない場合に、観測値は、誤差楕円に含まれる場合に、その誤差楕円を有するカルマンフィルタと対応付けられる。誤差楕円のバリデーションゲート（境界）内に複数の観測値が含まれる場合に、誤差楕円の中心から最もマハラノビス距離が小さい観測値が選択されて、その誤差楕円を有するカルマンフィルタと対応付けられる。ここで、検出対象の追跡の処理が進むと、追跡の精度（予測される位置の確信度）が向上して、誤差楕円のサイズが小さくなる。一方で、観測値の位置は、撮像光学系１１の測定の誤差及びノイズの影響などによって、カルマンフィルタの誤差楕円の中心からずれることがある。したがって、図９の例のように、誤差楕円のサイズが小さくなって観測値がバリデーションゲート内に含まれなくなると、マハラノビス距離の制限がない場合には、追跡が継続されなくなる。本実施形態において、プロセッサ２３は、データアソシエーションにおいて、マハラノビス距離に下限（図９の破線参照）を設ける。プロセッサ２３は、カルマンフィルタの誤差楕円のバリデーションゲートが、マハラノビス距離の下限の内側にある場合に、この下限のマハラノビス距離を用いて観測値との対応付けを行う。そのため、観測値とカルマンフィルタとの対応付けは失われず、追跡が継続される。
　ここで、マハラノビス距離の下限（図９の破線参照）は、データアソシエーションにおける観測値とカルマンフィルタとの対応付けでのみ用いられる。観測値に対応する検出対象の位置の追跡（位置の予測計算）において、本来の誤差楕円（図９の実線参照）が計算で用いられるため、追跡の精度は低下しない。
　また、プロセッサ２３は、上記の追跡物体ＩＤ管理において、指標の変動範囲の制限を実行してよい。ここで、追跡物体ＩＤ管理における、同一の検出対象とカルマンフィルタとの対応付けは、例えばＤＢＳＣＡＮ（ｄｅｎｓｉｔｙ－ｂａｓｅｄ　ｓｐａｔｉａｌ　ｃｌｕｓｔｅｒｉｎｇ　ｏｆ　ａｐｐｌｉｃａｔｉｏｎｓ　ｗｉｔｈ　ｎｏｉｓｅ）などのクラスタリングによって行われる。プロセッサ２３は、複数のカルマンフィルタの誤差楕円の中心が所定範囲のグルーピング領域に含まれる場合に、それらのカルマンフィルタが１つのグループに属すると判定する。クラスタリングの手法は、ＤＢＳＣＡＮに限定されない。例えばｋ－ｍｅａｎｓ法など、他の手法でクラスタリングが実行されてよい。
　図１０及び図１１は、グルーピング領域の制限について説明するための図である。図１０及び図１１の例において、グルーピング領域は円で示されている。プロセッサ２３が変動範囲を制限する指標は、グルーピング領域の半径（ｅｐｓ）を含む。プロセッサ２３は、グルーピング領域の半径（ｅｐｓ）に、観測ノイズ及び検出対象までの距離の少なくとも１つに応じて、上限及び下限の少なくとも１つを設ける。
　検出対象までの距離が遠い場合に、同一の検出対象の範囲は観測ノイズの影響を受けやすい。観測ノイズは、例えば撮像光学系１１が有するレンズによる像の歪みなどである。プロセッサ２３は、検出対象までの距離が遠い場合に、図１１のようにグルーピング領域の半径（ｅｐｓ）を、上限を超えない範囲で大きく設定する。プロセッサ２３は、観測ノイズの距離依存性に基づいて、同一の検出対象と対応付けられるカルマンフィルタのグループの範囲が際限なく広がらないように上限を設ける。図１１の例では、同一の検出対象に３つのカルマンフィルタであるＫＦ（ｐ）、ＫＦ（ｑ）及びＫＦ（ｒ）が対応付けられている。
　検出対象までの距離が近い場合に、同一の検出対象の範囲は、比較的、観測ノイズの影響を受けにくい。プロセッサ２３は、検出対象までの距離が近い場合に、図１０のようにグルーピング領域の半径（ｅｐｓ）を、下限を下回らない範囲で小さく設定する。プロセッサ２３は、観測ノイズの距離依存性に基づいて、同一の検出対象と対応付けられるカルマンフィルタがゼロにならないように下限を設ける。図１０の例では、同一の検出対象に２つのカルマンフィルタであるＫＦ（ｐ）及びＫＦ（ｒ）が対応付けられている。換言すると、ＫＦ（ｑ）については別の検出対象に対応付けられている。例えば、近づいてくる物体を追跡する場合に、プロセッサ２３は、グルーピング領域の半径（ｅｐｓ）を、上限から下限の範囲内で、徐々に小さくしてよい。このとき、プロセッサ２３は、遠くにあるときに１つの物体と判定していたものが（図１１参照）、近づくにつれて、近接する２つ以上の物体であることを判定できる（図１０参照）。別の例として、プロセッサ２３は、観測ノイズの影響のみに応じて、グルーピング領域の半径を可変に設定してよい。例えば、プロセッサ２３は、撮影環境（一例として天候）による観測ノイズの変化に応じて、グルーピング領域の半径を調整してよい。
　このように、プロセッサ２３は、グルーピング領域の半径（ｅｐｓ）に、観測ノイズ及び検出対象までの距離の少なくとも１つに応じて、上限及び下限の少なくとも１つを設けた上で変化させることによって、より高精度に追跡を継続することができる。
　また、プロセッサ２３は、検出対象の検出結果に求められる出力精度（保証精度）に対して、誤差楕円が小さくなり過ぎないように、指標の変動範囲の制限を実行してよい。ここで、保証精度は、例えば許容される誤差の範囲として設定され得る。上記のデータアソシエーションにおける指標の変動範囲の制限で説明したように、検出対象の追跡の処理が進むと、追跡の精度（予測される位置の確信度）が向上して、誤差楕円のサイズが小さくなる。一方で、誤差楕円のサイズが小さくなって、観測値がバリデーションゲート内に含まれなくなると、追跡が継続されなくなり得る。
　図１２は、保証精度に応じた誤差楕円の大きさの制限について説明するための図である。図１２の例において、フレーム（ｋ－１）からフレーム（ｋ）になった場合に、カルマンフィルタの誤差楕円は保証精度を超えて小さくなっている。したがって、フレーム（ｋ）のカルマンフィルタの誤差楕円を用いて、追跡の演算を行った結果はオーバースペックになる。また、カルマンフィルタの誤差楕円が小さくなったために、観測値がバリデーションゲート内に含まれなくなることがあり得る。本実施形態において、プロセッサ２３が変動範囲を制限する指標は、誤差楕円の大きさを含む。プロセッサ２３は、誤差楕円の大きさに、検出対象の検出結果について保証する精度に応じて、下限を設ける。つまり、プロセッサ２３は、カルマンフィルタの誤差楕円の大きさが、保証精度（図１２の実線参照）を下回らないように調整し、観測値とカルマンフィルタとの対応付けが継続されるようにする。
　また、プロセッサ２３は、検出対象までの距離による観測値の飽和性に応じて、誤差楕円の大きさが適切であるように、指標の変動範囲の制限を実行してよい。ここで、観測値の飽和性は、観測値の位置の精度について、近くであっても精度向上に限界があり、遠くであっても精度低下が変化しないことを意味する。
　図１３は、観測値の飽和性に応じた誤差楕円の大きさの制限について説明するための図である。図１３の例において、歩行者４０Ａは物体追跡装置２０を搭載する車両１００に十分近付いており、歩行者４０Ａの観測値と対応付けられた誤差楕円がこれ以上、小さくなっても、観測値の飽和性によって検出の精度は向上しない。また、図１３の例において、自動車４０Ｂは物体追跡装置２０を搭載する車両１００から十分離れており、自動車４０Ｂの観測値と対応付けられた誤差楕円がこれ以上、大きくなっても、観測値の飽和性によって検出の精度は変わらない。図１３の例において、プロセッサ２３が変動範囲を制限する指標は、誤差楕円の大きさを含む。プロセッサ２３は、検出対象までの距離による観測値の飽和性に応じて、上限及び下限の少なくとも１つを設ける。つまり、本実施形態において、プロセッサ２３は、誤差楕円の大きさを変化させても、精度が向上しない場合に、及び、精度が低下しない場合に、誤差楕円の大きさを変化させない。このことによって、観測値とカルマンフィルタとの対応付けは維持されるため、高精度な追跡を継続することができる。
　プロセッサ２３は、上記の指標の変動範囲の制限の全てを同時に実行しなくてよい。つまり、プロセッサ２３は、上記の指標の変動範囲の制限の一部を選択したり、組み合わせたりしてよい。プロセッサ２３は、例えば変動範囲を制限する指標として、マハラノビス距離のみを選択してよい。また、プロセッサ２３は、例えば変動範囲を制限する指標として、グルーピング領域の半径及び観測値の飽和性に応じた誤差楕円の大きさを選択してよい。このとき、プロセッサ２３は、誤差楕円の大きさの下限だけを設けてよいし、上限だけを設けてよい。
　以上のように、本実施形態に係る物体追跡装置２０は、上記の構成によって、複数の検出対象の追跡過程における検出結果の重複を許容する。そのため、物体追跡装置２０は、ミスアソシエーションの連鎖を生じさせることなく、複数の物体を高精度に追跡できる。また、本実施形態に係る物体追跡装置２０は、指標の変動範囲の制限も実行する。そのため、物体追跡装置２０は、物体を高精度に、安定して追跡できる。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。例えば指標の変動範囲の制限は、プロセッサ２３が実行する処理の各ステップを図３の物体追跡方法に含めることによって、方法としても実現される。
　上記の実施形態において、物体追跡システム１は、撮像装置１０と、物体追跡装置２０と、ディスプレイ３０とを含むが、これらのうちの少なくとも２つが一体化した構成であってよい。例えば物体追跡装置２０の機能は、撮像装置１０に搭載することができる。このとき、撮像装置１０は、撮像光学系１１、撮像素子１２及びプロセッサ１３に加えて、上記の記憶部２２、出力インターフェイス２４を備えてよい。また、プロセッサ１３は、撮像装置１０が出力した動画像について、上記の実施形態においてプロセッサ２３が行った処理を実行してよい。このような構成によって、物体の追跡を実行する撮像装置１０が実現されてよい。
　本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車及び産業車両を含むが、これに限られず、鉄道車両及び生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車及びトロリーバスなどを含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー及びロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。ここで、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
　１　　　物体追跡システム
　１０　　撮像装置
　１１　　撮像光学系
　１２　　撮像素子
　１３　　プロセッサ
　２０　　物体追跡装置
　２１　　入力インターフェイス
　２２　　記憶部
　２３　　プロセッサ
　２４　　出力インターフェイス
　３０　　ディスプレイ
　４０　　物体
　４０Ａ　歩行者
　４０Ｂ　自動車
　４０Ｃ　自転車
　４１　　画像空間
　４２　　物体の像
　４３　　代表点
　４４　　基準面
　４５　　質点
　４６　　仮想空間
　１００　車両

Claims (6)

  1. 　センサデータを取得する入力インターフェイスと、
    　前記センサデータから検出対象を検出し、前記検出対象及び観測値のそれぞれに対応付けが行われたカルマンフィルタを用いて、前記検出対象の追跡を行うプロセッサと、
    　前記検出対象の検出結果を出力する出力インターフェイスと、を備え、
    　前記プロセッサは、前記検出対象の追跡に影響する前記カルマンフィルタの指標の変動範囲に制限を設ける、物体追跡装置。
  2. 　前記指標は、前記カルマンフィルタと前記観測値との対応付けに用いられるマハラノビス距離、前記カルマンフィルタと前記検出対象との対応付けに用いられるグルーピング領域の半径、及び、前記カルマンフィルタの誤差楕円の大きさ、の少なくとも１つを含む、請求項１に記載の物体追跡装置。
  3. 　前記指標は、前記マハラノビス距離を含み、
    　前記プロセッサは、前記マハラノビス距離に下限を設ける、請求項２に記載の物体追跡装置。
  4. 　前記指標は、前記グルーピング領域の半径を含み、
    　前記プロセッサは、前記グルーピング領域の半径に、観測ノイズ及び前記検出対象までの距離の少なくとも１つに応じて、上限及び下限の少なくとも１つを設ける、請求項２に記載の物体追跡装置。
  5. 　前記指標は、前記誤差楕円の大きさを含み、
    　前記プロセッサは、前記誤差楕円の大きさに、前記検出対象の検出結果について保証する精度に応じて、下限を設ける、請求項２に記載の物体追跡装置。
  6. 　前記指標は、前記誤差楕円の大きさを含み、
    　前記プロセッサは、前記誤差楕円の大きさに、前記検出対象までの距離による前記観測値の飽和性に応じて、上限及び下限の少なくとも１つを設ける、請求項２に記載の物体追跡装置。
PCT/JP2022/018331 2021-04-27 2022-04-20 物体追跡装置 WO2022230739A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22795652.1A EP4332896A1 (en) 2021-04-27 2022-04-20 Object tracking device
US18/557,520 US20240144491A1 (en) 2021-04-27 2022-04-20 Object tracking device
CN202280031201.0A CN117203667A (zh) 2021-04-27 2022-04-20 物体跟踪装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021075295A JP2022169324A (ja) 2021-04-27 2021-04-27 物体追跡装置
JP2021-075295 2021-04-27

Publications (1)

Publication Number Publication Date
WO2022230739A1 true WO2022230739A1 (ja) 2022-11-03

Family

ID=83847061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018331 WO2022230739A1 (ja) 2021-04-27 2022-04-20 物体追跡装置

Country Status (5)

Country Link
US (1) US20240144491A1 (ja)
EP (1) EP4332896A1 (ja)
JP (1) JP2022169324A (ja)
CN (1) CN117203667A (ja)
WO (1) WO2022230739A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11321494A (ja) 1998-05-08 1999-11-24 Yazaki Corp 後側方監視装置
JP2019168953A (ja) * 2018-03-23 2019-10-03 株式会社豊田中央研究所 状態推定装置及びプログラム
JP2021075295A (ja) 2019-11-07 2021-05-20 福助工業株式会社 艶消し感を有する３層有色フィルム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11321494A (ja) 1998-05-08 1999-11-24 Yazaki Corp 後側方監視装置
JP2019168953A (ja) * 2018-03-23 2019-10-03 株式会社豊田中央研究所 状態推定装置及びプログラム
JP2021075295A (ja) 2019-11-07 2021-05-20 福助工業株式会社 艶消し感を有する３層有色フィルム

Also Published As

Publication number Publication date
CN117203667A (zh) 2023-12-08
JP2022169324A (ja) 2022-11-09
US20240144491A1 (en) 2024-05-02
EP4332896A1 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
US10937178B1 (en) Image-based depth data and bounding boxes
CN107235044B (zh) 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法
US11748909B2 (en) Image-based depth data and localization
Song et al. Real-time obstacles detection and status classification for collision warning in a vehicle active safety system
JP2022553491A (ja) 車両ナビゲーション用のシステムおよび方法
US20200331465A1 (en) Vehicle path prediction
US10984543B1 (en) Image-based depth data and relative depth data
KR20210078439A (ko) 카메라 대 lidar 교정 및 검증
US20200282929A1 (en) Sensor validation using semantic segmentation information
CN108896994A (zh) 一种无人驾驶车辆定位方法及设备
JP4956453B2 (ja) 物体検出装置
CN110531376A (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN114072841A (zh) 根据图像使深度精准化
CN114902070A (zh) 传感器退化检测和修复
CN116323364A (zh) 用于车辆运动计划的路点预测和运动预报
GB2608201A (en) Identifying objects using LiDAR
CN116348739A (zh) 基于光线投射和语义类图像的地图生成系统和方法
JP2021082286A (ja) 車線変更の検出を改良するためのシステム、非一時的コンピュータ可読媒体および方法
WO2022091595A1 (ja) 物体追跡装置及び物体追跡方法
WO2022230739A1 (ja) 物体追跡装置
WO2022230738A1 (ja) 物体追跡装置及び物体追跡方法
JP7425223B2 (ja) 物体追跡装置及び物体追跡方法
US20220221585A1 (en) Systems and methods for monitoring lidar sensor health
JP2021008258A (ja) スマートオブジェクトの知識の共有
Li Ros-Based Sensor Fusion and Motion Planning for Autonomous Vehicles: Application to Automated Parkinig System

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22795652

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280031201.0

Country of ref document: CN

Ref document number: 18557520

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022795652

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022795652

Country of ref document: EP

Effective date: 20231127