WO2020152816A1 - 追尾装置および追尾方法 - Google Patents

追尾装置および追尾方法 Download PDF

Info

Publication number
WO2020152816A1
WO2020152816A1 PCT/JP2019/002200 JP2019002200W WO2020152816A1 WO 2020152816 A1 WO2020152816 A1 WO 2020152816A1 JP 2019002200 W JP2019002200 W JP 2019002200W WO 2020152816 A1 WO2020152816 A1 WO 2020152816A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
time
motion state
detected
information
Prior art date
Application number
PCT/JP2019/002200
Other languages
English (en)
French (fr)
Inventor
隆文 永野
広幸 蔦田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2019542637A priority Critical patent/JPWO2020152816A1/ja
Priority to PCT/JP2019/002200 priority patent/WO2020152816A1/ja
Publication of WO2020152816A1 publication Critical patent/WO2020152816A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems

Definitions

  • the present invention relates to a tracking device and a tracking method for detecting and tracking an object.
  • In-vehicle radar that transmits electromagnetic waves and receives the reflected waves to detect objects existing around the vehicle is known.
  • the surrounding objects detected by the in-vehicle radar are, for example, other vehicles (including bicycles and motorcycles), persons, and other obstacles existing around the vehicle.
  • Patent Document 1 discloses a technique of detecting a point on an object as a reflection point using a radar and estimating the size of another vehicle from the variation of the detected reflection point. Have been described. Further, in Patent Document 2, after grouping a plurality of pieces of reflected wave data detected in one detection process into segments, a segment obtained in the current detection process and a segment obtained in the past detection process are grouped. A technique for determining the identity and detecting another vehicle together with vehicle identification information is described.
  • the problem is that we cannot accurately track arbitrary objects that cannot be regarded as points.
  • a plurality of object points may be detected from one object by one detection process.
  • the object point is an arbitrary point on the object.
  • the reflection point detected by using the radar technology is an example of an object point. If multiple object points are detected from one object at the same time, and if each of the detected object points cannot be properly associated with the body object, the number of objects and the position of each object There are problems such as not being able to correctly grasp the object, and not being able to properly separate each object when a plurality of objects approach each other.
  • the position of the detected object point in the object changes each time the detection processing is performed due to a change in the positional relationship between the vehicle and surrounding objects.
  • erroneous processing such as processing the movement as a detection error of the position of the object point or the movement of the object serving as the main body is performed.
  • erroneous processing is performed, naturally, the position accuracy of the object and the separation performance are deteriorated.
  • Patent Document 1 presumes that the detection position of the reflection point varies, and estimates the size of the object using the variation.
  • no consideration is given to how to appropriately associate the object point and the object required in the previous stage in the presence of factors that deteriorate the position accuracy and the separation performance of the object. For example, when a plurality of reflection points having detection position variations are detected from a plurality of close objects, sufficient separation performance cannot be obtained by the method described in Patent Document 1, and the objects cannot be correctly identified. If the object cannot be correctly identified, the tracking realized by continuously estimating the position of the object cannot be performed accurately.
  • the method described in Patent Document 2 presumes that a plurality of reflection points are detected from one object, and sets a plurality of reflected wave data detected by one detection process to a representative position among them. Groups are divided into segments based on the segment range set for.
  • the segment range an example in which a range determined according to the traveling environment of the own vehicle is used in addition to the range determined in advance is shown.
  • the method described in Patent Document 2 associates the groups by determining the identity in segment units after dividing the detection results of each time into groups.
  • Patent Documents 1 and 2 do not disclose a method of appropriately performing such two types of association even in the above situation.
  • the present invention has been made in view of the above-mentioned problems, and an object thereof is to provide a tracking device and a tracking method that can realize tracking of an arbitrary object that cannot be regarded as a point with higher accuracy.
  • the tracking device is information about an object point that is a point on an object around a predetermined observer, and includes object point information including information indicating the position of the object point and information indicating the speed of the object point. And an object point information acquisition unit that detects the object that is associated with the object point based on the object point information, and associates the object points detected at different times with the same object by using the size of the detected object Therefore, an associating unit that determines a belonging object point for each detection time of the object is provided.
  • the tracking method is an object that is information about an object point that is a point on an object around a predetermined observer, and that includes information indicating the position of the object point and information indicating the speed of the object point.
  • tracking of an arbitrary object that cannot be regarded as a point can be realized with higher accuracy.
  • FIG. 3 is a block diagram showing a configuration example of a tracking device according to the first embodiment. It is explanatory drawing which shows the example of object point information. It is a flowchart which shows the example of a more detailed process flow of an association process. It is explanatory drawing which shows the example of object information.
  • 5 is a flowchart showing an example of the operation of the tracking device according to the first embodiment. It is explanatory drawing which shows the outline of a tracking method. It is explanatory drawing which shows the outline of a tracking method.
  • FIG. 6 is a block diagram showing a configuration example of a tracking device according to a second embodiment. It is a block diagram which shows the example of the hardware constitutions of a tracking device.
  • FIG. 9 is a block diagram showing a configuration example of a tracking device according to a third embodiment.
  • 11 is a configuration diagram showing an example of a hardware configuration of a tracking device according to a third embodiment.
  • FIG. 9 is a flowchart showing an example of operation of the tracking device according to the third embodiment.
  • FIG. 1 is a block diagram showing a configuration example of a tracking device 10 according to Embodiment 1 of the present invention.
  • the tracking device 10 shown in FIG. 1 includes a tracking unit 15, an information storage unit 16, and a display unit 17. Note that FIG. 1 also shows the measuring device 18 connected to the tracking device 10.
  • a system including the tracking device 10 and the measuring device 18 may be referred to as a tracking system 100.
  • the function of the tracking device 10 and the function of the measuring device 18 may be provided in one device, and in that case, the device is called the tracking device 10.
  • the attribute of the detected object includes a size item. Note that this denies setting the size of an object that is small enough to be considered as a point to a value of a point, and adding an unknown value to the size of an object for which information necessary for size estimation cannot be obtained. Not a thing.
  • the measuring device 18 is a device that measures the position and speed of an object point existing around a predetermined observer.
  • the measuring device 18 may be, for example, a measuring device that measures the position of an object point existing within a predetermined range and the velocity of the object point by using radar technology and outputs the result.
  • the predetermined observer is the measurement device 18 or a higher-level device (vehicle or the like) equipped with the measurement device 18.
  • the measuring method of the position and speed of the object point in measuring device 18 is not particularly limited.
  • the tracking unit 15 acquires object point information indicating the measurement result of the position and speed of the object point by the measuring device 18, detects an object around a predetermined observer based on the acquired object point information, It is a processing unit that performs tracking processing for tracking after that.
  • the tracking unit 15 includes an object point information acquisition unit 11, an association unit 12, a motion state estimation unit 13, and a dimension estimation unit 14.
  • the object point information acquisition unit 11 acquires object point information.
  • the object point information acquisition unit 11 may acquire, for example, object point information indicating the result each time the measuring device 18 performs measurement, or collects the measurement results of a plurality of times when immediacy is not required for tracking. It is also possible to obtain information on the physical points.
  • the object point information acquired by the object point information acquisition unit 11 is stored in the information storage unit 16.
  • the object point information acquisition unit 11 may store the object point information in the information storage unit 16 after converting the acquired object point information into a data structure and a data format that can be easily processed in the tracking device 10.
  • the conversion of the data structure includes deletion and addition of elements.
  • the object point information acquisition unit 11 may store the acquired object point information in the information storage unit 16 after adding the identifier of each object point and the acquisition time of the object point information. At that time, it is possible to include the information indicating the acquisition time in the identifier of each object point.
  • the acquisition time can be used as a substitute for the detection time when the object point information does not include information indicating the detection time of each object point.
  • the object point information includes information indicating the detection time of each object point.
  • the object point information includes position and speed information for each detected object point.
  • the position of the object point is not limited to the absolute position, but may be a relative position with respect to the observer.
  • the velocity of the object point is not limited to the absolute velocity, but may be the relative velocity or the line-of-sight velocity with respect to the observer.
  • the object point information acquisition unit 11 acquires, for example, as the information indicating the position of the object point, the object point information including the information indicating the distance and azimuth to the object point in the coordinate system having the position of the observer as the origin. In this case, the object point information acquisition unit 11 may calculate the relative position of the object point from the acquired information indicating the distance and the azimuth. Then, the object point information acquisition unit 11 may store the object point information including the information indicating the calculated relative position in the information storage unit 16.
  • FIG. 2 is an explanatory diagram showing an example of object point information stored in the information storage unit 16.
  • the information storage unit 16 stores the object point information including the identifier of the object point detected at the detection time and the information of the position and the speed in association with the detection time.
  • the detection time may be represented by t
  • the object identifier may be represented by pid
  • the position of the object point may be represented by dp
  • the speed of the object may be represented by dv.
  • the measuring process of the measuring device 18 is also the detecting process of the object.
  • the object point is merely an arbitrary point on the object, it is not possible to grasp the position of the object to which the object point belongs, its change, and the dimension by only detecting the object point individually.
  • an object point detection process in order to distinguish the measurement process performed by the measuring device 18 from the “detection process of the entire object”, it may be referred to as an “object point detection process”.
  • an object point belonging to an object may be referred to as an “affiliated object point” with respect to an object.
  • An object to which an object point belongs to a certain object point may be referred to as a "belonging object”.
  • one of the objects to be determined may be a temporary object assuming that only the object points to which the object belongs belong. Is.
  • the belonging object in the identity determination is not limited to the object already detected at the time of the determination. For example, as a result of determining the identity of a newly detected object point with an already detected object, if it is determined that the object point is different from the detected object point, a new object is determined as the object to which the object point belongs. Is defined. In this way, the process of associating an object point with an object can also be referred to as the process of determining the object to which the object point belongs.
  • association result (affiliation relationship) between an object point and an object is not fixed and may change.
  • a plurality of object points detected at the same time may be associated with the same one object.
  • an object can be represented as a one-dimensional area (line), a two-dimensional area (plane) or a three-dimensional area (solid). Therefore, the information indicating the position (estimated position) of the object is preferably information that can specify the position of the object as a line, a surface, or a solid.
  • the information indicating the size of the object is preferably information that can specify the size of the object as a line, a surface, or a solid.
  • the information indicating the position of the object may be, for example, information indicating the position of a predetermined two-dimensional coordinate system or three-dimensional coordinate system.
  • the position may be a representative position (position of a representative point).
  • the position of the object as a line, a surface, or a solid is expressed using the representative position and the size of the object.
  • the information indicating the size of the object may be, for example, information indicating a region of a predetermined two-dimensional coordinate system or a three-dimensional coordinate system, or the length of each coordinate system on each axis.
  • the information indicating the length may be a full length value or an offset with respect to the representative position.
  • the information indicating the area may be a set of information indicating the position of the outer edge or a set of information indicating the length of the side of the outer edge.
  • the information indicating the size of the object may be a value corresponding to a predetermined object shape.
  • the tracking device 10 may determine an object shape on the display (straight line, rectangular shape, cube shape, or the like) in advance, and use the object shape represented by a predetermined coordinate system as the size of the object. Is.
  • the shape of the object is not limited to one, and a plurality of patterns can be defined.
  • the tracking device 10 can also determine the object shape according to the estimation result of the dimensions. For example, when a dimension having a spread in three orthogonal directions is estimated, a cubic shape may be used. Further, for example, when a dimension having a spread only in two orthogonal directions is estimated, the surface shape may be used. Further, for example, when a dimension having a spread in only one direction is estimated, a linear shape may be used. And in the case other than the above, it may be a dot shape.
  • the associating unit 12 performs an associating process for associating an object point with an object.
  • the associating unit 12 associates an object point with an object based on the acquired object point information.
  • the associating unit 12 associates the object points detected at different times with the same object by using the information of the detected object. For example, when the object point is detected at two time points, the associating unit 12 uses the information (including the dimension) of the object to which the object point belongs detected at one time point and is detected at the other time point.
  • the object point may be associated with the object to which it belongs. Thereby, the object point detected at one time point (the belonging object point of the detected object) and the object point detected at the other time point are associated with the same one object.
  • the information of the belonging object may be the motion state of the object at the latest past time point with respect to the other time point to be associated, and the latest dimension of the object.
  • the latest dimension may be a dimension that is the latest estimated value at the time when the association process is performed, regardless of the above two times.
  • the associating unit 12 assigns, for example, an object point detected at the first time point as a target object point, and an object detected at a second time point different from the first time point as a determination object, to which the object point belongs.
  • the object point may be associated with the determination object by determining whether the object is the same as the determination object.
  • the association unit 12 stores the target object point and the determination object in the information storage unit 16 in association with each other.
  • the associating unit 12 may store the information of the target object point in the information storage unit 16 as the information of the belonging object point at the determination time point of the determination object.
  • the target object point and the belonging object point of the determination object at a time other than the first time point are associated with each other as the belonging object point of the same determination object.
  • association unit 12 determines that the object is not the same as any of the objects that are the determination objects as a result of the identity determination, the association unit 12 determines that the object point is not the same. It is also possible to define a new object as the object to which the object belongs and to associate the object point with the new object. In that case, the object point is not associated with any object point at this point, but if a new object point is detected over time, it can be associated with the object point at that point.
  • the association unit 12 may perform the association process by using the detected object point as a target object point.
  • the associating unit 12 determines that the object to which the target object point belongs is an object (determination object) that has been detected at a second time point that is a time point earlier than the first time point that is the detection time point of the target object point. It may be determined whether or not In this example, the first time point is the latest time point and the second time point is a past time point, but the first time point and the second time point are not limited to this.
  • the first time point corresponding to the detection time of the object point (object point) that is the object of identity determination is referred to as “determination point”, and the identity with the object point is determined.
  • the second time point corresponding to the reference destination of the motion state of the determination object may be referred to as “reference time point”.
  • the associating unit 12 can use the information obtained up to the present time (at the time of actually performing the process) for the objects when determining the identity of the belonging objects. For example, as the information of one of the objects to be determined, the information (position, speed, etc.) of the belonging point up to the latest detection time of the object can be used. Further, for example, as the information of one of the objects to be determined, the motion state (position, velocity, acceleration, etc.) and the dimension of the object up to the latest detection time can be used. For example, as the information of the belonging object point and the motion state of the object, not only the information at the target time (the above determination time or the reference time) but also the information at another time can be used. Further, as the size of the object, the size estimated by the size estimating unit 14 described later can be used. Note that the dimensions are not limited to the dimensions estimated at the target time point, and the dimensions estimated at other time points can be used.
  • the associating unit 12 determines that the arbitrary portion of the determination object is the object to which the target object point belongs when it is determined that the probability that the arbitrary portion of the determination object exists at the position of the target object point at the determination time is high. It may be determined that the object is the same object.
  • FIG. 3 is a flowchart showing an example of a more detailed processing flow of the association processing by the association unit 12.
  • the association unit 12 selects one object (judgment object) to be the object of identity determination of the belonging object for a certain object point (step S101).
  • the determination object may be, for example, any of the objects that have been detected within a predetermined period past the first time point (judgment time point) corresponding to the detection time point of the target object point.
  • the reference time point is the latest detection time point past the judgment time point in the detection time point of the judgment object.
  • the associating unit 12 sets the range of the position where the determination object is predicted to exist at the determination time point as the association range based on the motion state of the determination object (including at least the position and velocity) and the dimension of the determination object. It is determined (step S102). For example, the associating unit 12 may determine the size of the association range based on at least the size of the determination object, and may determine the center position of the association range based on at least the motion state of the determination object at the reference time. ..
  • the associating unit 12 determines whether the target object point exists within the associating range at the time of determination (step S103).
  • the associating unit 12 determines that the target object point belongs to the same object and the determination object as the same object. It is set as one of the belonging points at the time of determination (steps S104 and S105).
  • the associating unit 12 stores, for example, the information of the target object point in the information storage unit 16 as one of the belonging object points at the time of determination of the determination object.
  • the associating unit 12 determines that the object to which the target object point belongs and the determination object are not the same object.
  • the determination object is excluded from belonging points at the time of determination (steps S106 and S107). For example, when the information storage unit 16 stores the information of the target object point as one of the belonging object points at the time of determination of the determination object, the associating unit 12 may delete the information.
  • the associating unit 12 determines whether or not the identity determination has been performed for all the determination objects for the object point (step S108). When the identity determination with all the determination objects is completed, the associating process with respect to the target object point ends (Yes in step S108). If the identity determination has not been completed with all the determination objects (No in step S108), the process returns to step S101 and a new determination object may be selected.
  • the above example is an example of the association process when attention is paid to one object point, but in the association process, for example, all the objects detected within a predetermined period are determined as the determination objects, and each determination object is The range of positions predicted to exist at the determination time is determined as the association range, and it is detected at the determination time by determining whether or not the object point detected at the determination time is included in those ranges.
  • the object to which each object point belongs may be determined.
  • one object point may be determined to belong to multiple objects.
  • the associating unit 12 may set all of these objects (objects of affiliation destination candidates) as affiliation destination objects of the target object point, or some of these objects based on a predetermined condition. Any one of the objects may be the belonging object.
  • the determination time point between the belonging target candidate object and the target object point There is a method of calculating the degree of similarity of the exercise state in and determining based on the similarity.
  • the associating unit 12 When it is determined in the association processing that the object to which a certain object point belongs is not the same as any of the determination objects, the associating unit 12 defines a new object and determines the object point as the determination time point of the object. It may be one of the belonging points in. At this time, the associating unit 12 may set a predetermined size (initial value) as the size of the object.
  • the result of the association processing by the association unit 12 is reflected in, for example, the object information stored in the information storage unit 16.
  • the object information may be, for example, information including an identifier, a dimension, a history of belonging object points, and a history of motion states for each detected object.
  • a history about a certain item (item/items) is mentioned, it is assumed to include information on the item at at least one time point.
  • the history may include information on the item at two or more time points.
  • the history of belonging points may be, for example, information of belonging points at each detection time.
  • the exercise state history may be information on the exercise state for each detection time.
  • the information on the belonging object point may be a reference to the object point information such as an identifier of the corresponding object point.
  • the detection time of the object may be the detection time of the belonging object point of the object. Even when the belonging point of the object is not detected, it can be considered that the object exists around the observer as long as the predetermined tracking condition is satisfied. In that case, even when the object point belonging to the object is not detected, the time when the object point detection process is performed while another object point is detected by the object point detection process (other object The point detection time) may be the detection time of each object. Even in that case, if the motion state at the detection time can be estimated from the information of belonging points before and after that time, the information of the motion state at the detection time is registered as the history of the motion state. Good.
  • the history of belonging points and motion states is retained, for example, while the object is being tracked, that is, until the object no longer satisfies the tracking condition. Note that, due to the memory capacity, only the information of a predetermined number of points from the latest point in the tracking period may be held.
  • the tracking condition may be, for example, that after being detected once, the state in which the belonging object point is not detected does not continue for a predetermined time.
  • the associating unit 12 may perform the associating process by referring to the object point information stored in the information storage unit 16 and the object information stored in the information storage unit 16, for example.
  • the motion state in the object information includes at least the position.
  • the object information may be in a mode of holding a motion state including only the position.
  • the motion state in the object information may include position and velocity, and may further include acceleration.
  • the object information includes a motion state (motion state before smoothing) when the motion state at the detection time is sequentially estimated at a timing when a belonging object point is newly detected for one object, and such a sequence.
  • the motion state after smoothing based on the estimated motion state may be included. The smoothing will be described later.
  • the object information may include information necessary for estimating the motion state and size of the object (for example, the standard deviation of the motion state at each detection time, the error covariance, etc.).
  • FIG. 4 is an explanatory diagram showing an example of object information stored in the information storage unit 16.
  • the information storage unit 16 associates the identifier of an object with the information of the belonging object point at each detection time of the object, the motion state that is sequentially estimated, and the motion state after smoothing.
  • Object information including the latest dimensions and the like.
  • the object identifier is oid
  • the information of the belonging object point at a certain point of time is bp (a set having the belonging object point identifier pid as an element)
  • the sequentially estimated motion state is em
  • the smoothed motion state is em′.
  • the dimension may be represented as s.
  • the symbol "" is added to indicate that the smoothing has been performed (the same applies hereinafter).
  • the associating unit 12 can perform the associating process not only at the timing when a new object point is detected but also at an arbitrary timing.
  • the association process may be performed to update the already performed association result (including division and integration of the detected object).
  • the timing when the information of the object used in the past association processing is updated (including addition and deletion of the element and the change of the value), when a user gives an instruction, a certain time passes.
  • the object point detection process is performed a predetermined number of times, and the like.
  • the target object points may be all the object points that are associated with each other by using the information before the update when the information is updated.
  • the object point instructed by the user may be used.
  • the cycle when the instruction from the user is used as a condition, all the object points for which information is currently held may be used, or the object points added in the latest one cycle may be used.
  • the associating unit 12 may update the association result by using the detection result.
  • An example of the detection result is a detection result of an object using an image captured around the observer.
  • the detection result may include information on the attribute determined based on the detection result of the object.
  • the associating unit 12 can set the reference time point to a time point in the future from the determination time point. That is, the associating unit 12 determines, as the determination destination of the object to which the target object point belongs, the second time point (reference time point) corresponding to a time point in the future from the first time point (judgment time point) that is the detection time point of the target object point. ), it is possible to select the already detected object. In that case, the motion state of the object may be predicted in the reverse direction in time series (direction going back in time) to determine the association range. Even in such a case, the size of the association range can be changed according to the size of the determination object (for example, the latest estimated size).
  • the motion state estimating unit 13 estimates a motion state including a position, which is a motion state at each detection time of the detected object, based on the correspondence between the object point and the object indicated by the association by the associating unit 12. Performs motion state estimation processing.
  • the motion state estimated by the motion state estimation processing includes at least the position.
  • the motion state may include the position and the velocity, and may further include the acceleration.
  • target object the object to be estimated is referred to as “target object”.
  • the motion state estimating unit 13 may estimate the motion state of the object associated with the object point at least at the latest detection time. Thereby, the motion state is successively estimated.
  • the motion state estimation unit 13 receives, for example, the determination of the affiliation destination objects of all the object points indicated by the object point information acquired by the object point information acquisition unit 11, and sets each determined affiliation destination object as the target object.
  • the motion state of each target object may be estimated.
  • the motion state to be estimated may be only the motion state at the latest detection time, or may be the motion state at each detection time up to and including the latest detection time.
  • the estimated motion state is stored as a history of the motion state in the object information about the target object.
  • the motion state estimation unit 13 estimates the motion state at the latest detection time as the first estimated value (motion state before smoothing), and then calculates the motion state at each detection time so far including the latest detection time.
  • the second estimated value smoothed motion state
  • the motion state estimation unit 13 may execute the motion state estimation process that specifies the target time point a plurality of times, or the motion state estimation process that estimates the motion state at the latest detection time may be performed.
  • the motion state and the motion state at each detection time after smoothing may be estimated.
  • the motion state estimation unit 13 is not limited to the object to which the newly detected object point belongs, and may set all the objects being tracked at the time when the new object point is detected as the target object. Thus, even if a new belonging object point is not detected in the object being tracked, the motion state of the object can be updated. In that case, the motion state at the latest detection time of the object, which is the estimation result, may be a temporary motion state.
  • the time point (the latest detection time in the above example) that is a target of motion state estimation in the motion state estimation process may be referred to as a target time point.
  • the motion state estimation unit 13 estimates the motion state of the newly detected object (target object) at the latest detection time (target time). At this time, the motion state estimation unit 13 may estimate the motion state at the target time point based only on the information of the belonging object point of the target object at the target time point, but the information obtained up to the present time about the target object. Based on, the motion state at the target time may be estimated. Examples of the information obtained up to the present time about the target object are the size of the target object, the information of the belonging object point and the motion state of the target object other than the target time, and the information obtained from them (standard of the motion state). Deviation, error variance) and the like.
  • the motion state estimation unit 13 can also estimate (including re-estimate) the motion state of an object not only at the timing when a new object point is detected but also at any timing.
  • the timing when the information used in the past motion state estimation processing is updated, when there is an instruction from the user, every time a fixed time elapses, every time the object point detection processing is performed a predetermined number of times, And so on.
  • the target object and the target time point may be all the objects and all the time points estimated using the information before the update when the information is updated.
  • the instruction from the user is used as the condition, the object and the time point designated by the user may be used. If the period is used as a condition, it may be all the objects for which information is currently held and each detection time in that period, or all the objects for which the belonging object point is detected in the latest one cycle. And each detection time in the cycle.
  • the motion state estimation unit 13 when estimating the motion state other than the latest detection time, obtains not only the information on the target object at the current and past time points from the target time point but also the information on the target object at the future time point. It may be used to estimate the motion state at the target time. This includes using the motion states at the detection times before and after that, and using the latest dimension when estimating the motion state at the past detection time.
  • the motion state estimation unit 13 may estimate the smoothed motion state. For example, the motion state estimation unit 13 estimates, as the motion state at the target time point, a motion state in which the change from the motion state at the time points before and after the target time point is smooth, based on the information obtained up to the present time about the target object. May be. At this time, the motion state estimation unit 13 may estimate the motion state using the dimensions of the target object. As an example, the motion state estimation unit 13 can estimate the motion state at each detection time so as to allow a positional displacement equal to or smaller than the size of the object. The motion state estimating unit 13 may estimate the motion state by regarding a change in the position of the target object equal to or smaller than the dimension as a change in the reflection point within the object and not treating it as an estimation error.
  • the size estimating unit 14 performs a size estimating process for estimating the size of the detected object.
  • the object to be estimated is referred to as “target object”.
  • the dimension estimation unit 14 estimates the dimension of the object, for example, based on the information of the object point (affiliated object point) associated with the target object. ..
  • the dimension estimation unit 14 can estimate the dimension of the target object by using the history of the belonging object points of the target object, for example.
  • the dimension estimation unit 14 may estimate the dimension of the target object by statistically processing the information of the belonging object points obtained so far for the target object.
  • the dimension estimation unit 14 calculates, for example, a variation in the detection position of the belonging object point for each detection time, which is indicated by the history of the belonging object point of the target object, and estimates the dimension of the target object based on the calculated variation. May be.
  • the variation in the detected position of the belonging object point may be the variation in the detected position of the belonging object point with respect to the estimated position (the representative position in this case) of the target object that is the belonging destination object.
  • the dimension estimation unit 14 obtains the distance from the position (representative position) of the object at each detection time to the position (detection position) of each belonging object point for the detected object, and the object is calculated based on the obtained distance. May be estimated.
  • the dimension estimation unit 14 may set a predetermined dimension (initial value) when the target object does not have a sufficient history (for example, over two or more time points). For example, the dimension estimating unit 14 sets the dimension of the object A to a predetermined value when the object A is newly detected. In that case, the value may be held in the information storage unit 16 as a temporary dimension. Then, the dimension estimation unit 14 may estimate the dimension of the object A using the above variation when a sufficient history is held as a result of associating a new object point with the object A.
  • a processing unit for example, the association unit 12
  • the dimension estimation unit 14 may set the initial value.
  • the dimension estimation unit 14 can estimate the dimension not only at the timing when a new object point is detected but also at any timing. Examples of the timing are when the information used in the past dimension estimation processing is updated, when there is an instruction from the user, every time a fixed time elapses, every time the object point detection processing is performed a predetermined number of times, etc. Are listed.
  • the target object may be all the objects that are estimated using the information before the update when the information is updated.
  • the instruction from the user is used as a condition, it may be an object designated by the user.
  • the cycle is used as a condition, it may be all the objects for which information is currently held, or the object for which the belonging object point is detected in the latest one cycle.
  • the display unit 17 displays the tracking result based on the information obtained as a result of the processing by the tracking unit 15.
  • the tracking result includes the position or movement trajectory of the detected object at each detection time. Note that the detection result may be only the latest position when there is only one detection time or when the position of the detected object has not changed.
  • the display unit 17 may also display the tracking result including the size of the object.
  • the display unit 17 displays, for example, as the tracking information, the locus of movement of the surrounding object detected by the tracking unit 15 in such a manner that the position at each detection time and the size of the object can be understood.
  • the display unit 17 may plot a position for each detection time in a predetermined coordinate system for the object being tracked, and connect the positions in chronological order to display a locus of movement.
  • the display unit 17 may superimpose and display a display shape (outer edge shape) whose size is adjusted according to the size of the object at the latest position.
  • the display unit 17 can display the locus of movement after plotting the detected position of the belonging object point of the object in addition to the position of the object on a predetermined coordinate system.
  • the display unit 17 may perform such a display while updating the content each time the object point detection process is performed, for example.
  • FIG. 5 is a flowchart showing an example of the operation of tracking device 10 according to the present embodiment.
  • the object point information acquisition unit 11 acquires object point information (step S11).
  • the object point information acquisition unit 11 acquires, for example, the object point information output from the measuring device 18.
  • the observer is the measurement device 18 or a higher-level device (vehicle or the like) equipped with the measurement device 18.
  • the measuring device 18 measures, for example, the position and velocity of an object point existing around the device itself, and outputs the result. There is no particular limitation on the measuring method of the position and speed of the object point around the measuring device 18 itself.
  • the object point information acquired by the object point information acquisition unit 11 is stored in the information storage unit 16 with an object time identifier and an acquisition time, which is the detection time of the object point, as necessary.
  • the associating unit 12 performs the associating process based on the object point information acquired in step S11 (step S12).
  • the associating unit 12 may perform the associating process using each of the object points indicated by the object point information as the target object point.
  • the association result here is reflected in the object information stored in the information storage unit 16.
  • the exercise state estimation unit 13 performs the exercise state estimation process based on the result of the association process of step S12 (step S13).
  • the motion state estimating unit 13 is a motion state including a position of the object, which is a motion state at a time including at least the latest detection time of the detected object, based on the correspondence between the object point and the object indicated by the association. May be estimated.
  • the estimation result of the motion state here is reflected in the object information stored in the information storage unit 16.
  • the dimension estimation unit 14 performs dimension estimation processing based on the result of the association processing in step S12 and the estimation result of the motion state in step S13 (step S14).
  • the size estimating unit 14 may estimate the size of the detected object based on the distance from the position of the detected object to the position of each belonging object point at each detection time.
  • the estimation result of the dimensions is reflected in the object information stored in the information storage unit 16.
  • the display unit 17 displays the tracking result based on the information obtained so far including the result of the series of processing from step S11 to step S14 (step S15).
  • step S15 the process returns to step S11 again to wait for acquisition of new item information. After that, the processing of steps S11 to S15 may be repeated each time the object point information is acquired.
  • the motion state estimation unit 13 may perform re-estimation (smoothing, etc.) of the motion state using the information obtained so far.
  • the motion state estimation unit 13 re-estimates the motion state, for example, using each of the objects registered in the object information as the target object, and any or all of the detection times held in the history of the target object as the target time points. I do.
  • the process can be performed independently of the above series of processes.
  • tracking apparatus 10 may perform the process of step S14 independently of the series of processes described above.
  • the present embodiment it is possible to accurately track an arbitrary object that cannot be regarded as a point.
  • the information of the detected object particularly the dimension, is used.
  • the detected object points are not detected. Can be accurately associated with an object.
  • the motion state including at least the position
  • the size of the detected object based on the result of the association obtained in this way, it is possible to determine an arbitrary point that cannot be regarded as a point. Even if the object is detected, the position and size of the object can be accurately obtained.
  • the information of the object thus estimated is used in the next association process, and the result of the association is used for the estimation or the re-estimation of the information of the object. It can be configured to utilize the updated information to improve association accuracy and estimation accuracy. As a result, more accurate tracking can be performed by continuously performing the object point detection processing.
  • the estimation error can be reduced even in a situation where a plurality of object points are detected from one object or the positions of the detected object points change in the object.
  • the association result can be reviewed such that the object is separated or integrated by using the information of the object obtained by a method other than the detection result of the object point such as image recognition. Therefore, each object can be appropriately separated/integrated even in the situation where a plurality of objects approach each other and then leave each other, so that the objects can be tracked more accurately.
  • the tracking device according to the second embodiment is an example in which the tracking device 10 according to the first embodiment is applied to tracking an object around a vehicle.
  • the tracking device 20 according to the present embodiment is installed in a vehicle that is an observer.
  • the vehicle on which the tracking device 20 is mounted is referred to as the own vehicle.
  • this example is an example in which the vehicle is an observer by including the measuring means 21 corresponding to the measuring device 18 described above. Some or all of the components of the tracking device 20 other than the measuring means 21 may be mounted on other than the vehicle.
  • some or all of the components of the tracking device 20 may be realized by a plurality of information processing devices, circuits, etc.
  • the plurality of information processing devices, circuits, etc. are centrally arranged. It may be distributed or distributed.
  • at least the measuring means 21 may be mounted on the vehicle.
  • the vehicle equipped with the measuring means 21 is referred to as the own vehicle.
  • the measuring unit 21 and the information output unit 27 corresponding to the display unit 17 are mounted on the vehicle.
  • FIGS. 6 and 7 are explanatory views showing the outline of the tracking method.
  • the object tracking method according to the present embodiment will be described with reference to FIGS. 6 and 7.
  • the object to be tracked is assumed to exist on the two-dimensional xy plane.
  • the white circles represent the positions of the detected object points.
  • black diamonds represent estimated positions of detected objects.
  • the black-painted rhombus indicated by the broken line is the position (predicted position) of the object one time after, which is predicted from the motion state of the detected object one time before.
  • an arrow (for example, reference numeral DV2) extending from the detection position of the object point represents a detection speed (for example, line-of-sight velocity) of the object point
  • an arrow for example reference numeral V1 extending from the estimated position of the object is the object. Represents the estimated speed of.
  • a broken-line quadrangle (for example, symbols S1 and S2) surrounding the estimated position of the object represents the size of the object.
  • reference sign DR2 represents a distance (detection distance) with respect to the observer of the object point indicated by reference symbol DP2
  • reference sign D ⁇ 2 represents an azimuth angle with respect to the observer of the object point indicated by reference symbol DP2.
  • a broken line (reference numeral TR1) connecting the positions of the objects represents the locus of the estimated positions of the detected objects.
  • black squares represent smoothed positions (estimated positions) of detected objects.
  • “′′” is added to the symbol to represent the estimated value after smoothing.
  • a broken line (reference numeral TR'1) connecting the positions of the smoothed objects represents the trajectory of the smoothed estimated position of the detected objects.
  • the symbols DP1 and DV1 indicate the position dp (k-1, j) of the object point j, which is one of the belonging object points at the time t k ⁇ 1 of the detected object J, and the visual velocity dv (k ⁇ 1). , J) . Further, it is assumed that the symbols DP2 and DV2 represent the position dp (k,m) of the object point m and the line-of-sight velocity dv (k,m) detected at the time t k .
  • information on the object point xx (object point of pid_xx) detected at the time t is identified by (t, xx) attached to the right shoulder of the information.
  • t indicates an arbitrary time
  • xx indicates an arbitrary detected object point.
  • the symbols P1 and V1 represent the estimated position p (k-1,J) and the estimated velocity v (k-1,J) of the detected object J at time t k-1 . It is also assumed that the symbols P2 and V2 represent the estimated position p (k,J) and the estimated velocity v (k,J) of the object J at time t k-1 . Further, it denotes the size of the estimated object J in the size and the time t k-1 of the object J which code S1 and S2 are estimated at time t k-1.
  • information about the detected object YY (object of oid_YY) at time t is identified by (YY), (t, YY) or (t
  • YY refers to any detected object.
  • t' represents the information at the latest time point among the information used for estimating the information.
  • the estimated position is represented as p (k
  • t' can be omitted.
  • t′ represents the estimated value calculated at time t, regardless of which information was used for the estimation.
  • t can be omitted. In that case, the latest value at that time is shown regardless of which information was used for the estimation.
  • N k object points are detected at time t k .
  • the distance dr of the observer (the vehicle) to the object point which is a reference, azimuth d ⁇ and radial velocity dv r is obtained.
  • the relative position dp (k,m) of the object point m at the time t k is expressed by the equation (1) from dr (k,m) and d ⁇ (k,m) .
  • dp x is the x-component corresponding to the component in the lateral direction of the relative position of the object point relative to the observer (the left-right direction)
  • dp y is the traveling direction of the relative position of the object point relative to the observer of (longitudinal direction) It is the y component corresponding to the component.
  • the first estimation result of the motion state of the detected object J at time t k ⁇ 1 that is, position p (k ⁇ 1
  • the position p and the smoothed position p′ are both representative positions.
  • the first estimation result corresponds to the sequentially estimated motion state before smoothing.
  • the second estimation result described later corresponds to the motion state after smoothing.
  • k-1,J), and the acceleration a which are the first estimation result of the motion state of the object J at time t k-1 (K-1
  • p x is a position component of the object in the x-axis direction
  • py is a position component of the object in the y-axis direction
  • v x is the velocity component of the object in the x-axis direction
  • v y is the velocity component of the object in the y-axis direction
  • a x is the acceleration component of the object in the x-axis direction
  • a y is the acceleration component of the object in the y-axis direction.
  • the dimension s (k-1,J) of the object J estimated at the time t k-1 is expressed by the equation (3).
  • s x is the width of the object (length in the x-axis direction)
  • s y is the depth of the object (length in the y-axis direction).
  • the estimated time and the information of the identifier are attached to the right shoulder, but the dimension may be expressed as s (YY) when the estimated time does not matter, as described above. is there.
  • the object point m detected at time t k as a method of associating a previously detected object J (or its affiliation object point j ⁇ bp (k-1, J) ) at time t k-1 is For example, the following method can be used.
  • k-1 , J) is the position at time t k-1 of the object J p (k-1, J ) and velocity v (k-1, J) Based on, it can be predicted as in Expression (4).
  • ⁇ t is t k ⁇ t k ⁇ 1 . Note that ⁇ t corresponds to the time interval of the object point detection process when the object point detection process is periodically performed.
  • the object point m detected at the time t k is associated with the object J when the evaluation condition shown in Expression (5) is satisfied.
  • represents the absolute value of each element of p
  • ⁇ is a vector for adjusting the association range set in advance.
  • the association range based on the predicted position (code ⁇ ) at the time t k predicted from the estimated position (code P1) at the time t k ⁇ 1 of the object J and the dimension (code S2) are used as references.
  • the object point m (reference numeral DP2) detected at time t k is associated with the object J via (reference numeral ⁇ ).
  • the hatching in the figure indicates that the object point m (reference code DP2) is the object point j of which the object point m (reference code P2) has been detected by utilizing the information of the detected object J (reference code P1), particularly the dimension (reference code S1). It shows a state associated with (reference code DP1).
  • the belonging object point j of the object J at time t k ⁇ 1 is also associated with the object and the belonging object point thereof detected at the past time.
  • the object point having the smallest norm of the vector on the left side of Expression (5) may be associated with the object J, or all the object conditions that satisfy the evaluation condition may be satisfied. May be associated with the object J.
  • the object point after rewriting becomes the representative point of the object J at that time.
  • Rewriting from a plurality of object points to one object point may be performed, for example, by averaging the detection results. More specifically, one object point having a detection result obtained by averaging the detection results of all object points that satisfy the evaluation condition is defined, and the only belonging object point (representative point) of the object J at time t k . May be
  • ⁇ is calculated as in Expression (6), and the correlation is calculated.
  • the range may be variable.
  • the standard deviation may be calculated together with the estimation of the position p (k ⁇ 1
  • the tracking device 20 obtains the motion state of the estimation target and the standard deviations ⁇ x and ⁇ y or the error variances ⁇ x 2 and ⁇ y 2 based on the information of the belonging object point of the object J at the target time. Alternatively, it may be stored in the object information. By doing so, at the next time point, the motion state at the immediately previous time point and the standard deviation or error variance of the position can be used.
  • ⁇ is a predetermined coefficient.
  • the expression (5) is a conditional expression regarding the position
  • a conditional expression regarding the velocity can be further added to the evaluation condition of the association.
  • the above method is premised on that the position p and velocity v at time t k ⁇ 1 , the dimension s, and the standard deviation ⁇ have been obtained for the detected object J.
  • object J is the first time the detected object at time t k-1, i.e. are also associated with any of the object being tracked belongs object point is at time t k-2 at time t k-1 of the object J It may not be. In that case, one may start by estimating the velocity v of the object J at time t k ⁇ 1 .
  • the position p at time t k-1 of the object J may be a representative position obtained from the Member object point of time t k-1 of the object J.
  • the velocity v (k-1,J) of the object J at time t k-1 is estimated.
  • the velocity v (k ⁇ 1,J) of the object J at time t k ⁇ 1 is, for example, the line-of-sight velocity dv r (k ⁇ 1,j ) of the belonging point j of the object J at time t k ⁇ 1 . ) , it can be estimated using equation (7).
  • ⁇ a,b> represents the inner product of a and b
  • represents the size of a.
  • the belonging object point j is a representative point of a plurality of object points when there are a plurality of object points.
  • ⁇ p (k, m, k ⁇ 1, J) which is the difference between the position of the object point and the position of the object J, is expressed by equation (8). If the belonging object point of the object J is only one object point (including the averaged object point), the position dp (k ⁇ 1, j) of one belonging object point j is set as the position of the object J. You may use it as it is.
  • the position p (k-1,J) and the velocity v (k-1,J) of the object J at time t k-1 are obtained, they are associated with the object point m based on the evaluation conditions, as in the above-mentioned method. It may be determined whether or not.
  • the dimension s (k-1,J) of the object J may be set to a predetermined value or zero. Further, in order to make the association more accurate, it may be determined whether or not to associate by using the detection result of the object point detected before the time t k-2 .
  • An extended Kalman filter for example, can be used to estimate the motion state. If the object point m which is detected at time t k, and the previously detected object J at time t k-1 associated, tracking device 20, the time of the object J in the following manner based on the association result t movement in k states em (k
  • the tracking device 20 may detect, for example, the position p (k-1
  • k,J) of the object J at time t k may be estimated using dv r (k,m) .
  • the belonging object point m is a representative point of a plurality of object points when there are a plurality of object points.
  • the extended Kalman filter may be applied by using the state vector as equation (9a), the observation vector as equation (9b), the state equation as equation (9c), and the observation equation as equation (9d).
  • equations (9a) to (9f) the identifier of the object or the object point is omitted in the right-hand bracket, and only the time information is shown. Note that x (k) corresponds to the above em (k, J) .
  • the tracking device 20 uses, for example, an extended Kalman filter to predict the current estimated state vector from the estimated state vector at the previous time, and corrects the current estimated state vector using the current observation vector.
  • the updating step is repeated to estimate the state vector x (k) .
  • the target object whose motion state is estimated may also be the object first detected at time t k ⁇ 1 .
  • k,J) of the object J at time t k are estimated as follows. May be.
  • k, J) is zero.
  • the motion state at the time t k-n (n> 0 ) Re-estimate.
  • the motion state is re-estimated (smoothed) also using the information of the belonging object point at the time corresponding to the future for the time t k-n (for example, the time t k with respect to the time t k -1 ). ..
  • an extended Kalman smoother can be used. Now, using the information on the belonging object points of the object J until time t k , the motion state em′ (kn, J) of the object J at time t kn (n>0) , that is, the position p′ ( Consider estimating kn ,J) , velocity v' (kn,J) and acceleration a' (kn,J) .
  • the time t the position p at time t k over n objects J which is estimated by utilizing the information belongs object point to k '(k-n
  • the extended Kalman filter described above when estimating the motion state at time t k (first estimate), the time t the time reflecting the history of affiliation object point to k-1 t k-1 of the motion state (the Estimated value of 1) and its error covariance matrix can be used for efficient estimation.
  • the smoothed motion state estimate at time t k and its error covariance matrix and the motion state estimate at time t k ⁇ 1 and its error covariance matrix are used.
  • the smoothed motion state estimation value at time t k ⁇ 1 and its error covariance matrix can be estimated. Therefore, in the re-estimation process, the estimated value before smoothing at the latest detection time (first estimated value) and its error covariance matrix are smoothed at the first time (second estimated value).
  • the latest past detection time with respect to the first time is set as the second time.
  • the second estimated value at the second time point is obtained.
  • the process of estimating the value, detection time to time t k to the first time point, t k-1, t k-2, are sequentially executed while going back to the past as .... Thereby, the smoothed motion state can also be estimated efficiently.
  • the following example is an example in which the latest dimension s (k, J) of the object J is further used to re-estimate the motion state of the object J at each detection time.
  • the estimated x (kn ) corresponds to the em' (kn, J) .
  • W is a covariance matrix of w (k)
  • Z is a covariance matrix of z (k) .
  • the size of the object J is estimated by Equation (13) from the history of the estimated position of the object J up to time t k and the history of the detected position of the belonging object point, for example.
  • ⁇ y (k,J) is a set of differences in the x-axis direction between the estimated position of the object J at each detection time up to time t k and the detected position of the belonging object point m, ⁇ y (k,J). Is a set of differences in the y-axis direction (see formula (14a) and formula (14b)).
  • max is a function for extracting the maximum value in the set
  • min is a function for extracting the minimum value in the set.
  • the second term of the formula (13) for obtaining the dimension in each axial direction may be omitted.
  • the estimation error due to the change of the object point in the object is A reduced motion state.
  • the estimated position (see reference symbol P1) of the object J at time t k ⁇ 1 is updated to the position indicated by reference symbol P′1, and the estimated position at time t k (see reference symbol P2) is updated. It is shown that the position has become the position indicated by the reference symbol P'2.
  • the change in the position of the object J is smoothed.
  • the dimensions of the object reference numerals S′1 and S′2 are also updated. It should be noted that the symbols S'1 and S'2 both represent the latest dimension s' (k,J) .
  • FIG. 8 is a block diagram showing a configuration example of tracking device 20 according to the present embodiment.
  • FIG. 9 is a configuration diagram showing an example of the hardware configuration of the tracking device 20 according to the present embodiment. In this configuration, an electromagnetic wave is used as a propagating wave.
  • the tracking device 20 includes a measuring unit 21, an associating unit 22, a motion state estimating unit 23, a dimension estimating unit 24, a motion state re-estimating unit 25, an information storage unit 26, and information. And output means 27.
  • the measuring means 21 corresponds to the measuring device 18 in the first embodiment.
  • the tracking device 20 includes the measuring device 21 corresponding to the measuring device 18, the measuring device 21 also has the function of the object information acquiring unit 11.
  • the associating unit 22 corresponds to the associating unit 12 in the first embodiment.
  • exercise state estimating means 23 and exercise state re-estimating means 25 correspond to exercise state estimating section 13 in the first embodiment.
  • the size estimating means 24 corresponds to the size estimating unit 14 in the first embodiment.
  • the information storage means 26 corresponds to the information storage unit 16 in the first embodiment.
  • the information output means 27 corresponds to the display unit 17 in the first embodiment.
  • the tracking device 20 includes a signal generation unit 1, an amplifier 2, a transmission antenna 3, a reception antenna 4, a mixer 5, a filter 6, an amplifier 7, an A/D converter 8 and a signal processing unit 9. Equipped with. Although illustration is omitted, the tracking device 20 further includes an output device and an information storage device.
  • the measuring unit 21 is a unit that transmits a propagating wave and receives a reflected wave from an object to measure the position of a point (object point) on the surrounding object and the line-of-sight velocity.
  • the measuring means 21 is realized by the signal generating unit 1, the amplifier 2, the transmitting antenna 3, the receiving antenna 4, the mixer 5, the filter 6, the amplifier 7, the A/D converter 8 and the signal processing unit 9.
  • the measuring means 21 measures the respective positions and the line-of-sight velocities of points (object points) on the object at the time when one or more objects reflect the propagating wave by transmitting the propagating wave and receiving the reflected wave from the object. By doing so, one or more object points are detected.
  • the signal generator 1 generates an FMCW signal as a transmission signal.
  • the transmission signal is amplified by the amplifier 2 and transmitted from the transmission antenna 3.
  • the reflected signal is received by the plurality of reception antennas 4.
  • the received signal (reflected signal) is mixed with the transmitted signal by the mixer 5, the unnecessary components are removed by the filter 6, and the beat signal is input to the amplifier 7.
  • the beat signal is amplified by the amplifier 7 and converted into a digital signal by the A/D converter 8.
  • the digital signal is processed by the signal processing unit 9, and the position and speed of the object point are detected.
  • the FMCW signal is illustrated as the transmission signal here, the transmission signal is not limited to this.
  • the associating unit 22 performs the associating process using the above-described associating method.
  • the associating unit 22 may detect the position and speed of the object point (object point) detected at the latest detection time and the latest detected object (for example, one before the latest object point detection time). Using the motion state and the dimension of (detection time of 1), the object point detected at the latest detection time based on the equation (5) and the belonging object point of the detected object are associated as information of the same object.
  • the associating unit 22 determines, for example, the latest estimated value of the estimated values of the motion state of the object calculated by the already-executed motion state estimation process and the size of the object calculated by the already-executed dimension estimation process. Based on the latest estimated value among the estimated values, the association range in which the object detected at the detection time before the latest detection time can exist at the latest detection time is determined, and the determined association range and the latest The object point detected at the latest detection time is associated with the detected object based on the detection value (position of the object point) of the object point detected at the detection time of.
  • the exercise state estimation means 23 performs exercise state estimation processing using the above-described exercise state estimation method. More specifically, the motion state estimating unit 23 uses the information on the object points associated as the same object in the association processing (based on the detected values of the position and velocity of the belonging object point at each detection time of the detected object, the latest The motion state including the estimated value of the position of the object at each detection time up to the detection time is estimated.
  • the motion state estimating unit 23 targets the detected object (the object to which the object point detected by the latest object point detection process belongs) associated with the object point detected at the latest detection time, Using the information (position and speed) of the belonging object point at each detection time from the time of the first detection to the latest detection time, the motion state (estimated value of the position and speed) of the object at each detection time is calculated. Estimate using the extended Kalman filter and the extended Kalman smoother.
  • the exercise state estimation means 23 may obtain the exercise state at each detection time as follows, as an example of improving the efficiency of the arithmetic processing.
  • the motion state estimation unit 23 uses the extended Kalman filter or the like to obtain information about the belonging object point at the latest detection time and the first motion state at the latest past detection time calculated by the already executed process.
  • the first estimated value of the motion state at the latest detection time and the error covariance matrix thereof are calculated based on the estimated value of Eq.
  • the motion state estimation means 23 sets the first estimated value and its error covariance matrix at the latest detection time to the second estimated value and its error covariance matrix at the latest detection time, and sets the latest detection time.
  • the first detection time is the second detection time
  • the latest detection time immediately before the first detection time is the second detection time.
  • the motion state estimating means 23 uses the extended Kalman smoother or the like, and based on the second estimated value at the first time point and its error covariance matrix, the second estimated value at the second time point and its error.
  • the process of calculating the covariance matrix is sequentially executed by tracing back the detection time, which is the first time point, to the past.
  • the motion state estimation means 23 estimates the motion state at the latest detection time, and the latest detection time together with the first estimated value at the latest detection time. This is an example of obtaining the second estimated value at each time up to the time, but the process of obtaining the second estimated value at each time up to the latest detection time (first re-estimation process) is the exercise state
  • the estimation means 25 may perform it.
  • the method used for estimating the motion state does not have to be limited to the extended Kalman filter or the extended Kalman smoother, and the method up to time t k can be calculated based on the history of the position of the belonging object point and the detected value of the gaze velocity up to time t k . It is only necessary to estimate the history of the motion state including the estimated value of the position at each time.
  • Dimension estimation means 24 performs dimension estimation processing using the dimension estimation method described above. For example, the dimension estimation means 24, based on the history of the estimated value of the position of the object estimated by the motion state estimation process and the history of the detected value of the position of the belonging object point of the object detected by the detection process, Estimate the size of an object.
  • the dimension estimating means 24 estimates the dimension of the object using the equation (12) or the like from the difference in the detected position of the belonging object point with respect to the estimated position of the object at each detection time estimated by the motion state estimating means 23. Good.
  • the motion state re-estimation means 25 performs the motion state re-estimation process using the above-mentioned motion state re-estimation method. For example, the motion state re-estimation unit 25 regards the first estimated value at the latest time point and its error covariance matrix as the second estimated value at the first time point and its error covariance matrix at arbitrary timing. Then, the above-mentioned first re-estimation processing may be performed using an extended Kalman smoother or the like. Further, for example, the motion state re-estimation unit 25 may measure the size of the object estimated by the size estimation unit 24 at an arbitrary timing in addition to or in place of the first re-estimation process. The motion state of the object may be re-estimated by using equation (12) or the like so as to allow the positional deviation equal to or smaller than the dimension of the object (second re-estimation processing).
  • the associating unit 22, the motion state estimating unit 23, the dimension estimating unit 24, and the motion state re-estimating unit 25 are realized by the signal processing unit 9. More specifically, the associating unit 22, the motion state estimating unit 23, the size estimating unit 24, and the motion state re-estimating unit 25 include the signal processing unit 9 (more specifically, a processing circuit, a CPU that operates according to a program, or the like. ) Is realized.
  • the information storage means 26 is realized by a memory.
  • the information output means 27 is realized by an output device such as a display.
  • FIG. 10 is a block diagram showing an example of the hardware configuration of the signal processing unit 9 and its peripherals according to the present embodiment.
  • each function of the signal processing unit 9 may be realized by the processing circuit 9a.
  • each function of the signal processing unit 9 may be realized by the processor 9b and the memory 9c.
  • the signal processing unit 9 further includes an external input/output I/F 110 which is an interface for external input/output of various information, an input device 120 such as a mouse and a keyboard, and an output device 130 such as a display via a bus or the like. It may be connected.
  • I/F 110 is an interface for external input/output of various information
  • an input device 120 such as a mouse and a keyboard
  • an output device 130 such as a display via a bus or the like. It may be connected.
  • the tracking device 20 includes at least a processing circuit 9a that is dedicated hardware for realizing the function of the signal processing unit 9 described above, or a processor 9b for realizing the function of the signal processing unit 9 described above and At least a memory 9c is provided.
  • the processing circuit 9a may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof.
  • the processing circuit 9a may realize each function of the signal processing unit 9 (functions of the associating unit 22, the motion state estimating unit 23, the dimension estimating unit 24, and the motion state re-estimating unit 25) or collectively. May be.
  • the processor 9b may be, for example, a CPU (Central Processing Unit, central processing unit, processing unit, arithmetic unit, microprocessor, microcomputer, or DPS) that executes a program stored in the memory.
  • each function of the signal processing unit 9 is realized by software, firmware, or a combination of software and firmware.
  • Software and firmware are described as programs and stored in the memory 9c.
  • the processor 9b realizes each function by reading and executing the program stored in the memory 9c, for example. That is, the tracking device 20 includes a memory 9c for storing a program in which various steps for realizing the function of each unit realized by the signal processing unit 9 are eventually executed. It can also be said that these programs cause a computer to implement the tracking method described above.
  • the memory 9c is, for example, a nonvolatile or volatile semiconductor memory such as a RAM, a ROM, a flash memory, an EPROM, an EEPROM, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, or the like. To do.
  • a nonvolatile or volatile semiconductor memory such as a RAM, a ROM, a flash memory, an EPROM, an EEPROM, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, or the like.
  • each function of the signal processing unit 9 is partially implemented by dedicated hardware (processing circuit 9a or the like) and partially implemented by software or firmware (more specifically, the processor 9b or the like that operates accordingly). It may be realized.
  • the hardware, software, or firmware uses information input via the external input/output I/F 110 and the input device 120, and externally outputs via the external input/output I/F 110 and the output device 130. You can output information, etc.
  • the signal processing unit 9 and thus the tracking device 20 can realize the above-described functions by hardware, software, firmware, or a combination thereof.
  • FIG. 11 is a flowchart showing an example of the operation of the tracking device 20 of this embodiment.
  • the measuring means 21 first performs an object point detection process of detecting the object points by measuring the position and speed of the surrounding object points (step S21).
  • the associating unit 22 performs the associating process (step S22).
  • the motion state estimation means 23 performs a motion state estimation process based on the result of the association process (step S23).
  • the dimension estimation means 24 performs dimension estimation processing (step S24). Then, the motion state re-estimation unit 25 performs the motion state re-estimation process using the dimension estimation result (step S25). The processing of steps S24 and S25 can be performed at any timing.
  • the information output means 27 outputs the tracking result based on the information stored in the information storage means 26 (step S26). After that, a series of processing is repeated.
  • the tracking device of the present embodiment includes a measuring unit 21, an associating unit 22, a motion state estimating unit 23, and a dimension estimating unit 24, and using these units, an object point detecting process, an associating process, The motion state estimation process and the size estimation process are repeated.
  • the associating unit 22 performs association by using the size of one of the objects, so that even if an object point is detected from an object having a plurality of reflection points or an object in which the reflection points change, different points at different times are detected. Object points can be accurately associated with the same object. As a result, high tracking accuracy and separation performance can be realized.
  • the associating unit 22 appropriately changes the associating range in accordance with the latest estimated value of the estimated values of the dimensions of the object calculated by the already performed dimension estimation processing, thereby detecting the detected object. And the object to which the newly detected object point belongs can be more accurately associated.
  • the motion state estimation unit 23 detects a detection process that is newer than the estimation target time point.
  • the estimation error of the history of the estimated value of the position of the object can be reduced.
  • the associating accuracy can be further improved. By repeating such a synergistic effect, higher tracking accuracy and separation performance can be realized.
  • the estimated object size can be used to re-estimate the motion state of the object so as to allow a positional deviation equal to or less than the object size, the estimation accuracy of the motion state is further improved. To be made. As a result, higher tracking accuracy and separation performance can be realized.
  • FIG. 12 is a block diagram showing a configuration example of the tracking device 30 according to the third embodiment of the present invention.
  • the tracking device 30 shown in FIG. 12 is different from the tracking device 20 shown in FIG. 8 in that an image acquisition unit 31, an attribute determination unit 32, and an association evaluation unit 33 are further provided.
  • FIG. 13 is a configuration diagram showing an example of the hardware configuration of the tracking device 30 according to the present embodiment. In the example shown in FIG. 13, a camera 31A is further added to the tracking device 30. The other points are similar to those of the second embodiment.
  • the image acquisition unit 31 is realized by, for example, the camera 31A or an interface with the camera 31A (external input/output I/F 110, etc.).
  • the camera 31A may be included in the tracking device 30 or may be included in a higher-level device of the tracking device 30 (own vehicle as an observer).
  • the attribute determination unit 32 and the association evaluation unit 33 are realized by the signal processing unit 9.
  • the image acquisition unit 31 acquires an image of a surrounding environment including an object around an observer (for example, the vehicle).
  • the attribute determination unit 32 recognizes an object from the image acquired by the image acquisition unit 31 and determines the attribute of the recognized object.
  • the attribute determination unit 32 recognizes an object from the acquired image and determines attributes such as the type and size of the object.
  • a known image processing technique can be used for the method of recognizing an object from an image and the determination of determining the attribute of the recognized object.
  • the association evaluation unit 33 evaluates the current association based on the object recognized by the attribute determination unit 32 and the attribute thereof, and if necessary, the object defined in the object information (associated with the object point by the association unit 22). Object that is being tracked and is being tracked). When the object recognized from the image and the attribute thereof are inconsistent with the object (the object being tracked) to which the object point detected by the object point detection processing belongs and the attribute thereof, the association evaluation unit 33 is tracking the object. Split or combine the objects in. For example, when the dimension indicated by the attribute of the object recognized from the image conflicts with the dimension of the object being tracked, the association evaluation unit 33 divides the object being tracked based on the attribute of the object recognized from the image. Or it may be integrated.
  • the object points existing in the area after the division are set as belonging object points of the object after the division, and the motion of each object after the division is performed.
  • the information may be carried over by re-estimating the condition and dimensions.
  • the union of the belonging object points of each object before the integration is set as the belonging object point of the object after the integration, and the motion state and size of the object are re-estimated. By doing so, the information may be taken over.
  • processing is performed based on the updated object information.
  • FIG. 14 is a flowchart showing an example of the operation of tracking device 30 of the present embodiment. Note that, in FIG. 14, description of the same operation as that of the second embodiment is omitted.
  • the attribute determination unit 32 recognizes the object from the image and determines the attribute of the recognized object (steps S31 and S32). ..
  • the association evaluation unit 33 evaluates the current association based on the object recognized by the attribute determination unit 32 and the attribute thereof, and divides or integrates the tracked object as necessary (step S33).
  • the object recognized from the image captured by the camera and the attribute thereof are used to obtain the current association (and the information of the object being tracked defined thereby). ) Can be evaluated and the object being tracked can be divided or integrated as needed, so that the object can be separated and tracked with higher accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

点と見なせない任意の物体のより高精度な追尾を実現する。　追尾装置は、所定の観測者の周囲に存在する物体上の点である物点に関する情報であって、物点の位置を示す情報と、物点の速度を示す情報とを含む物点情報を取得する物点情報取得部と、物点情報に基づき、物点と関連付けられる物体を検出するとともに、検出済みの物体の寸法を利用して異なる時点に検出された物点を同じ物体に関連付けることにより、物体の検出時刻ごとの所属物点を定める関連付け部とを備える。

Description

追尾装置および追尾方法
　本発明は、物体を検出して追尾する追尾装置および追尾方法に関する。
　電磁波を送信し、その反射波を受信して自車両の周囲に存在する物体を検出する車載レーダーが知られている。車載レーダーが検出する周囲物体は、例えば、自車両の周囲に存在する他車両（自転車およびバイクを含む）、人物、その他の障害物である。
　自車両と周囲物体との距離が近い場合、周囲物体は、レーダー上で点と見なせない物体となる。点と見なせない物体を検出する技術に関して、特許文献１には、レーダーを用いて物体上の点を反射点として検出し、検出された反射点のばらつきから他車両のサイズを推定する技術が記載されている。また、特許文献２には、１回の検出処理で検出される複数の反射波データをセグメントにグルーピングした上で、今回の検出処理で得られたセグメントと過去の検出処理で得られたセグメントの同一性を判別して、車両の識別情報とともに他車両を検出する技術が記載されている。
特開２０１４－２０１２号公報 特開２０１０－２６６２２５号公報
　課題は、点と見なせない任意の物体を精度よく追尾できないことである。例えば、点と見なせない物体を追尾対象とした場合、１回の検出処理で１つの物体から複数の物点（object-point）が検出される場合がある。ここで、物点とは、物体上の任意の点である。なお、レーダー技術を利用して検出される反射点は物点の一例である。同一時刻に１つの物体から複数の物点が検出された場合に、検出された複数の物点の各々を本体とされる物体と適切に関連付けることができないと、物体の数および各物体の位置を正しく把握できない、複数の物体が近接する場合に各物体を適切に分離できないなどの問題が生じる。
　また、例えば、点と見なせない物体を追尾対象とした場合、自車両と周囲物体の位置関係の変化等により、検出処理を行う度に、検出される物点の物体内での位置が変化する場合がある。そのような場合に、物点の物体内の移動を認識できないと、該移動を物点の位置の検出誤差として処理したり、本体とされる物体の移動として処理したりするなど誤った処理をする問題がある。そのような誤った処理がされると、当然、物体の位置精度および分離性能の低下を招く。
　これら２つの現象（１つの物体から複数の物点が検出されること、および１つの物体内で検出される物点の位置が変化すること）は同時に生じうるために、物点と物体の関連付けをより困難にし、物体の位置精度および分離性能を低下させる大きな要因となっていた。
　なお、特許文献１に記載の方法は、反射点の検出位置にばらつきが生じることを前提に、該ばらつきを利用して物体のサイズを推定している。しかし、特許文献１では、その前段階で必要とされる物点と物体の関連付けを、物体の位置精度および分離性能を低下させる要因がある中でいかに適切に行うかについて何ら考慮されていない。例えば、近接する複数の物体から検出位置のばらつきを有する複数の反射点が検出された場合、特許文献１に記載の方法では十分な分離性能が得られず、物体を正しく同定できない。物体を正しく同定できないと、物体の位置を継続して推定することで実現される追尾を精度よく行うことができない。
　また、特許文献２に記載の方法は、１つの物体から複数の反射点が検出されることを前提に、１回の検出処理で検出される複数の反射波データを、その中の代表の位置に対して設定されたセグメント範囲に基づきセグメントにグループ分けしている。なお、セグメント範囲として、予め決定された範囲以外に、自車両の走行環境に応じて決定された範囲を用いる例が示されている。しかし、特許文献２に記載の方法は、各回の検出結果をグループ分けした後に、セグメント単位で同一性を判断することで、グループ同士を関連付けている。そこには、任意の物体が周囲にある環境下で、それら物体内の位置にばらつきをもって検出される複数の反射波データをいかに適切にグループ分けするか、またそのようなばらつきを有する反射波データを含むグループ同士で同一性判定を行うかについて何ら考慮されていない。例えば、近接する複数の物体から物体内での検出位置にばらつきを有する複数の反射波データが検出された場合、特許文献２に記載の方法も十分な分離性能が得られず、物体を正しく同定できない。
　点と見なせない任意の物体を精度よく追尾するためには、上述したような現象が生じる状況下でも、同一時刻において検出された物点同士を適切に同じ物体と関連付けるとともに、時系列方向において異なる物点同士を適切に同じ物体と関連付ける必要がある。しかし、特許文献１，２は、このような２種類の関連付けを上記状況下でも適切に行う方法については開示していない。
　本発明は、上述した課題に鑑みて、点と見なせない任意の物体の追尾をより高精度に実現できる追尾装置および追尾方法を提供することを目的とする。
　本発明による追尾装置は、所定の観測者の周囲の物体上の点である物点に関する情報であって、物点の位置を示す情報と、物点の速度を示す情報とを含む物点情報を取得する物点情報取得部と、物点情報に基づき、物点と関連付けられる物体を検出するとともに、検出済みの物体の寸法を利用して異なる時点に検出された物点を同じ物体と関連付けることにより物体の検出時刻ごとの所属物点を定める関連付け部とを備えることを特徴とする。
　また、本発明による追尾方法は、所定の観測者の周囲の物体上の点である物点に関する情報であって、物点の位置を示す情報と、物点の速度を示す情報とを含む物点情報を取得するステップと、物点情報に基づき、物点と関連付けられる物体を検出するとともに、検出済みの物体の寸法を利用して異なる時点に検出された物点を同じ物体に関連付けることにより物体の検出時刻ごとの所属物点を定めるステップとを含むことを特徴とする。
　本発明によれば、点と見なせない任意の物体の追尾をより高精度に実現できる。
実施の形態１に係る追尾装置の構成例を示すブロック図である。 物点情報の例を示す説明図である。 関連付け処理のより詳細な処理フローの例を示すフローチャートである。 物体情報の例を示す説明図である。 実施の形態１に係る追尾装置の動作の一例を示すフローチャートである。 追尾方法の概略を示す説明図である。 追尾方法の概略を示す説明図である。 実施の形態２に係る追尾装置の構成例を示すブロック図である。 追尾装置のハードウェア構成の例を示す構成図である。 信号処理部のハードウェア構成の例を示す構成図である。 実施の形態２に係る追尾装置の動作の一例を示すフローチャートである。 実施の形態３に係る追尾装置の構成例を示すブロック図である。 実施の形態３に係る追尾装置のハードウェア構成の例を示す構成図である。 実施の形態３に係る追尾装置の動作の一例を示すフローチャートである。
実施の形態１．
　以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の実施の形態１に係る追尾装置１０の構成例を示すブロック図である。図１に示す追尾装置１０は、追尾部１５と、情報記憶部１６と、表示部１７とを備える。なお、図１には、追尾装置１０と接続される計測装置１８も併せて示している。以下、追尾装置１０と計測装置１８とを含むシステムを追尾システム１００と呼ぶ場合がある。なお、追尾システム１００において、追尾装置１０の機能と計測装置１８の機能とが１つの装置に具備されていてもよく、その場合は該装置を追尾装置１０と呼ぶ。
　本実施の形態では、追尾対象の物体として、大きさを無視できない移動体を想定している。したがって、検出された物体の属性には寸法（size）の項目が含まれる。なお、このことは、実際に点と見なせるほど小さい物体の寸法を点程度の値に設定すること、および寸法推定に必要な情報が得られない物体の寸法に不明な旨を付すことを否定するものではない。
　計測装置１８は、所定の観測者の周囲に存在する物点の位置および速度を計測する装置である。計測装置１８は、例えば、レーダー技術を利用して自装置から所定の範囲内に存在する物点の位置およびその物点の速度を計測してその結果を出力する計測装置であってもよい。その場合、所定の観測者は、当該計測装置１８または当該計測装置１８を搭載した上位装置（車両等）とされる。本実施の形態において、計測装置１８における物点の位置および速度の計測方法は特に限定されない。
　追尾部１５は、計測装置１８による物点の位置および速度の計測結果を示す物点情報を取得して、取得された物点情報に基づき、所定の観測者の周囲の物体を検出して、その後追尾する追尾処理を行う処理部である。本例において、追尾部１５は、物点情報取得部１１と、関連付け部１２と、運動状態推定部１３と、寸法推定部１４とを含む。
　物点情報取得部１１は、物点情報を取得する。物点情報取得部１１は、例えば、計測装置１８が計測を行うごとにその結果を示す物点情報を取得してもよいし、追尾に即時性が要求されない場合は複数回の計測結果をまとめた物点情報を取得してもよい。物点情報取得部１１が取得した物点情報は、情報記憶部１６に記憶される。
　物点情報取得部１１は、取得した物点情報を追尾装置１０内で処理しやすいデータ構造およびデータ形式に変換した上で、情報記憶部１６に記憶してもよい。ここで、データ構造の変換には、要素の削除および追加が含まれる。一例として、物点情報取得部１１は、取得した物点情報に、各物点の識別子や、物点情報の取得時刻を付した上で、情報記憶部１６に記憶してもよい。その際、各物点の識別子に取得時刻を示す情報を含ませることも可能である。取得時刻は、物点情報に各物点の検出時刻を示す情報が含まれていない場合に、検出時刻の代わりとして使用できる。ただし、複数回の検出結果をまとめた物点情報を取得する場合は、該物点情報に各物点の検出時刻を示す情報が含まれているものとする。
　物点情報は、検出された各物点について、位置および速度の情報を含む。ここで、物点の位置は、絶対位置に限らず、観測者に対する相対位置でもよい。また、物点の速度は、絶対速度に限らず、観測者に対する相対速度または視線速度でもよい。
　物点情報取得部１１は、例えば、物点の位置を示す情報として、観測者の位置を原点とする座標系における物点までの距離および方位を示す情報を含む物点情報を取得する。この場合に、物点情報取得部１１は、取得した距離および方位を示す情報から物点の相対位置を算出してもよい。そして、物点情報取得部１１は、算出した相対位置を示す情報を含む物点情報を情報記憶部１６に記憶してもよい。
　図２は、情報記憶部１６に記憶される物点情報の例を示す説明図である。図２に示す例では、情報記憶部１６は、検出時刻に対応づけて、その検出時刻に検出された物点の識別子、位置および速度の情報を含む物点情報を記憶する。以下、検出時刻をｔ、物点の識別子をｐｉｄ、物点の位置（検出位置）をｄｐ、物体の速度（検出速度）をｄｖと表す場合がある。
　計測装置１８によってある物点の位置および速度が計測されると、その検出時刻において、その物点が属する物体（より具体的には、そのうちのある部位）が少なくともその位置に存在し、かつその位置においてその速度を有していたことがわかる。したがって、計測装置１８の計測処理は物体の検出処理でもある。ただし、物点はあくまで物体上の任意の点でしかないため、物点を個々に検出するだけでは、その物点が属する物体全体としての位置およびその変化並びに寸法を把握できない。以下、計測装置１８による計測処理を「物体全体の検出処理」と区別するために、「物点検出処理」と呼ぶ場合がある。
　本実施の形態では、検出された各物点と関連付けられる物体を検出するだけでなく、異なる時点に検出された物点をその所属先物体の同一性に基づき同じ物体と関連付けることにより、検出済みの物体について検出時刻ごとの所属物点を定める。そして、このような関連付けの結果示される物点と物体との対応関係（より具体的には、検出済みの物体の検出時刻ごとの所属物点の情報）を利用して、一度検出された物体について、その位置を含む運動状態および寸法の高精度の推定を可能にする。以下、ある物体に対してその物体に属する物点を「所属物点」と呼ぶ場合がある。また、ある物点に対してその物点が属する物体を「所属先物体」と呼ぶ場合がある。
　なお、複数の時点にまたがる物点同士の所属先物体の同一性判定において、判定対象とする一方の物体を、所属先が未知の物点のみが属すると仮定した仮の物体とすることも可能である。換言すると、同一性判定における所属先物体は、判定時点において検出済みの物体に限定されない。例えば、新たに検出された物点に対して検出済みの物体との間で同一性判定を行った結果、いずれの物体とも異なると判定された場合、該物点の所属先物体として新たな物体が定義される。このように、物点と物体の関連付け処理は、物点の所属先物体の決定処理ということもできる。
　なお、物点と物体の関連付け結果（所属関係）は固定的なものではなく、変更される場合もある。また、同じ時刻に検出された複数の物点が同じ１つの物体に関連付けられる場合もある。なお、その場合において、その物体の所属物点としてそれら複数の物点を統合した新たな物点（代表物点）を定義することも可能である。
　本実施の形態において、物体は、一次元の領域（線）、二次元の領域（面）または三次元の領域（立体）として表現されうる。したがって、物体の位置（推定位置）を示す情報は、線、面または立体としての物体の位置を特定可能な情報であると好ましい。また、物体の寸法を示す情報は、線、面または立体としての物体の寸法を特定可能な情報であると好ましい。
　物体の位置を示す情報は、例えば、所定の２次元座標系または３次元座標系の位置を示す情報であってもよい。ここで、位置は、代表位置（代表点の位置）でもよい。その場合、線、面または立体としての物体の位置（物体の占有場所）は、物体の代表位置と寸法とを用いて表現される。
　物体の寸法を示す情報は、例えば、所定の２次元座標系または３次元座標系の領域、もしくはそれら座標系の各軸上での長さを示す情報であってもよい。ここで、長さを示す情報は、全長値でもよいし、代表位置に対するオフセットでもよい。また、領域を示す情報は、外縁の位置を示す情報の集合または外縁の辺の長さを示す情報の集合でもよい。
　なお、物体の寸法を示す情報は、予め定められた物体形状に対応した値でもよい。例えば、追尾装置１０は、表示上の物体形状（直線状、矩形状または立方体形状等）を予め定めておき、該物体形状を所定の座標系で表現したものを物体の寸法として用いることも可能である。物体形状は１つに限定されず、複数パターンを定めることも可能である。なお、追尾装置１０は、寸法の推定結果に応じて物体形状を定めることも可能である。例えば、直交する３方向に広がりを有する寸法が推定された場合は立方体形状としてもよい。また、例えば、直交する２方向にのみ広がりを有する寸法が推定された場合は、面形状としてもよい。また、例えば、一方向にのみ広がりを有する寸法が推定された場合は線形状としてもよい。そして、上記以外の場合は点形状としてもよい。
　関連付け部１２は、物点と物体を関連付ける関連付け処理を行う。関連付け部１２は、取得された物点情報に基づいて、物点と物体を関連付ける。その際、関連付け部１２は、検出済みの物体の情報を利用して、異なる時点に検出された物点を同じ物体に関連付ける。関連付け部１２は、例えば、２つの時点で物点が検出された場合、一方の時点に検出された物点の所属先物体の情報（寸法を含む）を利用して、他方の時点に検出された物点をその所属先物体に関連付けてもよい。これにより、一方の時点において検出された物点（検出済みの物体の所属物点）と、他方の時点に検出された物点とがそれぞれ同じ１つの物体に関連付けられる。ここで、所属先物体の情報は、関連付けの対象とされる他方の時点に対して直近の過去の時点における該物体の運動状態と、該物体の最新の寸法とであってもよい。なお、最新の寸法は、上記の２つの時点に関わらず、関連付け処理を行う時点において最新の推定値とされる寸法であってもよい。
　関連付け部１２は、例えば、第１の時点において検出された物点を対象物点とし、第１の時点とは異なる第２の時点において検出済みの物体を判定物体として、対象物点の所属先物体が判定物体と同一か否かを判定することにより、対象物点を判定物体と関連付けてもよい。その場合において、関連付け部１２は、例えば、対象物点の所属先物体と判定物体とが同一と判定された場合、対象物点と判定物体とを対応付けて情報記憶部１６に記憶する。例えば、関連付け部１２は、対象物点の情報を、判定物体の判定時点における所属物点の情報として情報記憶部１６に記憶してもよい。これにより、対象物点と、判定物体の第１の時点以外の時点における所属物点とが、同一の判定物体の所属物点として関連付けられる。
　また、関連付け部１２は、ある対象物点に対して判定物体とされるすべての物体との間で同一性判定を行った結果、いずれの物体とも同一でないと判定された場合、該対象物点の所属先物体として新たな物体を定義して、対象物点とその新たな物体とを関連付けてもよい。その場合、この時点において、対象物点はいずれの物点とも関連付けられないが、時を経て新たに物点が検出されれば、その時点の物点と関連付けられうる。
　関連付け処理のタイミングとして、関連付け部１２は、新たな物点が検出されると、検出された物点を対象物点として関連付け処理を行ってもよい。その場合において、関連付け部１２は、対象物点の所属先物体が、対象物点の検出時刻である第１の時点よりも過去の時点である第２の時点において検出済みの物体（判定物体）と同一か否かを判定してもよい。なお、本例は、第１の時点が最新の時点であり、第２の時点が過去の時点であるが、第１の時点および第２の時点はこの限りではない。以下、関連付け処理において、同一性の判定対象とされる物点（対象物点）の検出時刻に相当する第１の時点を「判定時点」といい、対象物点との間で同一性を判定される判定物体の運動状態の参照先に相当する第２の時点を「参照時点」という場合がある。
　関連付け部１２は、所属先物体の同一性を判定する際に、それら物体について現時点（実際に処理を行う時点）までに得られた情報を利用できる。例えば、判定対象の一方の物体の情報として、該物体の最新の検出時刻までの所属物点の情報（位置および速度等）を利用できる。また、例えば、判定対象の一方の物体の情報として、該物体の最新の検出時刻までの運動状態（位置、速度および加速度等）および寸法を利用できる。例えば、所属物点の情報および物体の運動状態として、対象とした時点（上記の判定時点または参照時点）の情報だけでなく、他の時点の情報を利用できる。また、物体の寸法として、後述する寸法推定部１４によって推定された寸法を利用できる。なお、寸法についても、対象とした時点において推定された寸法に限らず、他の時点において推定された寸法を利用できる。
　関連付け部１２は、このような情報に基づき、判定物体の任意の部位が、判定時点において対象物点の位置に存在する蓋然性が高いと判断される場合に、対象物点の所属先物体と判定物体とは同一物体であると判定してもよい。
　図３は、関連付け部１２による関連付け処理のより詳細な処理フローの一例を示すフローチャートである。図３に示す例では、まず、関連付け部１２は、ある対象物点に対して、所属先物体の同一性判定の対象とする物体（判定物体）を１つ選択する（ステップＳ１０１）。判定物体は、例えば、対象物点の検出時刻に相当する第１の時点（判定時点）よりも過去の所定期間内において検出済みの物体のいずれかであってもよい。その場合において、参照時点は、判定物体の検出時刻において判定時点より過去の直近の検出時刻とされる。
　次に、関連付け部１２は、判定物体の運動状態（少なくとも位置と速度とを含む）と判定物体の寸法とに基づいて、判定物体が判定時点において存在すると予測される位置の範囲を関連付け範囲として決定する（ステップＳ１０２）。例えば、関連付け部１２は、少なくとも判定物体の寸法に基づいて、関連付け範囲の大きさを決定するとともに、判定物体の少なくとも参照時点における運動状態に基づいて、関連付け範囲の中心位置を決定してもよい。
　関連付け範囲を決定すると、関連付け部１２は、判定時点において対象物点が関連付け範囲内に存在しているか否かを判定する（ステップＳ１０３）。
　対象物点が関連付け範囲内に存在している場合（ステップＳ１０３のＹｅｓ）、関連付け部１２は、対象物点の所属先物体と判定物体とは同一の物体であるとして、対象物点を判定物体の判定時点における所属物点の１つとする（ステップＳ１０４、Ｓ１０５）。関連付け部１２は、例えば、対象物点の情報を、判定物体の判定時点における所属物点の１つとして情報記憶部１６に記憶する。
　一方、対象物点が関連付け範囲内に存在していない場合（ステップＳ１０３のＮｏ）、関連付け部１２は、対象物点の所属先物体と判定物体は非同一の物体であるとして、対象物点を判定物体の判定時点における所属物点から除外する（ステップＳ１０６，Ｓ１０７）。関連付け部１２は、例えば、判定物体の判定時点における所属物点の１つとして対象物点の情報が情報記憶部１６に記憶されている場合、その情報を削除してもよい。
　このような関連付け処理を、１つの対象物点につき、判定物体として選択されうるすべての物体に対して行う。例えば、関連付け部１２は、対象物点に対して、すべての判定物体との間で同一性判定を行ったか否かを判定する（ステップＳ１０８）。すべての判定物体との間で同一性判定が完了すると、当該対象物点に対する関連付け処理を終了する（ステップＳ１０８のＹｅｓ）。すべての判定物体との間で同一性判定が完了していなければ（ステップＳ１０８のＮｏ）、ステップＳ１０１に戻って新たな判定物体を選択すればよい。なお、上記の例は、１つの対象物点に着目した場合の関連付け処理の例であるが、関連付け処理では、例えば、所定期間内において検出されたすべての物体を判定物体として、各判定物体が判定時点において存在すると予測される位置の範囲を関連付け範囲として決定し、それらの範囲内に、判定時点に検出された物点が含まれるか否かを判定することで、判定時点に検出された各物点の所属先物体を決定してもよい。
　なお、このような関連付け処理の結果、１つの物点が複数の物体の所属物点であると判定されることもありうる。そのような場合、関連付け部１２は、それらすべての物体（所属先候補の物体）を対象物点の所属先物体としてもよいし、所定の条件に基づいてそれら物体のうちの一部の物体またはいずれか１つの物体を所属先物体としてもよい。複数の所属先候補の物体の中から所属先物体を決定する方法としては、例えば、対象物点の速度の情報をさらに利用して、所属先候補の物体と対象物点との間で判定時点における運動状態の類似度を算出し、その類似に基づき、決定する方法が挙げられる。
　なお、関連付け部１２は、関連付け処理で、ある対象物点の所属先物体がいずれの判定物体とも同一でないと判定された場合、新たな物体を定義して、対象物点をその物体の判定時点における所属物点の１つとしてもよい。このとき、関連付け部１２は、当該物体の寸法として、予め定められた寸法（初期値）を設定してもよい。
　関連付け部１２による関連付け処理の結果は、例えば、情報記憶部１６に記憶される物体情報に反映される。物体情報は、例えば、検出された物体ごとに、識別子と、寸法と、所属物点の履歴と、運動状態の履歴とを含む情報であってもよい。以下、ある項目（item/items）について履歴といった場合、少なくとも１つの時点におけるその項目の情報を含むものとする。なお、履歴は、２以上の時点におけるその項目の情報を含んでいてもよい。
　所属物点の履歴は、例えば、検出時刻ごとの所属物点の情報であってもよい。また、運動状態の履歴は、検出時刻ごとの運動状態の情報であってもよい。また、所属物点の情報は、例えば、該当する物点の識別子など、物点情報への参照であってもよい。ここで、物体の検出時刻は、その物体の所属物点の検出時刻としてもよい。なお、その物体の所属物点が検出されない場合であっても、所定の追尾条件を満たしている間はその物体が観測者の周囲に存在しているとみなすことも可能である。その場合、その物体の所属物点が検出されていない場合であっても、物点検出処理により他の物点が検出されている間、その物点検出処理が行われた時刻（他の物点の検出時刻）を、各物体の検出時刻としてもよい。なお、その場合においても、その前後の時点における所属物点の情報等から当該検出時刻における運動状態が推定できた場合には、運動状態の履歴として当該検出時刻における運動状態の情報を登録してもよい。
　所属物点および運動状態の履歴は、例えば、その物体の追尾中の間すなわちその物体が追尾条件を満たさなくなるまでの間、保持される。なお、メモリ容量の関係で、追尾中の期間のうち最新の時点から所定数分の時点の情報のみが保持されてもよい。追尾条件は、例えば、一度検出された後、所属物点が未検出の状態が所定の時間継続されないこと、等であってもよい。関連付け部１２は、例えば、情報記憶部１６に記憶されている物点情報と、情報記憶部１６に記憶されている物体情報とを参照して、関連付け処理を行ってもよい。
　物体情報における運動状態は、少なくとも位置を含む。例えば、位置の履歴から必要に応じて速度および加速度を算出する場合、物体情報は、位置のみを含む運動状態を保持する態様であってもよい。物体情報における運動状態は、位置と速度とを含んでいてもよく、さらに加速度を含んでいてもよい。また、物体情報は、１つの物体について、所属物点が新たに検出されたタイミングでその検出時刻における運動状態を逐次推定したときの運動状態（平滑化前の運動状態）と、そのような逐次推定した運動状態を基に平滑化した後の運動状態とを含んでいてもよい。なお、平滑化については後述する。また、物体情報は、上記以外にも、物体の運動状態および寸法の推定に必要な情報（例えば、各検出時刻における運動状態の標準偏差、誤差共分散等）を含んでいてもよい。
　図４は、情報記憶部１６に記憶される物体情報の例を示す説明図である。図４に示す例では、情報記憶部１６は、物体の識別子と対応づけて、その物体の検出時刻ごとの所属物点の情報と、逐次推定された運動状態と、平滑化後の運動状態と、最新の寸法とを含む物体情報を記憶する。以下、物体の識別子をｏｉｄ、ある時点の所属物点の情報をｂｐ（所属物点の識別子ｐｉｄを要素に持つ集合）、逐次推定された運動状態をｅｍ、平滑化後の運動状態をｅｍ’、寸法をｓと表す場合がある。なお、記号に“’”を付すことによって平滑化後であることを表している（以下同様）。
　なお、関連付け部１２は、新たに物点が検出されたタイミングだけでなく、任意のタイミングで、関連付け処理を行うことができる。その場合、関連付け処理で、既に行われた関連付け結果の更新（検出済みの物体の分割および統合を含む）を行ってもよい。タイミングの例としては、過去の関連付け処理で用いた物体の情報が更新（要素の追加および削除、並びに値の変更を含む）されたとき、ユーザからの指示があったとき、一定時間が経過するごと、物点検出処理が所定の回数行われるごと、などが挙げられる。この場合における対象物点は、情報の更新を条件にする場合は更新前の情報を用いて関連付けを行ったすべての物点であってもよい。また、ユーザからの指示を条件にする場合はユーザから指示された物点であってもよい。また、周期を条件にする場合は現時点で情報を保持しているすべての物点であってもよいし、直近の一周期において追加された物点であってもよい。
　また、関連付け部１２は、例えば、物点を検出する以外の方法による物体の検出結果を取得可能な場合、該検出結果を利用して、関連付け結果を更新してもよい。該検出結果の例としては、観測者の周囲を撮影した画像等を用いた物体の検出結果が挙げられる。なお、該検出結果には、物体の検出結果に基づいて判別された属性の情報が含まれていてもよい。
　関連付け部１２は、関連付け処理において、参照時点を、判定時点よりも未来の時点に設定することも可能である。すなわち、関連付け部１２は、対象物点の所属先物体の判定先として、対象物点の検出時刻である第１の時点（判定時点）よりも未来の時点に相当する第２の時点（参照時点）において検出済みの物体を選定できる。その場合、物体の運動状態を時系列上の逆向き（時間を遡る向き）に予測して、関連付け範囲を決定すればよい。なお、その場合においても、関連付け範囲の大きさは、判定物体の寸法（例えば、直近に推定された最新の寸法）に応じて変更されうる。
　運動状態推定部１３は、関連付け部１２による関連付けの結果示される物点と物体との対応関係に基づいて、検出済みの物体の検出時刻ごとの運動状態であって位置を含む運動状態を推定する運動状態推定処理を行う。運動状態推定処理で推定する運動状態は、少なくとも位置を含む。なお、該運動状態は、位置と速度とを含んでいてもよく、さらに加速度を含んでいてもよい。以下、運動状態推定処理において、推定対象とされる物体を「対象物体」という。
　運動状態推定部１３は、例えば、新たに物点が検出されると、その物点と関連付けられた物体の少なくとも最新の検出時刻における運動状態を推定してもよい。これにより、逐次、運動状態が推定される。運動状態推定部１３は、例えば、物点情報取得部１１により取得された物点情報で示されるすべての物点の所属先物体の決定を受けて、決定された各所属先物体を対象物体として、各対象物体の運動状態を推定してもよい。推定対象とする運動状態は、最新の検出時刻における運動状態のみであってもよいし、最新の検出時刻を含むこれまでの各検出時刻における運動状態であってもよい。推定された運動状態は、対象物体に関する物体情報において運動状態の履歴として保持される。なお、運動状態推定部１３は、最新の検出時刻における運動状態を第１の推定値（平滑化前の運動状態）として推定した上で、最新の検出時刻を含むこれまでの各検出時刻における第１の推定値を基に、最新の検出時刻を含むこれまでの各検出時刻における第２の推定値（平滑化された運動状態）を推定してもよい。その場合、運動状態推定部１３は、対象時点を指定した運動状態推定処理を複数回実行してもよいし、最新の検出時刻の運動状態を推定する運動状態推定処理で、最新の検出時刻の運動状態と平滑化後の各検出時刻の運動状態を推定してもよい。
　なお、運動状態推定部１３は、新たに検出された物点の所属先物体に限らず、新たに物点が検出された時点において追尾中のすべての物体を対象物体としてもよい。これにより、追尾中の物体に新たな所属物点が検出されなかったとしても、その物体の運動状態を更新できる。その場合、推定結果とされるその物体の最新の検出時刻における運動状態は、仮の運動状態としてもよい。以下、運動状態推定処理において運動状態の推定対象とされる時点（上記の例では、最新の検出時刻）を対象時点という場合がある。
　例えば、運動状態推定部１３が、新たに検出された物体（対象物体）の最新の検出時刻（対象時点）の運動状態を推定することを考える。このとき、運動状態推定部１３は、対象物体の対象時点における所属物点の情報のみに基づいて、対象時点の運動状態を推定してもよいが、対象物体について現時点までに得られている情報に基づいて、対象時点の運動状態を推定してもよい。対象物体について現時点までに得られている情報の例としては、対象物体の寸法、対象物体の対象時点以外の時点における所属物点の情報および運動状態、並びにそれらから得られる情報（運動状態の標準偏差、誤差分散）などが挙げられる。
　また、運動状態推定部１３は、新たに物点が検出されたタイミングに限らず、任意のタイミングで物体の運動状態を推定（再推定を含む）することも可能である。タイミングの例としては、過去の運動状態推定処理で用いた情報が更新されたとき、ユーザからの指示があったとき、一定時間が経過するごと、物点検出処理が所定の回数行われるごと、などが挙げられる。この場合における対象物体および対象時点は、情報の更新を条件にする場合は更新前の情報を用いて推定を行ったすべての物体およびすべての時点であってもよい。また、ユーザからの指示を条件にする場合はユーザから指示された物体および時点であってもよい。また、周期を条件にする場合は現時点で情報が保持されているすべての物体およびその周期中における各検出時刻であってもよいし、直近の一周期に所属物点が検出されたすべての物体およびその周期中における各検出時刻であってもよい。
　また、運動状態推定部１３は、最新の検出時刻以外の運動状態を推定する場合に、対象時点からみて現在および過去の時点における対象物体の情報だけでなく、未来の時点における対象物体の情報を利用して対象時点の運動状態を推定してもよい。これには、過去の検出時刻における運動状態を推定する際に、その前後の検出時刻における運動状態を利用することや、最新の寸法を利用することが含まれる。
　既に説明したように、運動状態推定部１３は、対象物体の運動状態を推定する際、平滑化された運動状態を推定してもよい。例えば、運動状態推定部１３は、対象物体について現時点までに得られた情報に基づき、対象時点の運動状態として、その前後の時点の運動状態からの変化が滑らかになるような運動状態を推定してもよい。このとき、運動状態推定部１３は、対象物体の寸法を利用して運動状態を推定してもよい。一例として、運動状態推定部１３は、物体の寸法以下の位置ずれを許容するように、各検出時刻の運動状態を推定することができる。運動状態推定部１３は、対象物体の寸法以下の位置の変化を物体内での反射点の移り変わりとみなして、推定誤差として扱わないようにして、運動状態を推定してもよい。
　寸法推定部１４は、検出済みの物体の寸法を推定する寸法推定処理を行う。以下、寸法推定処理において、推定対象とされる物体を「対象物体」という。寸法推定部１４は、例えば、対象物体に関連付けられた物点（所属物点）の情報に基づき、該物体の寸法を推定する。　
　寸法推定部１４は、例えば、対象物体の所属物点の履歴を利用して、対象物体の寸法を推定することができる。寸法推定部１４は、対象物体についてこれまでに得られた所属物点の情報を統計処理して、対象物体の寸法を推定してもよい。寸法推定部１４は、例えば、対象物体の所属物点の履歴により示される、検出時刻ごとの所属物点の検出位置のばらつきを算出し、算出されたばらつきに基づいて対象物体の寸法を推定してもよい。ここで、所属物点の検出位置のばらつきは、所属先物体である対象物体の推定位置（この場合、代表位置）に対する所属物点の検出位置のばらつきであってもよい。一例として、寸法推定部１４は、検出済みの物体について、各検出時刻における物体の位置（代表位置）から各所属物点の位置（検出位置）までの距離を求め、求めた距離に基づいて物体の寸法を推定してもよい。
　また、寸法推定部１４は、対象物体について十分な（例えば、２以上の時点にわたる）履歴がない場合には、予め決められた寸法（初期値）を設定してもよい。例えば、寸法推定部１４は、新たに物体Ａが検出された場合、物体Ａの寸法を予め決められた値に設定する。その場合、当該値は仮の寸法として情報記憶部１６に保持されてもよい。そして、寸法推定部１４は、物体Ａに新たな物点が紐づけられた結果十分な履歴が保持された場合に、上記のばらつきを利用して物体Ａの寸法を推定してもよい。なお、寸法推定部１４以外の処理部（例えば、関連付け部１２）が初期値を設定してもよい。
　寸法推定部１４は、新たに物点が検出されたタイミングに限らず、任意のタイミングで寸法を推定することも可能である。タイミングの例としては、過去の寸法推定処理で用いた情報が更新されたとき、ユーザからの指示があったとき、一定時間が経過するごと、物点検出処理が所定の回数行われるごと、などが挙げられる。この場合における対象物体は、情報の更新を条件にする場合は更新前の情報を用いて推定を行ったすべての物体であってもよい。また、ユーザからの指示を条件にする場合はユーザから指示された物体であってもよい。また、周期を条件にする場合は現時点で情報を保持しているすべての物体であってもよいし、直近の一周期において所属物点が検出された物体であってもよい。
　表示部１７は、追尾部１５による処理の結果得られた情報に基づき、追尾結果を表示する。追尾結果には、検出された物体の検出時刻ごとの位置または移動の軌跡が含まれる。なお、検出結果は、検出時刻が１つしかない場合または検出された物体の位置が変化していない場合は、最新の位置のみでもよい。また、表示部１７は、物体の寸法を含む追尾結果を表示してもよい。
　表示部１７は、例えば、追尾情報として、追尾部１５により検出された周囲の物体の移動の軌跡を、検出時刻ごとの位置および該物体の寸法がわかる態様で表示する。例えば、表示部１７は、追尾中の物体について、所定の座標系に検出時刻ごとの位置をプロットするとともに、該位置を時系列順に接続して移動の軌跡を表示してもよい。このとき、表示部１７は、最新の位置において、その物体の寸法に応じて大きさが調整された表示上の形状（外縁形状）を重畳して表示してもよい。また、表示部１７は、所定の座標系に物体の位置に加えてその物体の所属物点の検出位置をプロットした上で、移動の軌跡を表示することも可能である。表示部１７は、このような表示を、例えば、物点検出処理が行われるごとに内容を更新しながら行ってもよい。
　次に、本実施の形態に係る追尾装置１０の全体動作を説明する。図５は、本実施の形態に係る追尾装置１０の動作の一例を示すフローチャートである。図５に示す例では、まず、物点情報取得部１１が、物点情報を取得する（ステップＳ１１）。物点情報取得部１１は、例えば、計測装置１８から出力される物点情報を取得する。本例では、観測者は、計測装置１８または計測装置１８を搭載した上位装置（車両等）とする。計測装置１８は、例えば、自装置周辺に存在する物点の位置および速度を計測し、その結果を出力する。計測装置１８における自装置周辺の物点の位置および速度の計測方法は特に問わない。物点情報取得部１１により取得された物点情報は、必要に応じて物点の識別子や物点の検出時刻とされる取得時刻が付与されて情報記憶部１６に記憶される。
　次いで、関連付け部１２が、ステップＳ１１で取得された物点情報に基づいて、関連付け処理を行う（ステップＳ１２）。関連付け部１２は、物点情報が示す物点の各々を対象物点として、関連付け処理を行ってもよい。ここでの関連付け結果は、情報記憶部１６に記憶されている物体情報に反映される。
　次いで、運動状態推定部１３が、ステップＳ１２の関連付け処理の結果に基づいて、運動状態推定処理を行う（ステップＳ１３）。運動状態推定部１３は、関連付けの結果示される物点と物体との対応関係に基づいて、検出済みの物体の少なくとも最新の検出時刻を含む時刻の運動状態であって物体の位置を含む運動状態を推定してもよい。ここでの運動状態の推定結果は、情報記憶部１６に記憶されている物体情報に反映される。
　次いで、寸法推定部１４が、ステップＳ１２の関連付け処理の結果およびステップＳ１３の運動状態の推定結果に基づいて、寸法推定処理を行う（ステップＳ１４）。寸法推定部１４は、検出済みの物体について、各検出時刻における当該物体の位置から各所属物点の位置までの距離に基づいて、検出済みの物体の寸法を推定してもよい。ここでの寸法の推定結果は、情報記憶部１６に記憶されている物体情報に反映される。
　最後に、表示部１７が、ステップＳ１１～ステップＳ１４までの一連の処理の結果を含むこれまでに得られた情報に基づき、追尾結果を表示する（ステップＳ１５）。
　ステップＳ１５の後は、新たな物点情報の取得待ちをするため再びステップＳ１１に戻る。以降、物点情報が取得されるごとに、ステップＳ１１～ステップＳ１５の処理を繰り返してもよい。
　なお、ステップＳ１５の前に、運動状態推定部１３が、これまでに得られた情報を利用して、運動状態の再推定（平滑化等）を行ってもよい。運動状態推定部１３は、例えば、物体情報に登録されている物体の各々を対象物体、該対象物体について履歴で保持されている検出時刻のいずれかまたはすべてを対象時点として、運動状態の再推定を行う。なお、当該処理は、上記一連の処理とは独立して行うことも可能である。
　また、ステップＳ１４の処理を、新たな物点情報の取得に伴う一連の処理から除外することも可能である。その場合において、追尾装置１０は、ステップＳ１４の処理を上記の一連の処理とは独立して行ってもよい。
　以上のように、本実施の形態によれば、点と見なせない任意の物体の追尾を精度よく追尾できる。例えば、本実施の形態では、異なる時点に検出された２以上の物点を関連付ける際に、検出済みの物体の情報、特に寸法を利用する。これにより、１つの物体から複数の物点が検出されたり、検出される物点の物体内での位置が変化したりするような状況であっても、検出された物点を、検出済みの物体と精度よく関連付けることができる。
　また、本実施の形態によれば、そのようにして得られる関連付けの結果に基づいて、検出済みの物体の運動状態（少なくとも位置を含む）および寸法を推定することにより、点と見なせない任意の物体が検出されても、その物体の位置および寸法を精度よく得ることができる。
　また、本実施の形態では、例えば、そのようにして推定された物体の情報を、次の関連付け処理で利用する、またその関連付けの結果を物体の情報の推定または再推定に利用するなど、都度更新される情報を利用して関連付け精度および推定精度を向上させるよう構成できる。これにより、継続的な物点の検出処理を行うことで、より精度の高い追尾が可能になる。
　また、本実施の形態では、例えば、そのような関連付け結果を利用して運動状態等を再推定する際に、推定対象とされた時点よりも未来の時点の情報を利用して平滑化するよう構成できるので、１つの物体から複数の物点が検出されたり、検出される物点の物体内での位置が変化したりするような状況であっても、推定誤差を低減できる。
　また、本実施の形態では、例えば、画像認識など、物点の検出結果以外の方法によって得られる物体の情報を利用して物体を分離または統合するなど関連付け結果を見直すようにも構成できる。したがって、複数の物体が近接したのち離れるような状況であっても各物体を適切に分離／統合できるので、物体をさらに精度よく追尾することができる。
実施の形態２．
　次に、本発明の実施の形態２に係る追尾装置について説明する。実施の形態２に係る追尾装置は、実施の形態１に係る追尾装置１０を、車両の周囲の物体の追尾に適用した例である。本例において、本実施の形態に係る追尾装置２０は、観測者である車両に搭載されているものとする。以下、追尾装置２０が搭載された車両を自車両と呼ぶ。なお、本例は、車両が、上記の計測装置１８に相当する計測手段２１を備えることにより観測者とされる例である。追尾装置２０の、計測手段２１以外の構成要素の一部または全部は、車両以外に搭載されていてもよい。すなわち、追尾装置２０の各構成要素の一部または全部は、複数の情報処理装置や回路等により実現されてもよく、その場合において、複数の情報処理装置や回路等は、集中配置されていてもよいし、分散配置されていてもよい。分散配置される場合、少なくとも計測手段２１が車両に搭載されていればよい。その場合において、計測手段２１が搭載された車両を自車両という。なお、運転中に追尾結果を表示したい場合などは、計測手段２１と、上記の表示部１７に対応する情報出力手段２７とが車両に搭載されていることが好ましい。
　図６および図７は、追尾方法の概略を示す説明図である。まず、図６および図７を参照しながら本実施の形態における物体の追尾方法について説明する。本例において、追尾対象とされる物体は２次元のｘｙ平面上に存在するものとする。
　図中において、白塗りの丸（符号ＤＰ１，ＤＰ２）は、検出された物点の位置を表す。また、黒塗りの菱形（符号Ｐ１，Ｐ２）は、検出済みの物体の推定位置を表す。なお、黒塗りの菱形のうち破線で示されるもの（符号α）は、検出済みの物体の１つ前の時刻における運動状態から予測されるその物体の１つ後の時刻における位置（予測位置）を表す。また、物点の検出位置から延びる矢印（例えば、符号ＤＶ２）はその物点の検出速度（本例では、視線速度）を表し、物体の推定位置から延びる矢印（例えば、符号Ｖ１）はその物体の推定速度を表す。また、物体の推定位置を囲む破線の四角形（例えば、符号Ｓ１，Ｓ２）は、その物体の寸法を表す。また、符号ＤＲ２は、符号ＤＰ２で示される物点の観測者を基準にした距離（検出距離）、符号Ｄθ２は、符号ＤＰ２で示される物点の観測者を基準にした方位角を表している。また、物体の位置をつなぐ破線（符号ＴＲ１）は、検出済みの物体の推定位置の軌跡を表している。
　また、黒塗りの四角形（図７における符号Ｐ’１，Ｐ’２）は、検出済みの物体の平滑化後の位置（推定位置）を表す。なお、図７では、符号に”’”を付して平滑化後の推定値であることを表している。例えば、平滑化後の物体の位置をつなぐ破線（符号ＴＲ’１）は、検出済みの物体の平滑化後の推定位置の軌跡を表している。
　以下では、符号ＤＰ１およびＤＶ１が、検出済みの物体Ｊの時刻ｔｋ－１における所属物点の１つである物点ｊの位置ｄｐ（ｋ－１，ｊ）および視線速度ｄｖ（ｋ－１，ｊ）を表すものとする。また、符号ＤＰ２およびＤＶ２が、時刻ｔｋにおいて検出された物点ｍの位置ｄｐ（ｋ，ｍ）および視線速度ｄｖ（ｋ，ｍ）を表すものとする。以下、時刻ｔにおいて検出された物点ｘｘ（ｐｉｄ＿ｘｘの物点）に関する情報を、その情報の右肩に付（ｔ，ｘｘ）によって識別する。ここで、ｔは任意の時刻、ｘｘは検出された任意の物点を指す。
　また、符号Ｐ１およびＶ１が、検出済みの物体Ｊの時刻ｔｋ－１における推定位置ｐ（ｋ－１，Ｊ）および推定速度ｖ（ｋ－１，Ｊ）を表すものとする。また、符号Ｐ２およびＶ２が、物体Ｊの時刻ｔｋ－１における推定位置ｐ（ｋ，Ｊ）および推定速度ｖ（ｋ，Ｊ）を表すものとする。また、符号Ｓ１およびＳ２が時刻ｔｋ－１において推定された物体Ｊの寸法および時刻ｔｋ－１において推定された物体Ｊの寸法を表すものとする。以下、時刻ｔにおいて検出済みの物体ＹＹ（ｏｉｄ＿ＹＹの物体）に関する情報を、その情報の右肩に付す（ＹＹ），（ｔ，ＹＹ）または（ｔ｜ｔ’，ＹＹ）によって識別する。ここで、ＹＹは検出済みの任意の物体を指す。また、ｔ’は、その情報の推定に用いた情報のうち最新の時点の情報を表す。
　一例として、時刻ｔｋ－１における物体Ｊの情報を用いて時刻ｔｋにおける物体Ｊの位置を推定した場合、その推定位置はｐ（ｋ｜ｋ－１，Ｊ）と表される。なお、ｔ’は省略可能である。ｔ’が省略された場合、どの情報を用いて推定したかを問わず、時刻ｔにおいて算出された推定値を表す。また、寸法に関しては、ｔも省略可能である。その場合、どの情報を用いていつ推定されたかを問わず、その時点の最新の値を表す。
　今、時刻ｔｋにおいてＮｋ個の物点が検出されたとする。本例では、物点情報として、検出された各物点について、観測者（自車両）を基準にした当該物点までの距離ｄｒ、方位角ｄθおよび視線速度ｄｖｒが取得される。
　時刻ｔｋにおける物点ｍの相対位置ｄｐ（ｋ，ｍ）は、ｄｒ（ｋ，ｍ）およびｄθ（ｋ，ｍ）から式（１）のように表される。ここで、ｄｐｘは観測者に対する物点の相対位置のうち横方向（左右方向）の成分に相当するｘ成分、ｄｐｙは観測者に対する物点の相対位置のうち進行方向（前後方向）の成分に相当するｙ成分である。
Figure JPOXMLDOC01-appb-M000001
　また、本例では、時刻ｔｋ－１において、検出済みの物体Ｊの時刻ｔｋ－１における運動状態の第１の推定結果、すなわち位置ｐ（ｋ－１｜ｋ－１，Ｊ）、速度ｖ（ｋ－１｜ｋ－１，Ｊ）および加速度ａ（ｋ－１｜ｋ－１，Ｊ）、並びに寸法ｓ（ｋ－１，Ｊ）が得られているものとする。本例において、位置ｐおよび平滑化後の位置ｐ’はいずれも代表位置とする。なお、第１の推定結果が、平滑化前の逐次推定される運動状態に相当する。また、後述する第２の推定結果が、平滑化後の運動状態に相当する。
　物体Ｊの時刻ｔｋ－１における運動状態の第１の推定結果とされる位置ｐ（ｋ－１｜ｋ－１，Ｊ）、速度ｖ（ｋ－１｜ｋ－１，Ｊ）および加速度ａ（ｋ－１｜ｋ－１，Ｊ）はそれぞれ、式（２ａ）、式（２ｂ）および式（２ｃ）のように表される。ここで、ｐｘは物体のｘ軸方向の位置成分、ｐｙは物体のｙ軸方向の位置成分である。ｖｘは物体のｘ軸方向の速度成分、ｖｙは物体のｙ軸方向の速度成分である。ａｘは物体のｘ軸方向の加速度成分、ａｙは物体のｙ軸方向の加速度成分である。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　また、時刻ｔｋ－１において推定される物体Ｊの寸法ｓ（ｋ－１，Ｊ）は式（３）のように表される。ここで、ｓｘは物体の幅（ｘ軸方向の長さ）、ｓｙは物体の奥行（ｙ軸方向の長さ）である。なお、式（３）では、右肩に推定時刻と識別子の情報とを付しているが、推定時刻を問わない場合は寸法をｓ（ＹＹ）と表わしてもよいことは既に説明したとおりである。
Figure JPOXMLDOC01-appb-M000005
　このような状況において、時刻ｔｋに検出した物点ｍを、時刻ｔｋ－１において検出済みの物体Ｊ（またはその所属物点ｊ∈ｂｐ（ｋ－１、Ｊ））と関連付ける方法としては、例えば次のような方法を使用できる。まず、物体Ｊの時刻ｔｋにおける位置ｐ（ｋ｜ｋ－１，Ｊ）は、物体Ｊの時刻ｔｋ－１における位置ｐ（ｋ－１，Ｊ）および速度ｖ（ｋ－１，Ｊ）に基づき、式（４）のように予測できる。ここで、Δｔはｔｋ－ｔｋ－１である。なお、Δｔは、物点検出処理が周期的に行われる場合、物点検出処理の時間間隔に相当する。
Figure JPOXMLDOC01-appb-M000006
　次いで、物体Ｊの寸法ｓ（ｋ－１，Ｊ）を考慮し、式（５）に示す評価条件を満たしている場合に、時刻ｔｋに検出された物点ｍを、物体Ｊと関連付ける。ここで、｜ｐ｜はｐの要素毎の絶対値を表し、ηは事前に設定する関連付け範囲を調整するベクトルである。
Figure JPOXMLDOC01-appb-M000007
　このように、本例では、物体Ｊの時刻ｔｋ－１における推定位置（符号Ｐ１）から予測される時刻ｔｋの予測位置（符号α）と寸法（符号Ｓ２）とを基準にした関連付け範囲（符号β）を介して、時刻ｔｋにおいて検出された物点ｍ（符号ＤＰ２）と物体Ｊとが関連付けられる。図中の斜線の網掛けは、そのようにして物点ｍ（符号ＤＰ２）が、検出済みの物体Ｊ（符号Ｐ１）の情報、特に寸法（符号Ｓ１）を利用して、その所属物点ｊ（符号ＤＰ１）と関連付けられる様子を表している。なお、図示省略しているが、例えば、物体Ｊの時刻ｔｋ－１における所属物点ｊも、さらに過去の時刻において検出された物体およびその所属物点と関連付けられている。
　なお、物体Ｊに対して評価条件を満たす物点が複数存在する場合は、式（５）の左辺のベクトルのノルムが最も小さい物点を物体Ｊと関連付けても良いし、評価条件を満たすすべての物点を物体Ｊと関連付けてもよい。このとき、条件を満たすすべての物点を新たな１つの物点に書き換えた上で物体Ｊと関連付けることも可能である。その場合、書き換え後の物点が物体Ｊのその時刻における代表点となる。複数物点から１つの物点への書き換えは、例えば、検出結果の平均化により行ってもよい。より具体的には、評価条件を満たすすべての物点の検出結果を平均化した検出結果を有する１つの物点を定義して、物体Ｊの時刻ｔｋにおける唯一の所属物点（代表点）としてもよい。
　また、物体Ｊの時刻ｔｋ－１における位置ｐ（ｋ－１｜ｋ－１，Ｊ）の標準偏差σｘ，σｙを用いて、ηを式（６）のように算出して、関連付け範囲を可変としてもよい。
Figure JPOXMLDOC01-appb-M000008
　標準偏差は、物体Ｊの時刻ｔｋ－１における位置ｐ（ｋ－１｜ｋ－１，Ｊ）を推定する際に併せて算出すればよい。なお、追尾装置２０は、物体Ｊの対象時点の所属物点の情報を基に推定対象の運動状態とその位置の標準偏差σｘ，σｙまたは誤差分散σｘ ２，σｙ ２を求めておき、物体情報に保持しておいてもよい。そのようにすれば、次の時点において１つ前の時点の運動状態とその位置の標準偏差または誤差分散を利用できる。γは所定の係数である。
　式（５）は、位置に関する条件式であるが、関連付けの評価条件に、さらに速度に関する条件式を加えることもできる。例えば、時刻ｔｋにおける物点ｍの視線速度ｄｖｒ （ｋ，ｍ）と物体Ｊの時刻ｔｋにおける推定速度ｖ（ｋ｜ｋ－１，Ｊ）の視線方向への射影との差を限定する条件式を用いることができる。
　なお、上記の方法は、検出済みの物体Ｊについて時刻ｔｋ－１における位置ｐおよび速度ｖと、寸法ｓと、標準偏差σが得られていることを前提としている。しかし、物体Ｊが時刻ｔｋ－１において初めて検出された物体である場合、すなわち物体Ｊの時刻ｔｋ－１における所属物点が時刻ｔｋ－２において追尾中のいずれの物体とも関連づけられていない場合が考えられる。その場合、物体Ｊの時刻ｔｋ－１における速度ｖを推定するところから始めてもよい。なお、物体Ｊの時刻ｔｋ－１における位置ｐは、物体Ｊの時刻ｔｋ－１の所属物点から求まる代表位置とすればよい。
　以下、時刻ｔｋ－１において初めて検出された物体Ｊと、時刻ｔｋに検出された物点ｍとを関連付ける方法を説明する。本例では、物点ｍが属する仮の物体と物体Ｊとが同一物体であると仮定して、まず、物体Ｊの時刻ｔｋ－１における速度ｖ（ｋ－１，Ｊ）を推定する。本仮定によると、物体Ｊの時刻ｔｋ－１における速度ｖ（ｋ－１，Ｊ）は、例えば時刻ｔｋ－１における物体Ｊの所属物点ｊの視線速度ｄｖｒ （ｋ－１，ｊ）からの逆射影により、式（７）を用いて推定できる。なお、＜ａ，ｂ＞はａとｂの内積を、｜｜ａ｜｜はａの大きさを表す。ここで、所属物点ｊは、物点が複数ある場合はそれらの代表点であるとする。
Figure JPOXMLDOC01-appb-M000009
　ここで、物点と物体Ｊの位置の差であるΔｐ（ｋ，ｍ，ｋ－１，Ｊ）は、式（８）で示される。なお、物体Ｊの所属物点が１つの物点（平均化された物点を含む）のみであれば、物体Ｊの位置として１つの所属物点ｊの位置ｄｐ（ｋ－１，ｊ）をそのまま用いてもよい。
Figure JPOXMLDOC01-appb-M000010
　物体Ｊの時刻ｔｋ－１における位置ｐ（ｋ－１，Ｊ）および速度ｖ（ｋ－１，Ｊ）を求めた後は、上述した方法と同様に、評価条件に基づき物点ｍと関連付けるか否かを判定すればよい。このとき、物体Ｊの寸法ｓ（ｋ－１，Ｊ）は所定の値またはゼロを設定してもよい。また、より正確に関連付けるために、時刻ｔｋ－２以前に検出されている物点の検出結果も用いて関連付けるか否かを判定してもよい。例えば、時刻ｔｋ－２とｔｋ－１における位置から速度を推定し、その速度と時刻ｔｋ－１における位置から時刻ｔｋにおける位置を推定し、その位置と時刻ｔｋにおける検出位置を比較して、物点を関連付けるか否かを判定してもよい。
　次に、このようにして行われる関連付けの結果を利用した物体の運動状態の推定方法の一例を示す。運動状態の推定には、例えば拡張カルマンフィルタを用いることができる。時刻ｔｋにおいて検出された物点ｍと、時刻ｔｋ－１において検出済みの物体Ｊとが関連付けられた場合、追尾装置２０は、関連付け結果に基づいて次のようにして物体Ｊの時刻ｔｋにおける運動状態ｅｍ（ｋ｜ｋ，Ｊ）を推定してもよい。以下では、運動状態ｅｍ（ｋ｜ｋ，Ｊ）として、位置ｐ（ｋ｜ｋ，Ｊ）、速度ｖ（ｋ｜ｋ，Ｊ）および加速度ａ（ｋ｜ｋ，Ｊ）を推定する例を示す。追尾装置２０は、例えば、物体Ｊの時刻ｔｋ－１における位置ｐ（ｋ－１｜ｋ－１，Ｊ）、速度ｖ（ｋ－１｜ｋ－１，Ｊ）および加速度ａ（ｋ－１｜ｋ－１，Ｊ）とそれらの誤差共分散行列と、時刻ｔｋにおける所属物点ｍの観測者を基準にした距離ｄｒ（ｋ，ｍ）、方位角ｄθ（ｋ，ｍ）および視線速度ｄｖｒ （ｋ，ｍ）とを用いて、物体Ｊの時刻ｔｋにおける運動状態ｅｍ（ｋ｜ｋ，Ｊ）を推定してもよい。ここで、所属物点ｍは、物点が複数ある場合はそれらの代表点とする。
　拡張カルマンフィルタの適用は、状態ベクトルを式（９ａ）、観測ベクトルを式（９ｂ）とし、状態方程式を式（９ｃ）、観測方程式を式（９ｄ）とすればよい。なお、以下の式（９ａ）～式（９ｆ）では、右肩の括弧において物体や物点の識別子を省略し、時刻の情報のみを示している。なお、ｘ（ｋ）が上記のｅｍ（ｋ，Ｊ）に相当する。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
　ここで、ｗはシステム雑音、ｚは観測雑音である。また、行列Ａと関数ｈ（）はそれぞれ式（９ｅ）、式（９ｆ）で表される。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　追尾装置２０は、例えば、拡張カルマンフィルタを用いて、一つ前の時刻の推定状態ベクトルから現在の推定状態ベクトルを算出する予測ステップと、現在の観測ベクトルを用いて現在の推定状態ベクトルを補正する更新ステップとを繰り返して、状態ベクトルｘ（ｋ）を推定していく。
　ところで、運動状態を推定する対象物体についても、時刻ｔｋ－１において初めて検出された物体であることが考えられる。そのような場合、次のようにして、物体Ｊの時刻ｔｋにおける位置ｐ（ｋ｜ｋ，Ｊ）、速度ｖ（ｋ｜ｋ，Ｊ）および加速度ａ（ｋ｜ｋ，Ｊ）を推定してもよい。
　一例として、時刻ｔｋにおいて検出された物点ｍの位置ｄｐ（ｋ，ｍ）を物体Ｊの時刻ｔｋにおける位置ｐ（ｋ｜ｋ，Ｊ）とする。また、以下の式（１０）で示されるｖ（ｋ｜ｋ，Ｊ）または上記の式（７）で示されるｖ（ｋ－１，Ｊ）を物体Ｊの時刻ｔｋにおける速度ｖ（ｋ｜ｋ，Ｊ）とする。また、加速度ａ（ｋ｜ｋ，Ｊ）はゼロとする。
Figure JPOXMLDOC01-appb-M000016
　点と見なせる物体の追尾では、時刻ｔｋを現在とすると、検出済みの物体について時刻ｔｋまでの所属物点の位置（検出位置）および視線速度（検出速度）の履歴から、時刻ｔｋの運動状態を推定する、更に状況によっては未来すなわち時刻ｔｋ＋１以降の運動状態を予測するだけで十分な場合が多い。しかし、点と見なせない任意の物体の追尾では、物点と物体の関連付けが課題になる他、関連付け後においても、物点の物体内の移動による位置の推定誤差をいかに低減させるかが課題となる。
　そのため、本実施の形態では、時刻ｔｋにおいて、その物体の時刻ｔｋまでの所属物点の位置および視線速度の履歴を利用して、時刻ｔｋ－ｎ（ｎ＞０）の運動状態を再推定する。このとき、時刻ｔｋ－ｎにとって未来に相当する時刻（例えば、時刻ｔｋー１に対して時刻ｔｋなど）の所属物点の情報も利用して運動状態を再推定（平滑化）する。
　このような再推定の方法として、例えば、拡張カルマンスムーサーを用いることができる。今、物体Ｊの時刻ｔｋまでの所属物点の情報を利用して、物体Ｊの時刻ｔｋーｎ（ｎ＞０）における運動状態ｅｍ’（ｋ－ｎ，Ｊ）すなわち位置ｐ’（ｋ－ｎ，Ｊ）、速度ｖ’（ｋ－ｎ，Ｊ）および加速度ａ’（ｋ－ｎ，Ｊ）を推定することを考える。以下では、時刻ｔｋまでの所属物点の情報を利用して推定される物体Ｊの時刻ｔｋーｎにおける位置ｐ’（ｋ－ｎ｜ｋ，Ｊ）、速度ｖ’（ｋ－ｎ｜ｋ，Ｊ）および加速度ａ’（ｋ－ｎ｜ｋ，Ｊ）をそれぞれ、式（１１ａ）、式（１１ｂ）および式（１１ｃ）で表す。
Figure JPOXMLDOC01-appb-M000017
　上述した拡張カルマンフィルタでは、時刻ｔｋの運動状態（第１の推定値）を推定する際に、時刻ｔｋ－１までの所属物点の履歴を反映した時刻ｔｋ－１の運動状態（第１の推定値）およびその誤差共分散行列を使うことにより効率的に推定できる。
　一方、拡張カルマンスムーサーでは、対象物体について、平滑化された時刻ｔｋにおける運動状態の推定値とその誤差共分散行列および時刻ｔｋ－１における運動状態の推定値とその誤差共分散行列とから、平滑化された時刻ｔｋ－１における運動状態の推定値とその誤差共分散行列とを推定できる。したがって、再推定処理で、最新の検出時刻における平滑化前の推定値（第１の推定値）およびその誤差共分散行列を第１の時点における平滑化された推定値（第２の推定値）とし、かつ第１の時点に対して直近の過去の検出時刻を第２の時点とする。その上で、第１の時点における第２の推定値とその誤差共分散行列と、第２の時点における第１の推定値とその誤差共分散行列とから、第２の時点における第２の推定値を推定する処理を、第１の時点とする検出時刻を時刻ｔｋ，ｔｋ－１，ｔｋ－２，・・・のように過去に遡りながら順次実行する。これにより、平滑化された運動状態も効率的に推定できる。
　また、以下に示す例は、物体Ｊの最新の寸法ｓ（ｋ、Ｊ）をさらに用いて、物体Ｊの各検出時刻における運動状態を再推定する例である。本例では、物体Ｊの最新の寸法以下の位置のずれを許容するようにして、例えば、以下の式（１２）によりｘ（ｋ－ｎ），ｎ＝０，１，．．．，Ｎを順次推定する。なお、推定されるｘ（ｋ－ｎ）が上記のｅｍ’（ｋーｎ，Ｊ）に相当する。
Figure JPOXMLDOC01-appb-M000018
　ここで、Ｗはｗ（ｋ）の共分散行列、Ｚはｚ（ｋ）の共分散行列である。なお、上記の例では、物点の検出位置の変化が寸法以下である場合に該変化を推定誤差として扱わないように、物点の検出位置の変化の許容範囲を示す変数ξを導入している。なお、物体の運動状態の再推定は、計算量を低減したい場合等には実行しなくてもよい。
　次に、物体の寸法方法の一例を示す。物体Ｊの寸法は、例えば、物体Ｊの時刻ｔｋまでの推定位置の履歴と、所属物点の検出位置の履歴とから、式（１３）により推定する。
Figure JPOXMLDOC01-appb-M000019
　ここで、Ψｘ （ｋ，J）は、物体Ｊの時刻ｔｋまでの各検出時刻における推定位置と所属物点ｍの検出位置のｘ軸方向の差の集合、Ψｙ （ｋ，Ｊ）は、ｙ軸方向の差の集合である（式（１４ａ）、式（１４ｂ）参照）。なお、所属物点が複数ある場合は、各所属物点ｍについて推定位置との差を求めるものとする。ｍａｘは集合内の最大値を取り出す関数、ｍｉｎは集合内の最小値を取り出す関数である。なお、最小値が＋の値であった場合すなわち推定位置に対して＋方向に位置する物点しか属していなかった場合、式（１３）において各軸方向の寸法を求める式の第二項（推定位置に対して－方向の最大差として取得される最小値を－方向の寸法値として加算する項）は省略してもよい。
Figure JPOXMLDOC01-appb-M000020
　なお、実際の物体の寸法は変化するものではないため、寸法の推定は必ずしも各時刻で推定する必要はなく、所定の時間間隔で、または運動状態の変化が大きかった（所定の閾値以上となった等）時点で実施するようにしてもよい。
　このように、本例では、関連付け後に、その結果を利用して求めた最新の運動状態をさらに利用して過去の運動状態を再推定するため、物体内での物点の移り変わりによる推定誤差が低減された運動状態を推定できる。例えば、図７には、物体Ｊの時刻ｔｋ－１における推定位置（符号Ｐ１参照）が更新されて符号Ｐ’１の示す位置となり、時刻ｔｋにおける推定位置（符号Ｐ２参照）が更新されて符号Ｐ’２の示す位置となったことが示されている。このような更新の結果、物体Ｊの位置の変化が平滑化される。なお、図７では、さらに物体の寸法（符号Ｓ’１およびＳ’２）も更新されていることがわかる。なお、符号Ｓ’１および符号Ｓ’２はいずれも最新の寸法ｓ’（ｋ，Ｊ）を表している。
　次に、図８を参照して本発明の実施の形態２に係る追尾装置２０の構成を説明する。図８は、本実施の形態に係る追尾装置２０の構成例を示すブロック図である。また、図９は、本実施の形態に係る追尾装置２０のハードウェア構成の例を示す構成図である。本構成では伝搬波として電磁波を用いた例となっている。
　図８に示すように、追尾装置２０は、計測手段２１と、関連付け手段２２と、運動状態推定手段２３と、寸法推定手段２４と、運動状態再推定手段２５と、情報記憶手段２６と、情報出力手段２７とを備える。なお、計測手段２１が実施の形態１における計測装置１８に対応する。なお、追尾装置２０が計測装置１８に相当する計測手段２１を備える場合には、計測手段２１が物点情報取得部１１の機能を兼用しているものとする。また、関連付け手段２２が実施の形態１における関連付け部１２に対応する。また、運動状態推定手段２３および運動状態再推定手段２５が、実施の形態１における運動状態推定部１３に対応する。また、寸法推定手段２４が実施の形態１における寸法推定部１４に対応する。また、情報記憶手段２６が実施の形態１における情報記憶部１６に対応する。また、情報出力手段２７が実施の形態１における表示部１７に対応する。
　また、図９に示すように、追尾装置２０は、信号生成部１、増幅器２、送信アンテナ３、受信アンテナ４、ミキサ５、フィルタ６、増幅器７、Ａ／Ｄ変換器８および信号処理部９を備える。なお、図示省略しているが、追尾装置２０は、出力装置および情報記憶装置をさらに備えている。
　計測手段２１は、伝搬波を送信し物体での反射波を受信して、周囲の物体上の点（物点）の位置および視線速度を計測する手段である。本例では、計測手段２１は、信号生成部１、増幅器２、送信アンテナ３、受信アンテナ４、ミキサ５、フィルタ６、増幅器７、Ａ／Ｄ変換器８および信号処理部９により実現される。
　計測手段２１は、伝搬波を送信し物体からの反射波を受信して１つ以上の物体が伝搬波を反射した時点の該物体上の点（物点）のそれぞれの位置および視線速度を計測することにより、１つ以上の物点を検出する。
　本例では、信号生成部１が送信信号としてＦＭＣＷ信号を生成する。送信信号は、増幅器２で増幅され、送信アンテナ３から送信される。送信アンテナ３から送信された送信信号が物体で反射されると、その反射した信号が、複数の受信アンテナ４で受信される。受信信号（反射信号）は、ミキサ５で送信信号と混合された後、フィルタ６で不要成分が除去されてビート信号として増幅器７に入力される。ビート信号は増幅器７で増幅され、Ａ／Ｄ変換器８でデジタル信号に変換される。デジタル信号は信号処理部９で処理され、物点の位置と速度が検出される。なお、ここでは送信信号としてＦＭＣＷ信号を例示したが、送信信号はこれに限定されない。
　関連付け手段２２は、上述した関連付け方法を用いて関連付け処理を行う。例えば、関連付け手段２２は、最新の検出時刻において検出された物点（対象物点）の位置および速度と、検出済みの物体の最新（例えば、最新の物点の検出時刻に対して１つ前の検出時刻）の運動状態および寸法とを用い、例えば式（５）に基づき最新の検出時刻において検出された物点と、検出済みの物体の所属物点とを同一の物体の情報として関連付ける。
　関連付け手段２２は、例えば、既に実行済みの運動状態推定処理で算出された物体の運動状態の推定値のうちの最新の推定値と、既に実行済みの寸法推定処理で算出された物体の寸法の推定値のうちの最新の推定値とに基づいて、最新の検出時刻より前の検出時刻において検出された物体が最新の検出時刻において存在し得る関連付け範囲を決定し、決定した関連付け範囲と、最新の検出時刻において検出された物点の位置の検出値（物点の位置）とに基づいて、検出済みの物体に最新の検出時刻において検出された物点を関連付ける。
　運動状態推定手段２３は、上述した運動状態の推定方法を利用して運動状態推定処理を行う。より具体的に、運動状態推定手段２３は、関連付け処理で同一物体として関連付けられた物点の情報（検出済みの物体の各検出時刻における所属物点の位置および速度の検出値に基づいて、最新の検出時刻までの各検出時刻における該物体の位置の推定値を含む運動状態を推定する。
　例えば、運動状態推定手段２３は、最新の検出時刻において検出された物点と関連付けられた検出済み物体（最新の物点検出処理で検出された物点が属する物体）を対象に、該物体が最初に検出された時刻から最新の検出時刻までの各検出時刻における所属物点の情報（位置および速度）を利用して、各検出時刻における当該物体の運動状態（位置および速度の推定値）を、拡張カルマンフィルタおよび拡張カルマンスムーサーを利用して推定する。
　このとき、運動状態推定手段２３は、演算処理の効率化の一例として、次のように各検出時刻における運動状態を求めてもよい。
　まず、運動状態推定手段２３は、拡張カルマンフィルタ等を利用して、最新の検出時刻における所属物点の情報と、既に実行済みの処理で算出された直近の過去の検出時刻における運動状態の第１の推定値およびその誤差共分散行列とに基づいて、最新の検出時刻における運動状態の第１の推定値およびその誤差共分散行列を算出する。
　その後、運動状態推定手段２３は、最新の検出時刻における第１の推定値およびその誤差共分散行列を、最新の検出時刻における第２の推定値およびその誤差共分散行列とし、最新の検出時刻を第１の時点とし、かつ第１の時点に対して直近の過去の検出時刻を第２の時点とする。そして、運動状態推定手段２３は、拡張カルマンスムーサー等を利用して、第１の時点の第２の推定値およびその誤差共分散行列に基づいて第２の時点の第２の推定値およびその誤差共分散行列を算出する処理を、第１の時点とする検出時刻を過去に遡りながら順に実行する。そして、そのようにして算出された各検出時刻における第２の推定値を、各検出時刻における運動状態の推定値とする。なお、本例は、効率的な推定のために、運動状態推定手段２３が、最新の検出時刻における運動状態を推定するタイミングで、最新の検出時刻における第１の推定値と合わせて最新の検出時刻までの各時刻における第２の推定値を求める例であるが、最新の検出時刻までの各時刻における第２の推定値を求める処理（第１の再推定処理）は、後述する運動状態再推定手段２５が行ってもよい。
　運動状態の推定に用いる手法は、拡張カルマンフィルタや拡張カルマンスムーサーに限定される必要はなく、時刻ｔｋまでの所属物点の位置と視線速度の検出値の履歴に基づいて、時刻ｔｋまでの各時刻の位置の推定値を含む運動状態の履歴を推定するものであればよい。
　寸法推定手段２４は、上述した寸法推定方法を利用して寸法推定処理を行う。例えば、寸法推定手段２４は、運動状態推定処理で推定された物体の位置の推定値の履歴と、検出処理で検出された該物体の所属物点の位置の検出値の履歴とに基づいて、物体の寸法を推定する。
　寸法推定手段２４は、運動状態推定手段２３により推定された各検出時刻における物体の推定位置に対する所属物点の検出位置の差から、式（１２）等を利用して物体の寸法を推定してもよい。
　運動状態再推定手段２５は、上述した運動状態の再推定方法を利用して運動状態再推定処理を行う。例えば、運動状態再推定手段２５は、任意のタイミングで、最新の時点の第１の推定値およびその誤差共分散行列を、第１の時点の第２の推定値およびその誤差共分散行列とみなして、拡張カルマンスムーサー等を利用して、上記の第１の再推定処理を行ってもよい。また、例えば、運動状態再推定手段２５は、上記第１の再推定処理に加えてまたは上記第１の再推定処理に代えて、任意のタイミングで、寸法推定手段２４により推定された物体の寸法を利用して、物体の寸法以下の位置のずれを許容するように、式（１２）等を利用して物体の運動状態を再推定してもよい（第２の再推定処理）。
　本例において、関連付け手段２２、運動状態推定手段２３、寸法推定手段２４および運動状態再推定手段２５は、信号処理部９により実現される。より具体的には、関連付け手段２２、運動状態推定手段２３、寸法推定手段２４および運動状態再推定手段２５は、信号処理部９（より具体的には、処理回路、またはプログラムに従って動作するＣＰＵ等）によって実現される。また、情報記憶手段２６は、メモリにより実現される。また、情報出力手段２７は、ディスプレイ等の出力装置により実現される。
　図１０は、本実施形の形態の信号処理部９およびその周辺のハードウェア構成の例を示す構成図である。図１０（ａ）に示すように、信号処理部９の各機能は、処理回路９ａにより実現されてもよい。また、図１０（ｂ）に示すように、信号処理部９の各機能は、プロセッサ９ｂとメモリ９ｃとにより実現されてもよい。また、信号処理部９は、バス等を介して、さらに各種情報の外部入出力用のインタフェースである外部入出力Ｉ／Ｆ１１０、マウスやキーボードなどの入力装置１２０、およびディスプレイなどの出力装置１３０と接続されていてもよい。
　すなわち、追尾装置２０は、上述の信号処理部９の機能を実現するための専用のハードウェアである処理回路９ａを少なくとも備えるか、上述の信号処理部９の機能を実現するためのプロセッサ９ｂおよびメモリ９ｃを少なくとも備える。
　処理回路９ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものであってもよい。処理回路９ａは、信号処理部９の各機能（関連付け手段２２、運動状態推定手段２３、寸法推定手段２４および運動状態再推定手段２５の機能）それぞれを実現してもよいし、まとめて実現してもよい。
　プロセッサ９ｂは、例えば、メモリに格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＰＳともいう）であってもよい。その場合、信号処理部９の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ９ｃに格納される。プロセッサ９ｂは、例えば、メモリ９ｃに記憶されたプログラムを読み出して実行することにより、各機能を実現する。すなわち、追尾装置２０は、信号処理部９が実現する各手段の機能を実現するための各種ステップが結果的に実行されることになるプログラムを格納するためのメモリ９ｃを備える。また、これらのプログラムは、上述した追尾方法をコンピュータに実現させるものであるともいえる。ここで、メモリ９ｃは、例えば、ＲＡＭ、ＲＯＭ、フラシュメモリー、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等が該当する。
　なお、信号処理部９の各機能について、一部を専用のハードウェア（処理回路９ａ等）で実現し、一部をソフトウェアまたはファームウェア（より具体的には、それに従って動作するプロセッサ９ｂ等）で実現するようにしてもよい。また、その際、それらハードウェア、ソフトウェアまたはファームウェアは、外部入出力Ｉ／Ｆ１１０および入力装置１２０を介して入力される情報を利用する、外部入出力Ｉ／Ｆ１１０および出力装置１３０を介して外部に情報を出力する等ができる。
　このように、信号処理部９ひいては追尾装置２０は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　図１１は、本実施の形態の追尾装置２０の動作の一例を示すフローチャートである。図１１に示す例では、まず計測手段２１が、周囲の物点の位置および速度を計測して物点を検出する物点検出処理を行う（ステップＳ２１）。次いで、関連付け手段２２が関連付け処理を行う（ステップＳ２２）。
　次いで、運動状態推定手段２３が、関連付け処理の結果に基づき運動状態推定処理を行う（ステップＳ２３）。
　次いで、寸法推定手段２４が、寸法推定処理を行う（ステップＳ２４）。次いで、運動状態再推定手段２５が、寸法の推定結果を利用して運動状態再推定処理を行う（ステップＳ２５）。なお、ステップＳ２４およびステップＳ２５の処理は、任意のタイミングで行うことができる。
　ステップＳ２１～Ｓ２５の処理の結果は、情報記憶手段２６に記憶される。
　次いで、情報出力手段２７が、情報記憶手段２６に記憶されている情報に基づき、追尾結果を出力する（ステップＳ２６）。以降、一連の処理を繰り返し行う。
　以上のように、本実施の形態の追尾装置によれば、自車両において第１の実施形態と同様の効果を得ることができる。すなわち、本実施の形態の追尾装置は、計測手段２１と、関連付け手段２２と、運動状態推定手段２３と、寸法推定手段２４とを備え、それら手段を利用して物点検出処理、関連付け処理、運動状態推定処理および寸法推定処理を繰り返し行う。このとき、関連付け手段２２が、一方の物体の寸法を利用して関連付けを行うことにより、複数の反射点が存在する物体や反射点が移り変わる物体から物点が検出されたとしても、異なる時点の物点同士を同一物体に精度よく関連付けることができる。これにより、高い追尾精度と分離性能を実現することができる。
　また、例えば、関連付け手段２２が、既に実行済みの寸法推定処理で算出された物体の寸法の推定値のうちの最新の推定値に応じて、関連付け範囲を適宜変更することにより、検出済みの物体と新たに検出された物点の所属先物体とをより精度よく関連付けることができる。
　また、例えば、運動状態推定手段２３が、最新の検出処理までの各検出処理の時点における物体の位置の推定値を含む運動状態の履歴を推定する際に、推定対象時点よりも新しい検出処理の時点において検出された物点の情報を利用することにより、物体の位置の推定値の履歴の推定誤差を低減できる。これにより、反射点の移り変わりによる物体の位置の変動等を抑制して運動状態を精度よく推定することができる。加えて、そのような高精度の運動状態の推定結果を利用して、寸法推定や、次の時点における関連付け範囲が設定されるので、関連付け精度をさらに向上できる。このような相乗効果が繰り返されることにより、より高い追尾精度と分離性能を実現できる。
　また、本実施の形態においても、推定した物体寸法を利用して、物体寸法以下の位置ずれを許容するように物体の運動状態を再推定するよう構成できるので、運動状態の推定精度をさらに向上させられる。これにより、さらに高い追尾精度と分離性能を実現することができる。
実施の形態３．
　次に、本発明の実施の形態３に係る追尾装置について説明する。図１２は、本発明の実施の形態３に係る追尾装置３０の構成例を示すブロック図である。図１２に示す追尾装置３０は、図８に示した追尾装置２０の構成に比べて、画像取得手段３１、属性判定手段３２および関連付け評価手段３３をさらに備える点が異なる。また、図１３は、本実施の形態に係る追尾装置３０のハードウェア構成の例を示す構成図である。図１３に示す例では、追尾装置３０にさらにカメラ３１Ａが追加されている。なお、他の点は実施の形態２と同様である。
　画像取得手段３１は、例えば、カメラ３１Ａ、またはカメラ３１Ａとのインタフェース（外部入出力Ｉ／Ｆ１１０等）により実現される。なお、カメラ３１Ａは、追尾装置３０が備えていてもよいし、追尾装置３０の上位装置（観測者としての自車両）が備えていてもよい。また、属性判定手段３２および関連付け評価手段３３は、信号処理部９により実現される。
　画像取得手段３１は、観測者（例えば、自車両）の周囲の物体を含む周囲環境を撮影した画像を取得する。
　属性判定手段３２は、画像取得手段３１が取得した画像から物体を認識して、認識された物体の属性を判定する。属性判定手段３２は、取得された画像から物体を認識して物体の種類や寸法等の属性を判定する。画像から物体を認識する方法および認識された物体の属性を判定する判定は公知の画像処理技術を利用することができる。
　関連付け評価手段３３は、属性判定手段３２で認識された物体よびその属性に基づき、現在の関連付けを評価し、必要に応じて、物体情報において定義されている物体（関連付け手段２２によって物点と関連付けられる物体であって追尾中の物体）を分割もしくは統合する。関連付け評価手段３３は、画像から認識された物体およびその属性が、物点検出処理により検出される物点の所属先とされた物体（追尾中の物体）およびその属性と矛盾する場合、追尾中の物体を分割または統合する。例えば、関連付け評価手段３３は、画像から認識された物体の属性が示す寸法が、追尾中の物体の寸法と矛盾する場合、画像から認識された物体の属性に基づいて、追尾中の物体を分割または統合してもよい。
　例えば、時刻ｔｋにおいて画像から２台の普通乗用車が認識された位置に、追尾中の物体として普通乗用車では在りえない寸法の物体が物点情報を基に検出されている場合、該物体を新たな２つの物体に置き換える。また逆に、例えば画像から１台の大型車が認識された位置に、追尾中の物体として複数の小型物体が物点情報を基に検出されている場合、それら複数の物体を新たな１つの物体に置き換える。このとき、分割前または統合前の物体の情報（運動状態、所属物点、寸法等）は、分割または統合されて新たな物体に引き継がれる。例えば、１つの物体がそれぞれ異なる２つの領域に存在する２つの物体に分割する場合、分割後の領域に存在する物点をそれぞれ分割後の物体の所属物点とし、分割後の各物体の運動状態および寸法を推定しなおすことにより、情報を引き継いでもよい。また、例えば、２つの物体を１つの物体に統合する場合、統合前の各物体の所属物点の和集合を統合後の物体の所属物点とし、該物体の運動状態および寸法を推定しなおすことにより、情報を引き継いでもよい。時刻ｔｋ＋１では、更新後の物体情報に基づき、処理を行う。
　図１４は、本実施の形態の追尾装置３０の動作の一例を示すフローチャートである。なお、図１４において実施の形態２と同様の動作については説明を省略する。
　画像取得手段３１により周囲の物体を含む周囲環境を撮影した画像が取得されると、属性判定手段３２が、画像から物体を認識するとともに認識された物体の属性を判定する（ステップＳ３１，Ｓ３２）。次いで、関連付け評価手段３３は、属性判定手段３２で認識された物体よびその属性に基づき、現在の関連付けを評価し、必要に応じて追尾中の物体の分割または統合を行う（ステップＳ３３）。
　以上のように、実施の形態３の追尾装置によれば、カメラで撮影した画像から認識される物体とその属性を利用して、現在の関連付け（およびそれによって定義される追尾中の物体の情報）を評価し、必要に応じて追尾中の物体の分割または統合することができるため、物体をさらに精度良く分離追尾することができる。
　１０，２０，３０　追尾装置
　１１　物点情報取得部
　１２　関連付け部
　１３　運動状態推定部
　１４　寸法推定部
　１５　追尾部
　１６　情報記憶部
　１７　表示部
　１８　計測装置
　２１　計測手段
　２２　関連付け手段
　２３　運動状態推定手段
　２４　寸法推定手段
　２５　運動状態再推定手段
　２６　情報記憶手段
　２７　情報出力手段
　３１　画像取得手段
　３２　属性判定手段
　３３　関連付け評価手段
　１　信号生成部
　２、７　増幅器
　３　送信アンテナ
　４　受信アンテナ
　５　ミキサ
　６　フィルタ
　８　Ａ／Ｄ変換器
　９　信号処理部
　９ａ　処理回路
　９ｂ　プロセッサ
　９ｃ　メモリ
　３１Ａ　カメラ
　１１０　外部入出力Ｉ／Ｆ
　１２０　入力装置
　１３０　出力装置

Claims (17)

  1. 　所定の観測者の周囲に存在する物体上の点である物点に関する情報であって、前記物点の位置を示す情報と、前記物点の速度を示す情報とを含む物点情報を取得する物点情報取得部と、
    　前記物点情報に基づき、前記物点と関連付けられる前記物体を検出するとともに、検出済みの前記物体の寸法を利用して異なる時点に検出された前記物点を同じ物体と関連付けることにより、前記物体の検出時刻ごとの所属物点を定める関連付け部とを備える
    　ことを特徴とする追尾装置。
  2. 　前記関連付け部は、第１の時点に検出された前記物点に対して、前記第１の時点とは異なる時点において検出済みの前記物体の寸法および運動状態を利用して、検出済みの前記物体が前記第１の時点において存在すると予測される位置の範囲である関連付け範囲を決定し、前記関連付け範囲に基づいて、前記第１の時点に検出された物点と、前記物点とは異なる時点に検出された他の物点とを同じ物体に関連付ける
    　請求項１に記載の追尾装置。
  3. 　検出済みの前記物体の寸法を推定する寸法推定部を備え、
    　前記寸法推定部は、検出済みの前記物体について、各検出時刻における前記物体の位置から各所属物点の位置までの距離を求め、前記距離に基づいて前記物体の寸法を推定する
    　請求項１または２に記載の追尾装置。
  4. 　前記関連付けの結果示される前記物点と前記物体との対応関係に基づいて、検出済みの前記物体の運動状態であって前記物体の位置を含む運動状態を推定する運動状態推定部を備える
    　請求項１から３のうちのいずれかに記載の追尾装置。
  5. 　前記運動状態推定部は、新たに前記物点が検出されると、前記物点と関連付けられた前記物体の少なくとも最新の検出時刻における運動状態を推定する
    　請求項４に記載の追尾装置。
  6. 　前記運動状態推定部は、任意のタイミングで、検出済みの前記物体の各検出時刻における運動状態を推定する
    　請求項４または５に記載の追尾装置。
  7. 　前記運動状態推定部は、推定対象とされる時点からみて未来の時点に相当する検出時刻における前記物体の情報を利用して、検出済みの前記物体の運動状態を推定する
    　請求項４から６のうちのいずれかに記載の追尾装置。
  8. 　前記運動状態推定部は、運動状態の推移が平滑化されるように、検出済みの前記物体の運動状態を推定する
    　請求項４から７のうちのいずれかに記載の追尾装置。
  9. 　前記運動状態推定部は、検出済みの前記物体の寸法を利用して、前記運動状態を推定する
    　請求項４から８のうちのいずれかに記載の追尾装置。
  10. 　前記運動状態推定部は、前記寸法以下の位置ずれを許容して、運動状態を推定する
    　請求項９に記載の追尾装置。
  11. 　前記運動状態推定部は、第１の時点の運動状態を推定する処理で、前記第１の時点の所属物点の情報と、前記第１の時点とは異なる第２の時点の運動状態の推定値およびその誤差共分散行列とに基づいて、前記第１の時点の運動状態の推定値およびその誤差共分散行列を算出する
    　請求項４から１０のうちのいずれかに記載の追尾装置。
  12. 　前記運動状態推定部は、最新の検出時刻における第１の推定値およびその誤差共分散行列を、前記最新の検出時刻における第２の推定値およびその誤差共分散行列とし、最新の検出時刻を前記第１の時点とし、かつ前記第１の時点に対して直近の過去の検出時刻を第２の時点として、前記第１の時点における前記第２の推定値およびその誤差共分散行列と、前記第２の時点における第１の推定値およびその誤差共分散行列とに基づいて、平滑化された前記第２の時点における第２の推定値およびその誤差共分散行列を算出する処理を、前記第１の時点とする検出時刻を過去に遡りながら順次実行し、その結果算出された各検出時刻における前記第２の推定値を、各検出時刻における運動状態の推定値とする
    　請求項１１に記載の追尾装置。
  13. 　前記観測者の周囲を撮影した画像を取得する画像取得部と、
    　前記画像から前記観測者の周囲の物体を認識するとともに、前記物体の属性を判定する属性判定部と、
    　前記画像から認識された前記物体とその属性とに基づいて、前記物点情報に基づき検出された前記物体を分割または統合する関連付け評価部とを備える
    　請求項１から１２のうちのいずれかに記載の追尾装置。
  14. 　検出済みの前記物体に関する情報であって、前記物体の検出時刻ごとの所属物点を示す情報と、前記物体の検出時刻ごとの運動状態を示す情報とを含む物体情報を記憶する記憶部と、
    　前記物体情報に基づいて、検出済みの前記物体の検出時刻ごとの位置または移動の軌跡を含む追尾結果を表示する表示部とを備える
    　請求項１から１３のうちのいずれかに記載の追尾装置。
  15. 　前記物体情報は、検出済みの前記物体の寸法を示す情報を含み、
    　前記表示部は、検出済みの前記物体の寸法を含む追尾結果を表示する
    　請求項１４に記載の追尾装置。
  16. 　前記所定の観測者は自装置または自装置が搭載された車両であって、
    　周囲に存在する物点の位置および速度を計測する計測装置を備え、
    　前記物点情報は、前記計測装置によって計測された前記物点の位置を示す情報と、前記物点の速度を示す情報とを含む
    　請求項１から１５のうちのいずれかに記載の追尾装置。
  17. 　所定の観測者の周囲に存在する物体上の点である物点に関する情報であって、前記物点の位置を示す情報と、前記物点の速度を示す情報とを含む物点情報を取得するステップと、
    　前記物点情報に基づき、前記物点と関連付けられる前記物体を検出するとともに、検出済みの前記物体の寸法を利用して異なる時点に検出された前記物点を同じ物体に関連付けることにより、前記物体の検出時刻ごとの所属物点を定めるステップとを含む
    　ことを特徴とする追尾方法。
PCT/JP2019/002200 2019-01-24 2019-01-24 追尾装置および追尾方法 WO2020152816A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019542637A JPWO2020152816A1 (ja) 2019-01-24 2019-01-24 追尾装置および追尾方法
PCT/JP2019/002200 WO2020152816A1 (ja) 2019-01-24 2019-01-24 追尾装置および追尾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/002200 WO2020152816A1 (ja) 2019-01-24 2019-01-24 追尾装置および追尾方法

Publications (1)

Publication Number Publication Date
WO2020152816A1 true WO2020152816A1 (ja) 2020-07-30

Family

ID=71736868

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002200 WO2020152816A1 (ja) 2019-01-24 2019-01-24 追尾装置および追尾方法

Country Status (2)

Country Link
JP (1) JPWO2020152816A1 (ja)
WO (1) WO2020152816A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7504016B2 (ja) 2020-12-18 2024-06-21 マツダ株式会社 物体認識装置および物体認識方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004205371A (ja) * 2002-12-25 2004-07-22 Mitsubishi Electric Corp レーダ追尾装置及びレーダ追尾処理方法
JP2011196749A (ja) * 2010-03-18 2011-10-06 Toyota Central R&D Labs Inc 物体検出装置
JP2017215161A (ja) * 2016-05-30 2017-12-07 株式会社東芝 情報処理装置、および、情報処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
JP5470886B2 (ja) * 2009-02-12 2014-04-16 トヨタ自動車株式会社 物体検出装置
JP5071817B2 (ja) * 2009-03-31 2012-11-14 株式会社エクォス・リサーチ 車両制御装置、車両、及び車両制御プログラム
JP5122536B2 (ja) * 2009-08-17 2013-01-16 三菱電機株式会社 レーダ装置
JP5838901B2 (ja) * 2012-04-25 2016-01-06 トヨタ自動車株式会社 物体識別装置及び物体識別方法
JP6075168B2 (ja) * 2013-04-09 2017-02-08 スズキ株式会社 車両用物体検出装置
EP3432022A4 (en) * 2016-03-14 2019-12-04 Hitachi Construction Machinery Co., Ltd. MINE WORK MACHINE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004205371A (ja) * 2002-12-25 2004-07-22 Mitsubishi Electric Corp レーダ追尾装置及びレーダ追尾処理方法
JP2011196749A (ja) * 2010-03-18 2011-10-06 Toyota Central R&D Labs Inc 物体検出装置
JP2017215161A (ja) * 2016-05-30 2017-12-07 株式会社東芝 情報処理装置、および、情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7504016B2 (ja) 2020-12-18 2024-06-21 マツダ株式会社 物体認識装置および物体認識方法

Also Published As

Publication number Publication date
JPWO2020152816A1 (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
JP5181704B2 (ja) データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム
US10867189B2 (en) Systems and methods for lane-marker detection
US11215707B2 (en) Enhanced object detection and motion estimation for a vehicle environment detection system
JP5716671B2 (ja) 走路認識装置、車両、走路認識方法及び走路認識プログラム
US10229338B2 (en) Medium storing image processing program, image processing method, and image processing device
WO2020250020A1 (en) Lidar and radar based tracking and mapping system and method thereof
JP6350329B2 (ja) 目標類識別装置
CN111386476B (zh) 确定车辆雷达系统中的对象运动和加速度矢量
Daraei et al. Velocity and shape from tightly-coupled LiDAR and camera
CN115428014A (zh) 基于神经网络的关键点检测方法和系统
WO2020085418A1 (ja) 物体追跡装置
JP6733060B2 (ja) 車両レーダシステム用の逆合成開口レーダ
He et al. A track quality based metric for evaluating performance of multitarget filters
EP3410396B1 (en) Moving object tracking apparatus, moving object tracking method, and computer-readable medium
WO2020152816A1 (ja) 追尾装置および追尾方法
KR20180062683A (ko) 이미지 피라미드를 이용한 차량 인식 장치 및 방법
KR101556598B1 (ko) 주요 픽셀 정보에 기반한 물체 검출 장치 및 그 방법
CN117893468A (zh) 一种快速3d孔洞检测方法、系统、计算机设备及介质
JP6657934B2 (ja) 物体検出装置
Rozsa et al. Immediate vehicle movement estimation and 3D reconstruction for Mono cameras by utilizing epipolar geometry and direction prior
CN112614162B (zh) 基于空间优化策略的室内视觉快速匹配定位方法及系统
JP7290104B2 (ja) 自己位置推定装置、方法及びプログラム
WO2017164250A1 (ja) 推定装置
JP2005083867A (ja) 目標追尾装置
WO2022161891A1 (en) Method for determining the encoder architecture of a neural network

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019542637

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19911701

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19911701

Country of ref document: EP

Kind code of ref document: A1