WO2021251208A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2021251208A1
WO2021251208A1 PCT/JP2021/020798 JP2021020798W WO2021251208A1 WO 2021251208 A1 WO2021251208 A1 WO 2021251208A1 JP 2021020798 W JP2021020798 W JP 2021020798W WO 2021251208 A1 WO2021251208 A1 WO 2021251208A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
tracking
identification information
unit
sensor
Prior art date
Application number
PCT/JP2021/020798
Other languages
English (en)
French (fr)
Inventor
多史 藤谷
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/000,805 priority Critical patent/US20230243953A1/en
Publication of WO2021251208A1 publication Critical patent/WO2021251208A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Definitions

  • This disclosure relates to an information processing device and an information processing method.
  • a tracking technology that detects an object using a sensor such as a camera or radar and tracks the detected object.
  • a technique for performing target tracking using a plurality of sensors is also known. For example, by using a plurality of sensors having different characteristics, tracking can be performed with higher accuracy.
  • the process of associating the target with the observed value for each sensor is important.
  • a plurality of targets may be detected in each of the plurality of sensors, and the larger the number of observation values in each sensor, the longer the time required to select the target to be associated with each observation value.
  • the information processing apparatus associates a detection unit that detects an object based on an observed value acquired from the output of a sensor, an object detected based on the observed value by the detection unit, and a sensor related to the observed value.
  • a generation unit that generates observation identification information for each of one or more objects detected by the detection unit, and a control unit that controls the retention of the observation identification information generated by the generation unit in the holding unit. Be prepared.
  • Embodiment 2-1 Outline of Embodiment 2-2.
  • the tracking system In the tracking system according to the present disclosure, a plurality of sensors are used, the target is tracked for each sensor based on the output of the sensor, and each tracking result by the plurality of sensors is integrated. At this time, the tracking system according to the present disclosure generates and holds identification information for each sensor used for tracking, in addition to the tracking ID for identifying the tracking, for the tracking target. More specifically, in the tracking system according to the present disclosure, the identification information that identifies the sensor used for tracking and the identification information that identifies the tracking are associated and held as an observation ID for each sensor.
  • the observation ID in the previous stage and the observation ID held in the latter stage are referred to to reduce the calculation amount and the tracking in the previous stage. It is possible to absorb errors, shorten the tracking processing time, and improve the final tracking accuracy.
  • FIG. 1 is a schematic diagram for explaining an outline of a tracking system according to an embodiment.
  • the tracking system 1 detects a tracking target using four sensors 10a to 10d.
  • the sensors 10a and 10b are cameras
  • the sensors 10c are radars
  • the sensors 10d are LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging).
  • the cameras as sensors 10a and 10b detect light having a wavelength in the visible light region and output the detection result as a captured image.
  • the cameras # 1 and # 2 may detect light having a wavelength in the infrared region and light having a wavelength in the ultraviolet region.
  • the radar as the sensor 10c emits, for example, millimeter waves and detects the reflected waves.
  • the detection result by the radar is output as a point cloud according to the irradiation position of the millimeter wave.
  • LiDAR as the sensor 10d emits an electromagnetic wave having a wavelength shorter than that of the radar, for example, laser light, and detects the reflected light.
  • the detection result by LiDAR is output as a point cloud according to the irradiation position of the laser beam, similar to the radar.
  • FIG. 1 shows an example in which four sensors 10a to 10d are used in the tracking system 1, but this is not limited to this example. That is, in the tracking system 1 applicable to the embodiment, a plurality of sensors for detecting the tracking target may be used, the number of sensors may be two or three, and five or more sensors may be used. May be good.
  • a combination of multiple sensors can be treated as one sensor.
  • a combination of two or more cameras can be treated as one sensor.
  • different types of sensors such as a camera and a laser and a camera and LiDAR can be combined and treated as one sensor. Combining a plurality of sensors in this way and treating them as one sensor is called fusion. Further, one sensor obtained by combining a plurality of sensors may be referred to as a fusion sensor.
  • the tracking system 1 executes the tracking process 20a using the observed value based on the output of the sensor 10a, detects the object, and tracks the detected object. In the tracking process 20a, it is possible to detect a plurality of objects based on the output of the sensor 10a.
  • the tracking system 1 associates identification information (referred to as a tracking ID) with each object detected by the tracking process 20a. In the example of the figure, the tracking ID “1”, ... Is associated with each object detected by the tracking process 20a.
  • the sensors 10b, 10c and 10d are the same as the sensors 10a. That is, the tracking system 1 executes tracking processes 20b, 20c, and 20d based on the outputs of the sensors 10b, 10c, and 10d, respectively, and detects the object and tracks the detected object, respectively.
  • the tracking system 1 associates a tracking ID with each object detected by the tracking processes 20b, 20c and 20d, respectively. In the example of FIG. 1, tracking IDs “8”, ..., Tracking IDs “17”, ..., Tracking IDs “21”, ... Are associated with each object detected by the tracking processes 20b, 20c, and 20d, respectively. Has been done.
  • an object is generated using the observed values based on the outputs of the sensors 10a, 10b, 10c and 10d, and the object is detected.
  • Image information can be applied to the observed value if the sensor is a camera. If the sensor is a radar or LiDAR, point cloud information can be applied as an observed value.
  • the observed value can include position information indicating the position of the object. Not limited to this, the position information can be obtained based on the observed value.
  • the set of the sensor and the tracking process based on the output of the sensor is referred to as a unit.
  • the set of the sensor 10a and the tracking process 20a is the unit A
  • the set of the sensor 10b and the tracking process 20b is the unit B
  • the set of the sensor 10c and the tracking process 20c is the unit C
  • the sensor 10d and the tracking process 20d Let the set of be unit D.
  • the tracking system 1 generates an observation ID by associating the tracking ID acquired by each of the units A to D with the identification information for identifying the unit from which the tracking ID has been acquired in the integrated tracking process 30.
  • the tracking system 1 sets the identification information for identifying each unit A to D as “A”, “B”, “C”, and “D”, respectively, and these “A”, “B”,
  • the tracking ID detected in each unit is associated with "C” and "D” by the integrated tracking process 30.
  • each unit A to D has a one-to-one correspondence with one sensor 10a to 10d (including a fusion sensor). Therefore, it can be said that the identification information "A" to "D" for identifying the units A to D are the identification information for identifying the sensors 10a to 10d.
  • the tracking ID "1" associated with the object detected by the tracking process 20a in the unit A is passed to the integrated tracking process 30.
  • the observation ID “A-1” is generated by associating the tracking ID “1” passed from the unit A with the identification information “A” that identifies the unit A.
  • This observation ID "A-1” is identification information corresponding to the observation value used for detecting the object indicated by the tracking ID "1] corresponding to the tracking target.
  • the tracking ID “8” corresponding to the tracking target is passed to the integrated tracking process 30.
  • the observation ID “B-8” is generated by associating the tracking ID “8” with the identification information “B” that identifies the unit B.
  • the tracking IDs “17” and “21” corresponding to the tracking targets, respectively passed from the units C and D, and the identification information for identifying the units C and D, respectively.
  • "C" and "D” are associated with each other to generate observation IDs "C-17" and "D-21", respectively.
  • the tracking system 1 integrates the observation IDs associated with the tracking IDs presumed to be tracking the same object among the observation IDs generated by the units A to D by the integrated tracking process 30.
  • the objects tracked by the tracking IDs “1”, “8”, “17” and “21” in the units A, B, C and D are the same object, respectively. ing. Therefore, in the integrated tracking process 30, the observation IDs “A-1” and “B-8” corresponding to the tracking IDs “1”, “8”, “17” and “21” of the units A, B, C and D, respectively. , "C-17" and "D-21" are integrated.
  • the tracking system 1 has an integrated tracking ID (FIG. 1) for the integrated observation IDs "A-1", “B-8", “C-17” and “D-21" in the integrated tracking process 30.
  • FOG. 1 for the integrated observation IDs "A-1", “B-8", “C-17” and "D-21" in the integrated tracking process 30.
  • "30" is associated.
  • the tracking system 1 associates identification information (“Z” in the example of FIG. 1) indicating that a plurality of observation IDs have been integrated with the integrated tracking ID “30” to provide a new tracking ID. Output as "Z-30".
  • each observation ID "A-1", “B-8", “C-17”, “D-21” integrated into the observation ID “Z-30” Can be referred to. Further, from each observation ID “A-1”, “B-8", “C-17”, “D-21”, the respective tracking IDs "1", “8", "17” and “21” are assigned. By reference, the position and observed value of the object associated with each tracking ID “1”, “8", “17” and “21” can be obtained.
  • FIG. 2 is a schematic diagram for explaining the tracking process according to the embodiment.
  • Section (a) of FIG. 2 shows an example of the detection result at time Tn
  • section (b) shows an example of the detection result at time Tn + 1 after a predetermined time has elapsed from the state of section (a) by a bird's-eye view.
  • a radar (Radar) and a fusion sensor formed by a combination of a plurality of arbitrary sensors are used, and the fusion sensor and its tracking process are referred to as unit X, and the radar and its tracking process are referred to as unit Y.
  • an object 60 (hereinafter, tracking target 60) as a tracking target (Tracking Target) is generated based on the detection result in time before (previous stage) the time Tn.
  • a Gatting area 70 for determining whether or not the tracking target 60 is detected is set, for example, by a known Gatting process described later. That is, it is determined that the object detected in the Gatting area 70 has detected the tracking target 60 as the tracking target.
  • the objects 50a and 51a are inside the Gatting area 70, and the tracking system 1 determines that these objects 50a and 51b have detected the tracking target 60. These objects 50a and 51a are generated by observation values based on the output of the sensor, respectively. Therefore, the tracking system 1 holds each observation ID of each observation value used for generating the objects 50a and 51a in association with the objects 50a and 51a, respectively.
  • the object 50a is an object with a tracking ID "1" among the objects detected in the unit X of the identification information "X". Therefore, the tracking system 1 holds the observation ID “X-1” corresponding to the observation value used for the detection of the object 50a in association with the unit X and the tracking ID “1”.
  • the object 51a is an object with the tracking ID “3” among the objects detected in the unit Y. Therefore, the tracking system 1 holds the observation ID “Y-3” corresponding to the observation value used for detecting the object 51a in association with the unit Y and the tracking ID “3”.
  • the tracking system 1 ignores the tracking targets 60 for the objects 50b, 51b, and 51c outside the Gatting area 70.
  • the tracking ID "1" corresponding to the object 50a is a local tracking ID in the unit X.
  • the tracking ID “3” corresponding to the object 51a is a local tracking ID in the unit Y.
  • the tracking system 1 At time Tn + 1, the position of the object 51a has moved from the state of time Tn.
  • the object 51a is an object in the Gazing area 70 and is detected as the same object as the object 51a detected at the time Tn before the position movement. Therefore, the tracking system 1 generates the observation ID “Y-3” at the time Tn + 1 by using the tracking ID “3” of the object 51a detected at the time Tn. At this time, the tracking system 1 updates the observation value acquired at the time Tn of the object 51a corresponding to the observation ID “Y-3” to the observation value acquired at the time Tn + 1.
  • the tracking system 1 integrates the observation IDs "X-1" and "Y-3" of the objects 50a and 51a detected in the Gatting area 70 by the integrated tracking process 30, and the tracking ID "Z-”. 4 ”is generated.
  • the tracking ID "Z-4" is associated with the observation IDs "X-1" and "Y-3".
  • the tracking ID indicating the tracking target 60 as the tracking target is the tracking ID “Z-4”, and the observation IDs “X-1” and “Y-3” with respect to the tracking ID “Z-4”. Is associated.
  • the tracking target 60 as the tracking target indicated by the tracking ID “Z-4” is associated with the observation IDs “X-1” and “Y-3”, and the state is updated.
  • the observation ID corresponding to the time Tn exists at the time Tn + 1 (in this example, the observation IDs "X-1" and "Y-3")
  • the object can be detected by using these corresponding observation IDs. It is possible to reduce the load of processing and the like.
  • FIG. 3 is a functional block diagram of an example for explaining the function of the tracking system 1 according to the embodiment.
  • the tracking system 1 includes sensors 100a, 100b, 100c and 100d, tracking processing units 200a, 200b and 200c, tracking ID generation units 201a, 201b and 201c, an integrated unit 300, and an observation ID generation unit.
  • a 301 and an ID holding unit 302 are included.
  • the tracking processing units 200a, 200b and 200c, the tracking ID generation units 201a, 201b, and 201c, the integration unit 300, the observation ID generation unit 301, and the ID holding unit 302 are described in the embodiment on a CPU described later. It is realized by executing the information processing program. Not limited to this, the tracking processing units 200a, 200b and 200c, the tracking ID generation units 201a, 201b, and 201c, the integration unit 300, the observation ID generation unit 301, and a part or all of the ID holding unit 302 cooperate with each other. It can also be configured with a working and operating hardware circuit.
  • the sensors 100c and 100d are configured as fusion sensors that use a combination of outputs. Further, the sensors 100a to 100d are also shown as sensors (1), sensors (2), sensors (3), and sensors (4), respectively, in FIG. Here, it is assumed that each of the sensors 100a to 100d is either a camera, a radar, or LiDAR, respectively.
  • the tracking processing unit 200a extracts an observation value indicating an object from the output of the sensor 100a, and detects the object based on the extracted observation value. Further, the tracking processing unit 200a tracks the object by comparing, for example, a newly detected object with an object detected before the object in time.
  • the tracking processing unit 200a analyzes the image data supplied from the sensor 100a to extract a feature amount, and uses the extracted feature amount. Execute the recognition process to detect the object.
  • point cloud information which is a set of points having distance and direction information
  • the tracking processing unit 200a generates point cloud information based on the data supplied from the sensor 100a, and clusters the generated point cloud information according to a predetermined condition.
  • a condition for clustering for example, it is conceivable to apply a set of points in which the distance between each point is within a predetermined distance, a set of points having the same moving speed, and the like.
  • the tracking processing unit 200a detects an object for each clustering unit.
  • the tracking processing unit 200a functions as a detection unit that detects an object (object) based on the observed value acquired from the output of the sensor 100a.
  • the tracking ID generation unit 201a generates a tracking ID for identifying the object detected by the tracking processing unit 200a.
  • the tracking ID generation unit 201a passes the generated tracking ID to the tracking processing unit 200a.
  • the tracking processing unit 200a tracks the detected object using the tracking ID passed from the tracking ID generation unit 201a.
  • the tracking processing unit 200a passes the tracking ID of the tracked object to the integration unit 300.
  • the processing in the tracking processing unit 200b and the tracking ID generation unit 201b is the same as the processing in the tracking processing unit 200a and the tracking ID generation unit 201a described above, and thus the description thereof is omitted here.
  • the tracking processing unit 200c extracts an observation value indicating an object from the outputs of the sensors 100c and 100d, respectively, and detects the object based on the extracted observation value.
  • the tracking processing unit 200c can take a logical product of an object based on the output of the sensor 100c and an object based on the output of the sensor 100d, and use this as an object based on the output of the fusion sensor by the sensors 100c and 100d. ..
  • the tracking ID generation unit 201c generates a tracking ID for identifying an object detected by the tracking processing unit 200c based on the outputs of the sensors 100c and 100d.
  • the tracking ID generation unit 201c passes the generated tracking ID to the tracking processing unit 200c.
  • the tracking processing unit 200c tracks the detected object using the tracking ID passed from the tracking ID generation unit 201c in the same manner as the tracking processing unit 200a described above.
  • the tracking processing unit 200c passes the tracking ID of the tracked object to the integration unit 300.
  • Each set of units 201a corresponds to a unit.
  • the integration unit 300 receives tracking IDs from the tracking processing units 200a, 200b, and 200c, respectively.
  • the observation ID generation unit 301 generates each observation ID by associating each tracking ID received by the integration unit 300 with identification information that identifies each unit of the output source of each tracking ID.
  • the observation ID generation unit 301 passes each generated observation ID to the integration unit 300.
  • observation ID generation unit 301 generates observation identification information (observation ID) in which the target detected by the detection unit (tracking processing unit 200a) based on the observation value and the sensor related to the observation value are associated with each other. Functions as a generator.
  • the integration unit 300 extracts the observation IDs corresponding to the same object from the observation IDs passed from the observation ID generation unit 301, and identifies the observation IDs generated by the observation ID generation unit 301 for each extracted observation ID. Associate information (integrated tracking ID).
  • the observation ID generation unit 301 generates one integrated tracking ID for each observation ID extracted by the integration unit 300 as corresponding to the same object, and the generated integrated tracking ID is integrated into the integration unit. Pass to 300.
  • the integration unit 300 associates the integrated tracking ID passed from the observation ID generation unit 301 with each corresponding observation ID and holds it in the ID holding unit 302. Further, the integrated unit 300 associates each observation value corresponding to the integrated tracking ID with the integrated tracking ID and holds it in, for example, the ID holding unit 302.
  • the integrated unit 300 functions as a control unit that controls the holding of the observation identification information (observation ID) generated by the generation unit (observation ID generation unit 301) in the holding unit (ID holding unit 302).
  • the integration unit 300 updates the observation values corresponding to the objects held in the ID holding unit 302. Further, when an observation ID different from the observation ID associated with the integrated tracking ID held in the ID holding unit 302 is generated for the same object, the integrated unit 300 uses the observation ID for integrated tracking. Update the ID.
  • the integration unit 300 can apply a known method called Gatting or Validation Region (hereinafter referred to as Gatting) to the process of selecting an object corresponding to a tracking target from a plurality of objects.
  • Gatting Gatting or Validation Region
  • FIG. 4 is a schematic diagram for explaining the Gatting process applicable to the embodiment.
  • the observed values (objects) z 1 , z 2 , z 3 , ..., Z 9 are obtained. Further, it is assumed that the position of the tracking target 600 is estimated by the prior processing.
  • an arbitrary noise dispersion value is set, and among the observed values z 1 , z 2 , z 3 , ..., Z 9 , the observation value up to the range (Gating range 700) as the probability distribution is the tracking target.
  • This is a filtering process for selecting whether to be a candidate for an observation value corresponding to 600. For example, for each observed value z 1 , z 2 , z 3 , ..., Z 9 , the difference between the tracking target 600 and the state of the observed value is obtained, and each element described later is the variance of the obtained difference. Is excluded, and it is determined whether or not the total value (Mahalanobis distance) is within the Gazing range 700.
  • the observed values z 1 , z 2 , z 3 , ..., Z 9 have a Gatting range of 700 (corresponding to the Gating region 70 in FIG. 2). It is inside the and is a candidate to be associated with the tracking target. Further, among the observed values z 1 , z 3 , z 5 and z 7 , the observed value z 3 is the closest to the tracking target 600. Therefore, as shown by the arrow 601 in the figure, the observed value z 3 is associated with the tracking target 600.
  • the position (x, y, z) of the observed value (object), the velocity of the observed value, the vertical width, the horizontal width and the depth of the observed value can be applied.
  • FIG. 5 is a block diagram showing a hardware configuration of an example of an information processing device that can realize the tracking system 1 according to the embodiment.
  • the information processing device 2000 is connected to a CPU (Central Processing Unit) 2010, a ROM (Read Only Memory) 2011, a RAM (Random Access Memory) 2012, and a storage device so as to be communicable with each other by a bus 2030. It includes a 2013, an operation unit 2014, an output I / F 2015, and a communication I / F 2016.
  • the information processing apparatus 2000 further includes sensors I / F 2020a, 2020b, 2020c, ..., Which are connected to the bus 2030.
  • the storage device 2013 is a non-volatile storage medium such as a flash memory or a hard disk drive.
  • the storage device 2013 can store an information processing program for operating the CPU 2010, and can also store various data used by the information processing program.
  • the CPU 2010 operates using the RAM 2012 as a work memory according to the information processing program stored in the ROM 2011 and the storage device 2013, and controls the overall operation of the information processing device 2000.
  • the operation unit 2014 has an operator for accepting a user operation.
  • the operation unit 2014 passes a control signal corresponding to the user operation to the operator to the CPU 2010. Further, the operation unit 2014 may further include a display element or the like for presenting information to the user.
  • the output I / F 2015 is an interface for connecting the information processing device 2000 and the external device, and the data generated by the information processing device 2000 is sent to the external device via the output I / F 2015.
  • the communication I / F 2016 is an interface for communicating with the outside of the information processing apparatus 2000 by wireless or wired communication.
  • the information processing apparatus 2000 can communicate with an external network such as the Internet or a LAN (Local Area Network) via the communication I / F 2016.
  • Sensors I / F 2020a, 2020b, 2020c, ... Are interfaces with each sensor 100a, 100b, ... By a camera, radar, LiDAR, or the like.
  • the CPU 2010 can control the sensors 100a, 100b, ... Via the sensors I / F 2020a, 2020b, 2020c, ..., And can acquire the outputs of the sensors 100a, 100b, ....
  • each sensor I / F 2020a, 2020b, 2020c, ... Can store, for example, identification information for identifying its own hardware in advance. Based on this identification information, the CPU 2010 receives data supplied from each sensor I / F 2020a, 2020b, 2020c, ... From any of the sensors I / F 2020a, 2020b, 2020c, ..., That is, each sensor I / F2020a, ... 2020b, 2020c, ... It is possible to know which of the sensors connected to each is obtained. Not limited to this, the CPU 2010 can also acquire the identification information that identifies each sensor directly from each sensor connected to each sensor I / F 2020a, 2020b, 2020c, ....
  • the CPU 2010 when the information processing program according to the embodiment is executed, the CPU 2010 includes the above-mentioned tracking processing units 200a, 200b and 200c, tracking ID generation units 201a, 201b, and 201c, an integrated unit 300, and an observation ID generation unit 301.
  • the ID holding unit 302 is configured as, for example, a module on the main storage area in the RAM 2012.
  • the information processing program can be acquired from an external device (for example, a server device) and installed on the information processing device 2000 by communication via communication I / F 2016, for example.
  • FIG. 6 is a flowchart showing an example of processing in the tracking system 1 according to the embodiment.
  • the tracking system 1 described with reference to FIG. 3 will be described as an example.
  • an integrated tracking ID corresponding to the tracking target 60 is already generated based on the outputs of the sensors 100a, 100b, ..., And the generated integrated tracking ID is held in the ID holding unit 302 by the integrated unit 300. It is assumed that it is.
  • the Gatting area 70 has already been set based on the position of the tracking target 60.
  • step S100 the tracking system 1 executes tracking processing based on the outputs of the sensors 100a, 100b, ... By the tracking processing units 200a, 200b, ...
  • step S101 the tracking system 1 compares the observation ID associated with the integrated tracking ID corresponding to the tracking target 60 with the observation ID acquired by the tracking process in step S100 by the integration unit 300. Then, the integration unit 300 determines whether or not the acquired observation ID has the same observation ID as the observation ID associated with the integrated tracking ID. When the integration unit 300 determines that there is (step S101, "yes"), the integration unit 300 shifts the process to step S102.
  • step S101 and steps S101 and subsequent steps are executed for each of the acquired plurality of observation IDs when a plurality of observation IDs (observation values) are acquired in step S100.
  • step S102 the integration unit 300 determines whether or not the acquired observation ID is inside the Gazing area 70.
  • step S102 the integration unit 300 determines in step S102 (step S102, "inside the area")
  • the integration unit 300 assumes that the observation ID is an observation ID corresponding to the observation ID included in the integration tracking ID, and shifts the process to step S103. Let me.
  • step S102 When the integrated unit 300 determines in step S102 that the acquired observation ID is inside the Gatting region 70, the observation acquired by a sensor other than the sensor from which the observation value corresponding to the observation ID is acquired is determined. Since the value is not used, no calculation is performed for the observed value. As a result, the processing load in the tracking system 1 is reduced.
  • step S103 the integration unit 300 associates the observation value with the observation ID that corresponds to the observation ID included in the integration tracking ID.
  • the integration unit 300 uses the observation value of the observation ID determined to be inside the Gatting region 70 in step S102 as the corresponding related ID included in the integration tracking ID. Associate with. In FIG. 6, the association is shown as "DA (Data Association)".
  • the integration unit 300 updates the tracking state using the observation value associated with the step S103. Then, the integration unit 300 updates the observation ID associated with the observation value in step S103 using the observation value.
  • the integration unit 300 combines all the detected observation IDs to update the state. And update the integrated tracking ID.
  • step S104 When the processing of step S104 is completed, the tracking system 1 returns the processing to step S100.
  • step S101 If the same observation ID as the observation ID acquired in step S100 is included in the observation ID associated with the integrated tracking ID by the determination in step S101 described above (step S101, "Yes"), the acquired observation.
  • the object associated with the ID is likely to match the object associated with the same observation ID acquired in the previous tracking process.
  • a determination based on the Gatting region 70 is performed in step S102 to determine whether or not the value is an outlier. If the object associated with the observation ID is inside the Gatting area 70, the observation ID is considered to be reliable, so the tracking state is updated using a Kalman filter or the like (step S104).
  • step S102 the integration unit 300 determines that the acquired observation ID is not inside the Gatting region 70, that is, the acquired observation ID is outside the Gatting region 70. If this is the case (step S102, “outside the area”), the process is transferred to step S105.
  • step S105 the integration unit 300 has an observation ID corresponding to the tracking target 60 for each characteristic of the observation value corresponding to the observation ID determined to be the same as the observation ID associated with the integration tracking ID in step S101 described above. Determines whether or not it can be associated with.
  • an object outside the Gatting area 70 is an outlier, but depending on the characteristics of the observed value (sensor), even an object outside the Gatting area 70 can be detected with high accuracy. There is.
  • the observed value based on the image information acquired by using the camera as a sensor and the observed value based on the point cloud information acquired by using the radar or LiDAR as a sensor have different characteristics as the observed value.
  • the observed value based on the image information acquired by using the camera as a sensor and the observed value based on the point cloud information acquired by using the radar or LiDAR as a sensor have different characteristics as the observed value.
  • the radar when used as a sensor, it is possible to acquire the observed value with higher accuracy.
  • observation ID of the detected observed value matches the observation ID associated with the integrated tracking ID, the observation ID is integrated even if the corresponding object is outside the Gatting area 70. It is possible to associate it with the tracking ID.
  • the object detected outside the Gatting area 70 it is appropriate to treat the object as an outlier with low detection accuracy (low reliability) in the observation value by one observation method, but the other observation method. It is possible that the object can be regarded as an object corresponding to the tracking target 60 because the detection accuracy is high (high reliability) in the observed values according to the above.
  • step S105 the association of the observed value detected outside the Gatting region 70 is determined according to the characteristics of the observed value.
  • the reliability can be calculated using the variance as an example. For example, the difference between the observation value of the reference source and the observation value of the calculation target of the reliability is obtained, and the variance value of this difference is calculated. The smaller the variance value, the higher the reliability applied.
  • step S105 the integration unit 300 obtains the reliability of the observation value corresponding to the observation ID determined to be the same as the observation value corresponding to the observation ID associated with the integration tracking ID in step S101 described above.
  • the integration unit 300 determines that the observation value is an observation value corresponding to the observation ID associated with the integration tracking ID (step S105, "There is a corresponding observation value”. ”), The process is transferred to step S103.
  • the integration unit 300 associates the observation value of the observation ID determined in step S105 with the corresponding observation ID of the integration tracking ID.
  • step S105 If the integrated unit 300 determines in step S105 that the acquired observation ID has high reliability and the observed value is an observation value corresponding to the observation ID associated with the integrated tracking ID, the observation is performed. Since the observation value acquired by the sensor other than the sensor from which the observation value corresponding to the ID is acquired is not used, the calculation for the observation value is not performed. As a result, the processing load in the tracking system 1 is reduced.
  • step S105 when the obtained reliability is less than the threshold value, the integration unit 300 determines that the observation value is not the observation value corresponding to the observation ID associated with the integration tracking ID (step S105, "step S105". There is no corresponding observation value ”), and the process shifts to step S110.
  • step S110 the integration unit 300 determines the association (DA) with respect to the tracking target 60 based on the observation values other than the observation ID associated with the integration tracking ID.
  • the process of step S110 is the same as the process of determination in step S102 described above.
  • step S110 the integration unit 300 determines whether the observation value of the observation ID not associated with the integration tracking ID is inside or outside the Gatting region 70 among the observation IDs acquired in step S100. If it is determined that it is inside, the process is shifted to step S103, assuming that the observation ID is the observation ID corresponding to the tracking target 60, in the same manner as the process in step S102. In this case, the processing in step S103 is the same as the processing in the transition from step S102 to step S103 described above.
  • step S110 if it is determined in step S110 that the observed value of the target observation ID is outside the Gatting region 70, the integration unit 300 can execute the same process as in step S105. That is, the integration unit 300 determines whether or not to associate with the observation ID corresponding to the tracking target 60 based on the reliability of the observation value for each characteristic of the observation value corresponding to each observation ID not associated with the integration tracking ID. do.
  • the integration unit 300 shifts the process to step S103. In this case, the processing in step S103 is the same as the processing in the transition from step S105 to step S103 described above.
  • step S101 when the integration unit 303 determines in step S101 that the observation ID acquired in step S100 does not have the same observation ID as the observation ID associated with the integrated tracking ID (step). S101, "none"), the process is shifted to step S111.
  • step S111 the integration unit 300 determines whether or not to associate with the tracking target 60 for each observation ID acquired in step S100, that is, for each observation value of each sensor.
  • the process of step S111 is the same as the process of determination in step S102 described above, similar to step S110.
  • step S111 when the observed value acquired in step S100 is inside the Gatting region 70, the integrated unit 300 corresponds to the observation ID of the observed value corresponding to the tracking target 60 in the same manner as the processing of step S102. Assuming that the observation ID is to be performed, the process is shifted to step S103. In this case, the processing in step S103 is the same as the processing in the transition from step S102 to step S103 described above.
  • step S111 when the observed value acquired in step S100 is outside the Gatting region 70, the integration unit 300 can execute the same process as in step S105. That is, the integration unit 300 determines whether or not the association with the observation ID corresponding to the tracking target 60 is possible based on the reliability of the observation value for each characteristic of the observation value of each observation value. When the integration unit 300 determines that the association is to be performed, the integration unit 300 shifts the process to step S103. In this case, the processing in step S103 is the same as the processing in the transition from step S105 to step S103 described above.
  • the process S200 including step S102 and step S105 is an association determination process for a specific observed value, and it is considered that the processing amount of step S102 is smaller than the processing amount of step S105.
  • the process S201 including the steps S110 and S111 is an association determination process based on a large number of observed values, and the amount of processing is larger than that of the process S200. Further, it is considered that the processing amount in step S110 is smaller than the processing amount in step S111.
  • FIG. 7 is a schematic diagram for more specifically explaining the tracking process according to the embodiment. A description will be given with reference to FIG. 7 and the flowchart of FIG. 6 described above. Note that FIG. 7 corresponds to the section (b) of FIG. 2 described above, and shows the section (b) of FIG. 2 in more detail.
  • a radar Radar
  • a fusion sensor formed by a combination of an arbitrary plurality of sensors
  • the fusion sensor and its tracking process are performed by the unit X.
  • the radar and its tracking process are unit Y.
  • the fusion sensor (unit X) detects the objects 50a to 50f, and the observation IDs "X-1" to “X-6" are associated with each other. Further, the radar (unit Y) detects the objects 51a to 51f, and the observation IDs "Y-1" to “Y-6" are associated with each other.
  • a tracking target 60 as a tracking target (Tracking Target) is generated based on the detection result before the time Tn (previous stage), and the Gatting area 70 is set based on the tracking target 60.
  • the tracking target 60 holds the observation IDs “X-1” and “Y-10” previously associated as the integrated tracking ID (hereinafter, a plurality of observations).
  • the ID association is described as the observation ID "X-1, Y-10").
  • Tracking is executed (FIG. 6, step S100), and the observation ID is detected for each sensor (unit X, unit Y).
  • the object 50a corresponding to the observation ID “X-1” is detected (FIG. 6, step S101, “presence”) and is inside the Gatting region 70 (FIG. 6, step S102, “inside the region”). "). Therefore, the integration unit 300 determines that the observation ID "X-1" is an observation ID associated with the integrated tracking ID (FIG. 6, step S103).
  • the integration unit 300 selects an observation ID associated with the tracking target 60 from the observation IDs “Y-1” to “Y-6” detected by the unit Y (step S111). In this example, the integration unit 300 determines that the observation ID “Y-3” corresponding to the object 51a included in the Gatting region 70 is the observation ID associated with the integration tracking ID (FIG. 6, step S103).
  • the tracking system 1 updates the tracking state using the observation IDs "X-1" and "Y-3", and sets the observation ID associated with the integrated tracking ID to the observation IDs "X-1, Y-”. 3 ”(FIG. 6, step S104).
  • the tracking target 60 holds the observation ID “X-1, Y-10” previously associated as the integrated tracking ID.
  • the object 50c corresponding to the observation ID “X-2” is detected, but the object 50c is outside the Gatting area 70 (FIG. 6, step S102, “outside the area”).
  • the integration unit 300 said that the object 50c corresponding to the observation ID is outside the Gatting region 70. It is determined that the observation ID "X-2" is the observation ID associated with the integrated tracking ID (FIG. 6, step S105, "with corresponding observation value", step S103).
  • observation ID "Y-10" the observation ID "Y-3" is associated with the integrated tracking ID instead of the observation ID "Y-10" in the same manner as in the first example described above. (FIG. 6, step S103).
  • the tracking system 1 updates the tracking state using the observation IDs "X-2" and "Y-3", and sets the observation ID associated with the integrated tracking ID to the observation IDs "X-2, Y-”. 3 ”(FIG. 6, step S104).
  • FIG. 8 is a schematic diagram for explaining still another example of the tracking process according to the embodiment.
  • Section (a) of FIG. 8 shows an example of the detection result at time Tn
  • section (b) shows an example of the detection result at time Tn + 1 after a predetermined time has elapsed from the state of section (a) by a bird's-eye view.
  • the objects 50a to 50f are detected by the unit X
  • the objects 51a to 51f are detected by the unit Y, as in FIG. 7 described above.
  • the tracking target 60 holds the observation ID “X-4, Y-10” associated with the integrated tracking ID at time Tn.
  • the object 50b inside the Gatting area 70 is associated with the observation ID "X-4" at the time Tn, which corresponds to the integrated tracking ID at the time Tn.
  • the object 50b corresponding to the observation ID "X-4" at the time Tn + 1 after a predetermined time from the time Tn shown in the section (b) was erroneously detected in the tracking of the time Tn and newly detected at the time Tn + 1.
  • the observation ID "X-1" of the observation value is detected as an associated object. That is, the object 50b detected as the observation ID "X-4" at the time Tn is detected as the object corresponding to the observation value of the observation ID "X-1" at the time Tn + 1.
  • step S101 of FIG. 6 the object 50b that is the same as the object 50b corresponding to the observation ID “X-4” associated with the tracking target 60 with respect to the observation ID is newly observed ID “X-1” at time Tn + 1. Has been detected as.
  • the integration unit 300 determines the observation ID associated with the integrated tracking ID based on the observation values of the other observation IDs by the unit X (FIG. 6, step S110).
  • the observation ID is selected as the observation ID associated with the integrated tracking ID based on the observation value.
  • observation ID "Y-10" the observation ID "Y-3" is associated with the integrated tracking ID instead of the observation ID "Y-10" in the same manner as in the first example described above. (FIG. 6, step S103).
  • the tracking system 1 updates the tracking state using the observation IDs "X-1" and "Y-3", and sets the observation ID associated with the integrated tracking ID to the observation IDs "X-1, Y-”. 3 ”(FIG. 6, step S104).
  • the erroneous tracking process can be repaired. That is, even if the observation ID that should be originally associated with a certain object associated with the integrated tracking ID is associated with another object, if the object is detected, the observation ID of the object is integrated tracking. It can be associated with the ID, and the error in the tracking process in the previous stage is repaired.
  • FIG. 9A is a schematic diagram showing an example of a captured image captured by a camera.
  • the tracking system 1 according to the embodiment is mounted on a vehicle (own vehicle) and used, and the sensors 100a to 100d are arranged so as to perform detection from the front to the front. do.
  • FIG. 9B is a bird's-eye view schematically showing an example of the detection results of each object group 500 to 503 when tracking is executed for the situation of FIG. 9A.
  • the horizontal axis indicates the position in the width direction when the center is used as a reference (own vehicle position), and the vertical axis indicates the position in the distance direction with respect to the own vehicle position.
  • the solid line rectangle shows an example of the detection result by the first detection method
  • the dotted line rectangle shows an example of the detection result by the second detection method.
  • each object group 500 to 503 is detected in a size or shape closer to the actual one in the tracking result by the first detection method than in the tracking result by the second detection method. This indicates that the first detection method can execute the tracking process with higher accuracy than the second detection method.
  • the tracking system 1 since the identification information indicating the sensor is associated with the observed value acquired by the tracking, the tracking for each sensor is easily executed when a plurality of sensors are used. It is possible.
  • an observation ID is generated by associating the identification information indicating the sensor with the identification information for identifying the object (observed value) detected based on the output of the sensor, and the tracking target is used.
  • an integrated tracking ID that integrates the observation IDs for each sensor is associated. Then, the tracking of the tracking target is executed based on each observation ID associated with the integrated tracking ID, and the range of the observation ID used for the tracking is expanded as needed. Therefore, the amount of calculation required for the tracking process of the tracking target can be reduced, and the time required for associating the observed value with the tracking target can be shortened.
  • the tracking system 1 has been described as being used for in-vehicle use, but this is not limited to this example.
  • the tracking system 1 may be arranged at a traffic light, a traffic sign, a building on the side of a road, or the like.
  • the tracking target targeted by the tracking system 1 is not limited to vehicles such as roads and pedestrians.
  • indoor and outdoor people can be targeted as tracking targets.
  • the present technology can also have the following configurations.
  • a detector that detects an object based on the observed value acquired from the output of the sensor, Observation identification information in which the target detected based on the observed value by the detection unit and the sensor related to the observed value are associated with each of the one or more objects detected by the detection unit.
  • the generator to generate and A control unit that controls the holding of the observation identification information generated by the generation unit in the holding unit, Information processing device equipped with.
  • the control unit When the object corresponding to the observation identification information is included in a predetermined area, the observation identification information is held in the holding unit.
  • the information processing device according to (1) above.
  • the control unit The predetermined region is set based on the observation value corresponding to the observation identification information held in the holding unit.
  • the control unit Whether or not to hold the observation identification information in the holding unit based on the characteristics of the sensor corresponding to the observation identification information when the object corresponding to the observation identification information is not included in the predetermined region. judge, The information processing apparatus according to (2) or (3) above.
  • the control unit The observation identification information held in the holding unit is updated with the observation identification information generated by the generation unit, which has the same target associated with the observation identification information.
  • the information processing apparatus according to any one of (1) to (4).
  • the generator is Generates integrated identification information that integrates a plurality of the observation identification information based on the outputs of the plurality of sensors having the same object.
  • the information processing apparatus according to any one of (1) to (5).
  • the control unit The observation acquired from the output of the sensor when the plurality of observation identification information integrated into the integrated identification information does not include the observation identification information that matches the observation identification information generated by the generation unit. Based on each of the values, it is determined whether or not the observation identification information corresponding to the observed value is held in the holding unit.
  • the information processing apparatus according to (6) above.
  • the control unit The observation identification associated with the object detected by the detection unit based on the observation value when the observation identification information based on the characteristics of the sensor corresponding to the observation identification information is not held in the holding unit. Whether or not to retain the observation identification information in the holding unit based on the observation value associated with the observation identification information excluding the observation identification information of the target for determining whether or not to retain the information in the holding unit.
  • the detector is The object is detected based on each of the observed values acquired from the outputs of the plurality of sensors.
  • the information processing apparatus according to any one of (1) to (8).
  • the sensor includes a sensor that performs detection using light.
  • the sensor includes a sensor that performs detection using millimeter waves.
  • (12) Performed by the processor, A detection step that detects an object based on the observed values obtained from the output of the sensor, Observation identification information associated with the target detected based on the observed value by the detection step and the sensor related to the observed value is transmitted to each of the one or more objects detected by the detection unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本開示に係る情報処理装置（１）は、センサの出力から取得された観測値に基づき対象を検出する検出部（１００ａ～１００ｄ、２００ａ～２００ｃ）と、検出部により観測値に基づき検出された対象と、観測値に係るセンサと、を関連付けた観測識別情報を、検出部により検出された１以上の対象のそれぞれに対して生成する生成部（３０１）と、生成部で生成された観測識別情報の保持部への保持を制御する制御部（３００）と、を備える。

Description

情報処理装置および情報処理方法
　本開示は、情報処理装置および情報処理方法に関する。
　カメラやレーダといったセンサを用いて対象を検出し、検出した対象を追跡するトラッキング技術が知られている。また、対象のトラッキングを複数のセンサを用いて実行する技術も知られている。例えば、特性の異なる複数のセンサを用いることで、トラッキングをより高精度に実行することが可能となる。
特開２０１８－６６７１６号公報
　複数のセンサを用いてトラッキングを行う場合、対象とセンサ毎の観測値とを関連付ける処理が重要となる。ここで、複数のセンサそれぞれにおいて複数の対象が検出される場合があり、各センサにおける観測値が多くなるほど、各観測値に関連付ける対象の選定に要する時間が増大してしまう。
　本開示は、複数のセンサを用いたトラッキングをより短時間で実行可能とする情報処理装置および情報処理方法を提供することを目的とする。
　本開示に係る情報処理装置は、センサの出力から取得された観測値に基づき対象を検出する検出部と、検出部により観測値に基づき検出された対象と、観測値に係るセンサと、を関連付けた観測識別情報を、検出部に検出された１以上の対象のそれぞれに対して生成する生成部と、生成部で生成された観測識別情報の保持部への保持を制御する制御部と、を備える。
実施形態に係るトラッキングシステムの概要を説明するための模式図である。 実施形態に係るトラッキング処理を説明するための模式図である。 実施形態に係るトラッキングシステム１の機能を説明するための一例の機能ブロック図である。 実施形態に適用可能なＧａｔｉｎｇ処理を説明するための模式図である。 実施形態に係るトラッキングシステムを実現可能な情報処理装置の一例のハードウェア構成を示すブロック図である。 実施形態に係るトラッキングシステム１における処理を示す一例のフローチャートである。 実施形態に係るトラッキング処理をより具体的に説明するための模式図である。 実施形態に係るトラッキング処理のさらに別の例について説明するための模式図である。 カメラで撮像した撮像画像の例を示す模式図である。 トラッキングを実行した場合の各オブジェクト群の検出結果の例を模式的に示す鳥瞰図である。
　以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
　以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示の概要
２．実施形態
　２－１．実施形態の概要
　２－２．実施形態に適用可能な構成
　　２－２－１．機能的構成例
　　２－２－２．ハードウェア構成例
　２－３．実施形態に係る処理
　　２－３－１．実施形態に係る処理の具体的な例
　２－４．既存技術との対比
（１．本開示の概要）
　本開示に係るトラッキングシステムでは、複数のセンサを用い、センサ毎にセンサの出力に基づきターゲットをトラッキングし、複数のセンサによる各トラッキング結果を統合する。このとき、本開示に係るトラッキングシステムでは、トラッキングの対象に対し、トラッキングを識別するトラッキングＩＤとは別に、トラッキングに用いたセンサ毎に識別情報を生成し、保持する。より具体的には、本開示に係るトラッキングシステムでは、トラッキングに用いたセンサを識別する識別情報と、当該トラッキングを識別する識別情報と、を関連付けてセンサ毎に観測ＩＤとして保持する。
　本開示では、トラッキングの対象に対して観測値の関連付けを行う際に、前段の観測ＩＤと、後段の、保持している観測ＩＤとを参照することで、計算量の削減や、前段におけるトラッキング誤りを吸収し、トラッキング処理時間の短縮、最終的なトラッキング精度の向上が可能となる。
（２．実施形態）
　次に、本開示の実施形態について説明する。
（２－１．実施形態の概要）
　先ず、本開示の実施形態の概要について説明する。図１は、実施形態に係るトラッキングシステムの概要を説明するための模式図である。図１の例では、トラッキングシステム１は、４つのセンサ１０ａ～１０ｄを用いてトラッキング対象を検出する。この例では、センサ１０ａおよび１０ｂがカメラ、センサ１０ｃがレーダ、センサ１０ｄがＬｉＤＡＲ(Light　Detection　and　Ranging,　Laser　Imaging　Detection　and　Ranging)である。
　センサ１０ａおよび１０ｂとしてのカメラ（図１ではそれぞれカメラ＃１、カメラ＃２と記載）は、可視光領域の波長の光を検出し、検出結果を撮像画像として出力する。これに限らず、カメラ＃１、＃２は、赤外線領域の波長の光、紫外線領域の波長の光を検出するものであってもよい。
　センサ１０ｃとしてのレーダは、例えばミリ波を射出し、その反射波を検出する。レーダによる検出結果は、ミリ波の照射位置に応じた点群として出力される。センサ１０ｄとしてのＬｉＤＡＲは、レーダよりも短い波長の電磁波、例えばレーザ光を射出し、その反射光を検出する。ＬｉＤＡＲによる検出結果は、レーダと同様、レーザ光の照射位置に応じた点群として出力される。
　なお、図１では、トラッキングシステム１において、４つのセンサ１０ａ～１０ｄが用いられる例を示しているが、これはこの例に限定されない。すなわち、実施形態に適用可能なトラッキングシステム１では、トラッキング対象を検出するためのセンサを複数用いればよく、センサが２個または３個であってもよく、また、５個以上のセンサを用いてもよい。
　また、複数のセンサの組み合わせを１つのセンサとして扱うこともできる。例えば、２以上のカメラの組み合わせを１つのセンサとして扱うことができる。また例えば、カメラとレーザ、カメラとＬｉＤＡＲなど、異なる種類のセンサを組み合わせて、１つのセンサとして扱うこともできる。このように、複数のセンサを組み合わせて１つのセンサとして扱うことを、フュージョン（Ｆｕｓｉｏｎ）と呼ぶ。また、複数のセンサの組み合わせによる１つのセンサを、フュージョンセンサと呼ぶことがある。
　トラッキングシステム１は、センサ１０ａの出力に基づく観測値を用いてトラッキング処理２０ａを実行し、オブジェクトの検出および検出されたオブジェクトの追跡を行う。なお、トラッキング処理２０ａでは、センサ１０ａの出力に基づき複数のオブジェクトを検出することが可能である。トラッキングシステム１は、トラッキング処理２０ａにより検出された各オブジェクトに識別情報（トラッキングＩＤと呼ぶ）を関連付ける。図の例では、トラッキング処理２０ａにより検出された各オブジェクトに対して、トラッキングＩＤ「１」、…が関連付けられている。
　センサ１０ｂ、１０ｃおよび１０ｄについても、センサ１０ａと同様である。すなわち、トラッキングシステム１は、センサ１０ｂ、１０ｃおよび１０ｄそれぞれの出力に基づきトラッキング処理２０ｂ、２０ｃおおよび２０ｄを実行し、それぞれ、オブジェクトの検出および検出されたオブジェクトの追跡を行う。トラッキングシステム１は、トラッキング処理２０ｂ、２０ｃおよび２０ｄによりそれぞれ検出された各オブジェクトにトラッキングＩＤを関連付ける。図１の例では、トラッキング処理２０ｂ、２０ｃおよび２０ｄによりそれぞれ検出された各オブジェクトに対して、トラッキングＩＤ「８」、…、トラッキングＩＤ「１７」、…、トラッキングＩＤ「２１」、…がそれぞれ関連付けられている。
　ここで、トラッキング処理２０ａ、２０ｂ、２０ｃおよび２０ｄにおいて、各センサ１０ａ、１０ｂ、１０ｃおよび１０ｄの出力に基づく観測値を用いてオブジェクトを生成し、オブジェクトの検出が行われる。観測値は、センサがカメラであれば、画像情報を適用できる。また、センサがレーダやＬｉＤＡＲであれば、観測値として点群情報を適用できる。また、観測値は、そのオブジェクトの位置を示す位置情報を含むことができる。これに限らず、位置情報は、観測値に基づき求めることも可能である。
　以下、センサと、当該センサの出力に基づくトラッキング処理との組を、ユニットと呼ぶ。図１の例では、センサ１０ａおよびトラッキング処理２０ａの組をユニットＡ、センサ１０ｂおよびトラッキング処理２０ｂの組をユニットＢ、センサ１０ｃおよびトラッキング処理２０ｃの組をユニットＣ、ならびに、センサ１０ｄおよびトラッキング処理２０ｄの組をユニットＤ、とする。
　トラッキングシステム１は、統合トラッキング処理３０において、各ユニットＡ～Ｄで取得したトラッキングＩＤに対して、そのトラッキングＩＤが取得されたユニットを識別する識別情報を関連付けて、観測ＩＤを生成する。図１の例では、トラッキングシステム１は、各ユニットＡ～Ｄを識別する識別情報を、それぞれ「Ａ」、「Ｂ」、「Ｃ」および「Ｄ」とし、これら「Ａ」、「Ｂ」、「Ｃ」および「Ｄ」に対して、統合トラッキング処理３０により、それぞれのユニットで検出されたトラッキングＩＤを関連付ける。
　なお、各ユニットＡ～Ｄは、それぞれ１つのセンサ１０ａ～１０ｄと１対１に対応している（フュージョンセンサも含む）。そのため、各ユニットＡ～Ｄを識別する識別情報「Ａ」～「Ｄ」は、各センサ１０ａ～１０ｄを識別する識別情報であるといえる。
　一例として、ユニットＡにおいてトラッキング処理２０ａにより検出されたオブジェクトに関連付けられるトラッキングＩＤ「１」が、統合トラッキング処理３０に渡される。統合トラッキング処理３０では、ユニットＡから渡されたトラッキングＩＤ「１」と、ユニットＡを識別する識別情報「Ａ」とを関連付けて、観測ＩＤ「Ａ－１」を生成する。この観測ＩＤ「Ａ－１」は、トラッキングターゲットに対応するトラッキングＩＤ「１］で示されるオブジェクトの検出に用いた観測値に対応する識別情報である。
　ユニットＢ、ＣおよびＤでも同様である。すなわち、ユニットＢでは、例えばトラッキングターゲットに対応するトラッキングＩＤ「８」が統合トラッキング処理３０に渡される。統合トラッキング処理３０では、このトラッキングＩＤ「８」と、ユニットＢを識別する識別情報「Ｂ」とを関連付けて、観測ＩＤ「Ｂ－８」を生成する。ユニットＣおよびＤでも同様に、統合トラッキング処理３０では、ユニットＣおよびＤからそれぞれ渡された、それぞれトラッキングターゲットに対応するトラッキングＩＤ「１７」および「２１」と、ユニットＣおよびＤを識別する識別情報「Ｃ」および「Ｄ」と、をそれぞれ関連付けて、観測ＩＤ「Ｃ－１７」および「Ｄ－２１」を生成する。
　トラッキングシステム１は、統合トラッキング処理３０により、各ユニットＡ～Ｄで生成された各観測ＩＤのうち、同一のオブジェクトをトラッキングしていると推測されるトラッキングＩＤが関連付けられた観測ＩＤを統合する。図１の例では、ユニットＡ、Ｂ、ＣおよびＤで、それぞれトラッキングＩＤ「１」、「８」、「１７」および「２１」でそれぞれトラッキングされる各対象が同一のオブジェクトであると推測されている。そのため、統合トラッキング処理３０では、これらユニットＡ、Ｂ、ＣおよびＤそれぞれトラッキングＩＤ「１」、「８」、「１７」および「２１」に対応する観測ＩＤ「Ａ－１」、「Ｂ－８」、「Ｃ－１７」および「Ｄ－２１」を統合する。
　トラッキングシステム１は、統合トラッキング処理３０において、統合された観測ＩＤ「Ａ－１」、「Ｂ－８」、「Ｃ－１７」および「Ｄ－２１」に対して、統合トラッキングＩＤ（図１の例では「３０」）を関連付ける。トラッキングシステム１は、統合トラッキング処理３０において、統合トラッキングＩＤ「３０」に対して複数の観測ＩＤを統合したことを示す識別情報（図１の例では「Ｚ」）を関連付けて、新たなトラッキングＩＤ「Ｚ－３０」として出力する。
　この統合された観測ＩＤ「Ｚ－３０」から、当該観測ＩＤ「Ｚ－３０」に統合された各観測ＩＤ「Ａ－１」，「Ｂ－８」，「Ｃ－１７」，「Ｄ－２１」を参照することができる。さらに、各観測ＩＤ「Ａ－１」，「Ｂ－８」，「Ｃ－１７」，「Ｄ－２１」から、それぞれのトラッキングＩＤ「１」、「８」、「１７」および「２１」を参照し、各トラッキングＩＤ「１」、「８」、「１７」および「２１」に関連付けられるオブジェクトの位置および観測値を取得することができる。
　図２は、実施形態に係るトラッキング処理を説明するための模式図である。図２のセクション（ａ）は、時刻Ｔｎにおける検出結果の例、セクション（ｂ）は、セクション（ａ）の状態から所定時間経過後の時刻Ｔｎ＋１における検出結果の例をそれぞれ鳥瞰図により示している。なお、ここでは、センサとしてレーダ（Ｒａｄａｒ）と、任意の複数のセンサの組み合わせによるフュージョンセンサとを用い、フュージョンセンサおよびそのトラッキング処理をユニットＸ、レーダおよびそのトラッキング処理をユニットＹとする。
　図２のセクション（ａ）において、フュージョンセンサ（ユニットＸ）により、オブジェクト５０ａおよび５０ｂが検出されている。また、レーダ（ユニットＹ）により、オブジェクト５１ａ、５１ｂおよび５１ｃが検出されている。一方、時刻Ｔｎより時間的に前（前段）における検出結果に基づき、トラッキングターゲット（Ｔｒａｃｋｉｎｇ　Ｔａｒｇｅｔ）としてのオブジェクト６０（以下、トラッキングターゲット６０）が生成されている。このトラッキングターゲット６０の位置に基づき、例えば後述する既知のＧａｔｉｎｇ処理により、トラッキングターゲット６０を検出しているか否かを判定するためのＧａｔｉｎｇ領域７０を設定する。すなわち、このＧａｔｉｎｇ領域７０内で検出されたオブジェクトは、トラッキングターゲットとしてのトラッキングターゲット６０を検出していると判定される。
　図２のセクション（ａ）の例では、オブジェクト５０ａおよび５１ａがＧａｔｉｎｇ領域７０の内部にあり、トラッキングシステム１は、これらオブジェクト５０ａおよび５１ｂがトラッキングターゲット６０を検出していると判定する。これらオブジェクト５０ａおよび５１ａは、それぞれセンサの出力に基づく観測値により生成している。そのため、トラッキングシステム１は、オブジェクト５０ａおよび５１ａの生成に用いた各観測値の各観測ＩＤを、オブジェクト５０ａおよび５１ａにそれぞれ関連付けて保持する。
　すなわち、オブジェクト５０ａは、識別情報「Ｘ」のユニットＸにおいて検出された各オブジェクトのうちトラッキングＩＤ「１」のオブジェクトである。そのため、トラッキングシステム１は、オブジェクト５０ａについて、検出に用いた観測値に対応する観測ＩＤ「Ｘ－１」を、ユニットＸおよびトラッキングＩＤ「１」に関連付けて保持する。
　オブジェクト５１ａについても同様である。この例では、オブジェクト５１ａは、ユニットＹにおいて検出された各オブジェクトのうちトラッキングＩＤ「３」のオブジェクトである。そのため、トラッキングシステム１は、オブジェクト５１ａの検出に用いた観測値に対応する観測ＩＤ「Ｙ－３」を、ユニットＹおよびトラッキングＩＤ「３」に関連付けて保持する。
　なお、図２のセクション（ａ）において、トラッキングシステム１は、Ｇａｔｉｎｇ領域７０の外部にある各オブジェクト５０ｂ、５１ｂおよび５１ｃについては、トラッキングターゲット６０に関しては、無視する。
　また、オブジェクト５０ａに対応するトラッキングＩＤ「１」は、ユニットＸ内におけるローカルなトラッキングＩＤとなる。同様に、オブジェクト５１ａに対応するトラッキングＩＤ「３」は、ユニットＹ内におけるローカルなトラッキングＩＤとなる。
　図２のセクション（ｂ）に示されるように、セクション（ａ）の時刻Ｔｎから所定時間経過後の時刻Ｔｎ＋１では、時刻ＴｎでユニットＸにより検出されたオブジェクト５０ａおよび５０ｂと、ユニットＹにより検出されたオブジェクト５１ａおよび５１ｂと、がそれぞれ再び検出され、さらに、オブジェクト５０ｂ、５１ａおよび５１ｂは、時刻Ｔｎの位置から移動されている。また、ユニットＹにより、新たにオブジェクト５１ｄが検出されていると共に、時刻Ｔｎにおいて検出されたオブジェクト５１ｃが検出されていない。
　ここで、時刻Ｔｎ＋１において、オブジェクト５１ａは、時刻Ｔｎの状態から位置が移動している。一方、ユニットＹにおいて、位置が移動した後も、オブジェクト５１ａは、Ｇａｔｉｎｇ領域７０内のオブジェクトであって、位置移動前の時刻Ｔｎにおいて検出されたオブジェクト５１ａと同一のオブジェクトとして検出されている。そのため、トラッキングシステム１は、時刻Ｔｎ＋１において、時刻Ｔｎで検出された当該オブジェクト５１ａのトラッキングＩＤ「３」を用いて、観測ＩＤ「Ｙ－３」を生成する。このとき、トラッキングシステム１は、当該観測ＩＤ「Ｙ－３」に対応するオブジェクト５１ａの時刻Ｔｎで取得した観測値を、時刻Ｔｎ＋１で取得した観測値に更新する。
　また、トラッキングシステム１は、Ｇａｔｉｎｇ領域７０内に検出された各オブジェクト５０ａおよび５１ａそれぞれの観測ＩＤ「Ｘ－１」および「Ｙ－３」を統合トラッキング処理３０により統合して、トラッキングＩＤ「Ｚ－４」を生成する。トラッキングＩＤ「Ｚ－４」は、観測ＩＤ「Ｘ－１」および「Ｙ－３」が関連付けられる。
　すなわち、時刻Ｔｎ＋１において、観測ＩＤ「Ｘ－１」および「Ｙ－３」の観測値を用いてトラッキングを行った結果が、トラッキングＩＤ「Ｚ－４」として示される。したがって、トラッキングターゲットとしてのトラッキングターゲット６０を示すトラッキングＩＤは、トラッキングＩＤ「Ｚ－４」であり、このトラッキングＩＤ「Ｚ－４」に対して、観測ＩＤ「Ｘ－１」および「Ｙ－３」が関連付けられる。
　また、時刻Ｔｎにおいて、トラッキングＩＤ「Ｚ－４」で示されるトラッキングターゲットとしてのトラッキングターゲット６０は、観測ＩＤ「Ｘ－１」および「Ｙ－３」が関連付けられて状態が更新されている。時刻Ｔｎ＋１において、時刻Ｔｎと対応する観測ＩＤが存在する場合（この例では観測ＩＤ「Ｘ－１」および「Ｙ－３」）には、これら対応する観測ＩＤを利用することで、オブジェクトの検出処理などの負荷を軽減させることが可能である。
（２－２．実施形態に係る構成）
　次に、実施形態に係る構成について説明する。
（２－２－１．機能的構成例）
　先ず、実施形態に係る、機能的構成の例について説明する。図３は、実施形態係るトラッキングシステム１の機能を説明するための一例の機能ブロック図である。図３において、トラッキングシステム１は、センサ１００ａ、１００ｂ、１００ｃおよび１００ｄと、トラッキング処理部２００ａ、２００ｂおよび２００ｃと、トラッキングＩＤ生成部２０１ａ、２０１ｂ、および２０１ｃと、統合部３００と、観測ＩＤ生成部３０１と、ＩＤ保持部３０２と、を含む。
　これらのうち、トラッキング処理部２００ａ、２００ｂおよび２００ｃ、トラッキングＩＤ生成部２０１ａ、２０１ｂ、および２０１ｃ、統合部３００、観測ＩＤ生成部３０１、ならびに、ＩＤ保持部３０２は、後述するＣＰＵ上で実施形態に係る情報処理プログラムが実行されることで実現される。これに限らず、トラッキング処理部２００ａ、２００ｂおよび２００ｃ、トラッキングＩＤ生成部２０１ａ、２０１ｂ、および２０１ｃ、統合部３００、観測ＩＤ生成部３０１、ならびに、ＩＤ保持部３０２の一部また全部を、互いに協働して動作するハードウェア回路により構成することも可能である。
　なお、図３の例では、センサ１００ａ～１００ｄのうちセンサ１００ｃおよび１００ｄは、出力を組み合わせて用いるフュージョンセンサとして構成されている。また、センサ１００ａ～１００ｄは、図３においては、それぞれセンサ（１）、センサ（２）、センサ（３）およびセンサ（４）としても示されている。ここでは、各センサ１００ａ～１００ｄは、それぞれ、カメラ、レーダおよびＬｉＤＡＲの何れかであるものとする。
　トラッキング処理部２００ａは、センサ１００ａの出力からオブジェクトを示す観測値を抽出し、抽出した観測値に基づきオブジェクトを検出する。また、トラッキング処理部２００ａは、例えば新たに検出されたオブジェクトと、当該オブジェクトに対して時間的に前に検出されたオブジェクトと、を比較することで、オブジェクトのトラッキングを行う。
　例えば、センサ１００ａがカメラでありセンサ１００ａの出力が画像データであれば、トラッキング処理部２００ａは、センサ１００ａから供給された画像データを解析して特徴量を抽出し、抽出した特徴量を用いて認識処理を実行してオブジェクトを検出する。
　また例えば、センサ１００ａがレーダあるいはＬｉＤＡＲであれば、センサ１００ａの出力に基づき、それぞれ距離および方向の情報を持つ点の集合である点群情報を得ることができる。トラッキング処理部２００ａは、センサ１００ａから供給されたデータに基づき点群情報を生成し、生成された点群情報に対して所定の条件に従いクラスタリングを行う。クラスタリングの条件としては、例えば各点間の距離が所定距離以内である点の集合や、移動速度が同一の点の集合、などを適用することが考えられる。トラッキング処理部２００ａは、クラスタリングの単位毎にオブジェクトの検出を行う。
　このように、トラッキング処理部２００ａは、センサ１００ａの出力から取得された観測値に基づき対象（オブジェクト）を検出する検出部として機能する。
　トラッキングＩＤ生成部２０１ａは、トラッキング処理部２００ａで検出されたオブジェクトに対して、当該オブジェクトを識別するためのトラッキングＩＤを生成する。トラッキングＩＤ生成部２０１ａは、生成したトラッキングＩＤをトラッキング処理部２００ａに渡す。
　トラッキング処理部２００ａは、トラッキングＩＤ生成部２０１ａから渡されたトラッキングＩＤを用いて、検出したオブジェクトのトラッキングを行う。トラッキング処理部２００ａは、トラッキングされたオブジェクトのトラッキングＩＤを統合部３００に渡す。
　トラッキング処理部２００ｂおよびトラッキングＩＤ生成部２０１ｂにおける処理は、上述のトラッキング処理部２００ａおよびトラッキングＩＤ生成部２０１ａにおける処理と同様であるので、ここでの説明を省略する。
　トラッキング処理部２００ｃは、センサ１００ｃおよび１００ｄそれぞれの出力からオブジェクトを示す観測値を抽出し、抽出した観測値に基づきオブジェクトを検出する。例えば、トラッキング処理部２００ｃは、センサ１００ｃの出力に基づくオブジェクトと、センサ１００ｄの出力に基づくオブジェクトとの論理積を取り、これをセンサ１００ｃおよび１００ｄによるフュージョンセンサの出力に基づくオブジェクトとすることができる。
　トラッキングＩＤ生成部２０１ｃは、トラッキング処理部２００ｃでセンサ１００ｃおよび１００ｄの出力に基づき検出されたオブジェクトに対して、当該オブジェクトを識別するためのトラッキングＩＤを生成する。トラッキングＩＤ生成部２０１ｃは、生成したトラッキングＩＤをトラッキング処理部２００ｃに渡す。
　トラッキング処理部２００ｃは、上述のトラッキング処理部２００ａと同様にして、トラッキングＩＤ生成部２０１ｃから渡されたトラッキングＩＤを用いて、検出したオブジェクトのトラッキングを行う。トラッキング処理部２００ｃは、トラッキングされたオブジェクトのトラッキングＩＤを統合部３００に渡す。
　なお、センサ１００ａ、トラッキング処理部２００ａおよびトラッキングＩＤ生成部２０１ａの組、センサ１００ｂ、トラッキング処理部２００ｂおよびトラッキングＩＤ生成部２０１ｂの組、ならびに、センサ１００ｃ、センサ１００ｄ、トラッキング処理部２００ｃおよびトラッキングＩＤ生成部２０１ａの組、がそれぞれユニットに対応する。
　統合部３００は、トラッキング処理部２００ａ、２００ｂおよび２００ｃそれぞれからトラッキングＩＤを受け取る。観測ＩＤ生成部３０１は、統合部３００が受け取った各トラッキングＩＤに対して、各トラッキングＩＤの出力元のユニットそれぞれを識別する識別情報を関連付けて、各観測ＩＤを生成する。観測ＩＤ生成部３０１は、生成した各観測ＩＤを統合部３００に渡す。
　このように、観測ＩＤ生成部３０１は、検出部（トラッキング処理部２００ａ）により観測値に基づき検出された対象と、観測値に係るセンサと、を関連付けた観測識別情報（観測ＩＤ）を生成する生成部として機能する。
　統合部３００は、観測ＩＤ生成部３０１から渡された各観測ＩＤのうち、同一のオブジェクトに対応する観測ＩＤを抽出し、抽出した各観測ＩＤに対して観測ＩＤ生成部３０１により生成された識別情報（統合トラッキングＩＤ）を関連付ける。
　より具体的には、観測ＩＤ生成部３０１は、統合部３００により同一のオブジェクトに対応するとして抽出された各観測ＩＤに対して１つの統合トラッキングＩＤを生成し、生成した統合トラッキングＩＤを統合部３００に渡す。統合部３００は、観測ＩＤ生成部３０１から渡された統合トラッキングＩＤを、対応する各観測ＩＤに関連付けて、ＩＤ保持部３０２に保持する。また、統合部３００は、統合トラッキングＩＤに対応する各観測値を、当該統合トラッキングＩＤに関連付けて、例えばＩＤ保持部３０２に保持する。
　このように、統合部３００は、生成部（観測ＩＤ生成部３０１）で生成された観測識別情報（観測ＩＤ）の保持部（ＩＤ保持部３０２）への保持を制御する制御部として機能する。
　ここで、統合部３００は、同一のオブジェクトに対して異なる観測値が発生した場合、ＩＤ保持部３０２に保持される、当該オブジェクトに対応する観測値を更新する。また、統合部３００は、同一のオブジェクトに対して、ＩＤ保持部３０２に保持される統合トラッキングＩＤに関連付けられる観測ＩＤとは異なる観測ＩＤが生成された場合、その観測ＩＤを用いて、統合トラッキングＩＤを更新する。
　統合部３００は、複数のオブジェクトからトラッキングターゲットに対応するオブジェクトを選定する処理に、既知のＧａｔｉｎｇあるいはＶａｌｉｄａｔｉｏｎ　Ｒｅｇｉｏｎ（以降、Ｇａｔｉｎｇ）と呼ばれる方法を適用することができる。
　図４は、実施形態に適用可能なＧａｔｉｎｇ処理を説明するための模式図である。図４において、観測値（オブジェクト）ｚ1、ｚ2、ｚ3、…、ｚ9が得られているものとする。また、事前の処理により、トラッキングターゲット６００の位置が推定されているものとする。
　Ｇａｔｉｎｇ処理は、任意のノイズ分散値を設定し、観測値ｚ1、ｚ2、ｚ3、…、ｚ9のうち、確率分布としてどの程度の範囲（Ｇａｔｉｎｇ範囲７００）までの観測値をトラッキングターゲット６００に対応する観測値の候補とするかを選定するフィルタリング処理である。例えば、各観測値ｚ1、ｚ2、ｚ3、…、ｚ9のうち対象の観測値について、トラッキングターゲット６００と観測値の状態との差分を求め、求めた差分の分散で後述する各要素を除して、全てを合計した値（マハラノビス距離）がＧａｔｉｎｇ範囲７００内か否かを判定する。
　図４の例では、観測値ｚ1、ｚ2、ｚ3、…、ｚ9のうち観測値ｚ1、ｚ3、ｚ5およびｚ7がＧａｔｉｎｇ範囲７００（図２のＧａｔｉｎｇ領域７０に対応）の内部にあり、トラッキングターゲットと関連付ける候補とされる。さらに、観測値ｚ1、ｚ3、ｚ5およびｚ7のうち観測値ｚ3が、トラッキングターゲット６００に最も近い。そのため、図中に矢印６０１にて示すように、観測値ｚ3がトラッキングターゲット６００と関連付けられる。
　上述の要素は、例えば観測値（オブジェクト）の位置（ｘ，ｙ，ｚ）、観測値の速度、観測値の縦幅、横幅および奥行き、を適用することができる。
　このように、Ｇａｔｉｎｇ処理により候補となるオブジェクトの数を減らして探索範囲を狭めることで、処理の軽減が可能となる。
（２－２－２．ハードウェア構成例）
　次に、実施形態に係るトラッキングシステム１を実現可能な情報処理装置について説明する。図５は、実施形態に係るトラッキングシステム１を実現可能な情報処理装置の一例のハードウェア構成を示すブロック図である。
　図５において、情報処理装置２０００は、バス２０３０により互いに通信可能に接続される、ＣＰＵ(Central　Processing　Unit)２０１０と、ＲＯＭ(Read　Only　Memory)２０１１と、ＲＡＭ(Random　Access　Memory)２０１２と、ストレージ装置２０１３と、操作部２０１４と、出力Ｉ／Ｆ２０１５と、通信Ｉ／Ｆ２０１６と、を備える。情報処理装置２０００は、さらに、バス２０３０に接続されるセンサＩ／Ｆ２０２０ａ、２０２０ｂ、２０２０ｃ、…を備える。
　ストレージ装置２０１３は、例えばフラッシュメモリやハードディスクドライブといった、不揮発性の記憶媒体である。ストレージ装置２０１３は、ＣＰＵ２０１０が動作するための情報処理プログラムが記憶されると共に、当該情報処理プログラムが利用する各種データを記憶させることができる。
　ＣＰＵ２０１０は、ＲＯＭ２０１１およびストレージ装置２０１３に記憶される情報処理プログラムに従い、ＲＡＭ２０１２をワークメモリとして用いて動作し、この情報処理装置２０００の全体の動作を制御する。
　操作部２０１４は、ユーザ操作を受け付けるための操作子を有する。操作部２０１４は、操作子に対するユーザ操作に応じた制御信号をＣＰＵ２０１０に渡す。また、操作部２０１４は、ユーザに情報を提示するための表示素子などを更に有してもよい。
　出力Ｉ／Ｆ２０１５は、この情報処理装置２０００と外部機器とを接続するためのインタフェースであって、情報処理装置２０００で生成されたデータは、出力Ｉ／Ｆ２０１５を介して外部機器に送られる。通信Ｉ／Ｆ２０１６は、無線又は有線通信により、情報処理装置２０００の外部と通信を行うためのインタフェースである。情報処理装置２０００は、通信Ｉ／Ｆ２０１６を介してインターネットやＬＡＮ(Local　Area　Network)といった外部のネットワークと通信を行うことができる。
　センサＩ／Ｆ２０２０ａ、２０２０ｂ、２０２０ｃ、…は、カメラ、レーダ、ＬｉＤＡＲなどによる各センサ１００ａ、１００ｂ、…とのインタフェースである。ＣＰＵ２０１０は、センサＩ／Ｆ２０２０ａ、２０２０ｂ、２０２０ｃ、…を介して各センサ１００ａ、１００ｂ、…を制御することができ、また、各センサ１００ａ、１００ｂ、…の出力を取得することができる。
　なお、各センサＩ／Ｆ２０２０ａ、２０２０ｂ、２０２０ｃ、…は、例えば、自身のハードウェアを識別するための識別情報を予め記憶させることができる。ＣＰＵ２０１０は、この識別情報に基づき、各センサＩ／Ｆ２０２０ａ、２０２０ｂ、２０２０ｃ、…から供給されるデータが、各センサＩ／Ｆ２０２０ａ、２０２０ｂ、２０２０ｃ、…の何れから、すなわち、各センサＩ／Ｆ２０２０ａ、２０２０ｂ、２０２０ｃ、…それぞれに接続される各センサの何れから取得されたものかを知ることができる。これに限らず、ＣＰＵ２０１０は、各センサＩ／Ｆ２０２０ａ、２０２０ｂ、２０２０ｃ、…に接続される各センサから直接的に、各センサを識別する識別情報を取得するようにすることも可能である。
　例えば、ＣＰＵ２０１０は、実施形態に係る情報処理プログラムが実行されることにより、上述したトラッキング処理部２００ａ、２００ｂおよび２００ｃ、トラッキングＩＤ生成部２０１ａ、２０１ｂ、および２０１ｃ、統合部３００、観測ＩＤ生成部３０１、ならびに、ＩＤ保持部３０２をＲＡＭ２０１２における主記憶領域上に、それぞれ例えばモジュールとして構成する。当該情報処理プログラムは、例えば通信Ｉ／Ｆ２０１６を介した通信により、外部（例えばサーバ装置）から取得し、当該情報処理装置２０００上にインストールすることが可能とされている。
（２－３．実施形態に係る処理）
　次に、実施形態に係るトラッキングシステム１における処理について、より具体的に説明する。図６は、実施形態に係るトラッキングシステム１における処理を示す一例のフローチャートである。なお、ここでは、図３を用いて説明したトラッキングシステム１を例にとって説明を行う。また、トラッキングシステム１は、既にセンサ１００ａ、１００ｂ、…の出力に基づき、トラッキングターゲット６０に対応する統合トラッキングＩＤが生成され、生成された統合トラッキングＩＤが統合部３００によりＩＤ保持部３０２に保持されているものとする。また、それと共に、トラッキングターゲット６０の位置に基づきＧａｔｉｎｇ領域７０が既に設定されているものとする。
　図６において、ステップＳ１００で、トラッキングシステム１は、各トラッキング処理部２００ａ、２００ｂ、…により、センサ１００ａ、１００ｂ、…の出力に基づきトラッキング処理を実行する。
　次のステップＳ１０１で、トラッキングシステム１は、統合部３００により、トラッキングターゲット６０に対応する統合トラッキングＩＤに関連付けられる観測ＩＤと、ステップＳ１００によるトラッキング処理により取得された観測ＩＤとを比較する。そして、統合部３００は、取得された観測ＩＤに、統合トラッキングＩＤに関連付けられる観測ＩＤと同一の観測ＩＤが有るか否かを判定する。統合部３００は、有ると判定した場合（ステップＳ１０１、「有り」）、処理をステップＳ１０２に移行させる。
　なお、ステップＳ１０１およびステップＳ１０１以降の処理は、ステップＳ１００で複数の観測ＩＤ（観測値）が取得された場合、取得された複数の観測ＩＤに対してそれぞれ実行される。
　統合部３００は、ステップＳ１０２で、取得された観測ＩＤがＧａｔｉｎｇ領域７０の内部に有るか否かを判定する。統合部３００は、ステップＳ１０２で有ると判定した場合（ステップＳ１０２、「領域内」）、その観測ＩＤが統合トラッキングＩＤに含まれる観測ＩＤに対応する観測ＩＤであるとして、処理をステップＳ１０３に移行させる。
　なお、統合部３００は、ステップＳ１０２で、取得された観測ＩＤがＧａｔｉｎｇ領域７０の内部に有ると判定した場合、当該観測ＩＤに対応する観測値が取得されたセンサ以外のセンサで取得された観測値は、使用しないため、当該観測値に対する計算は行わない。これにより、トラッキングシステム１における処理の負荷が軽減される。
　ステップＳ１０３で、統合部３００は、統合トラッキングＩＤに含まれる観測ＩＤに対応するとされた観測ＩＤに対して観測値を関連付ける。
　ステップＳ１０２からこのステップＳ１０３に処理が移行した場合は、統合部３００は、ステップＳ１０２でＧａｔｉｎｇ領域７０の内部に有ると判定された観測ＩＤの観測値を、統合トラッキングＩＤに含まれる対応する関連ＩＤに対して関連付ける。なお、図６では、関連付けを「ＤＡ(Data　Association)」として示している。
　次のステップＳ１０４で、統合部３００は、ステップＳ１０３で関連付けされた観測値を用いてトラッキングの状態更新を行う。そして、統合部３００は、ステップＳ１０３で観測値を関連付けられた観測ＩＤを、当該観測値を用いて更新する。ここで、複数のセンサ１００ａ、１００ｂ、…の出力に基づき、トラッキングターゲット６０に対応する観測ＩＤが複数検出された場合、統合部３００は、検出された複数の観測ＩＤをすべて組み合わせて状態更新を行い、統合トラッキングＩＤの更新を行う。
　トラッキングシステム１は、ステップＳ１０４の処理が終了すると、処理をステップＳ１００に戻す。
　なお、上述したステップＳ１０１の判定により、ステップＳ１００で取得された観測ＩＤと同一の観測ＩＤが統合トラッキングＩＤに関連付けられる観測ＩＤに含まれる場合（ステップＳ１０１、「有り」）、この取得される観測ＩＤに関連付けられるオブジェクトは、前回のトラッキング処理により取得した同一の観測ＩＤに関連付けられるオブジェクトと一致する可能性が高い。しかしながら、前回のトラッキング処理において誤認している可能性もあるため、ステップＳ１０２でＧａｔｉｎｇ領域７０に基づく判定を行い、外れ値であるかを判定する。観測ＩＤに関連付けられるオブジェクトがＧａｔｉｎｇ領域７０の内部にあれば、当該観測ＩＤが信頼できると考えられるため、カルマンフィルタなどを用いてトラッキングの状態更新を行う（ステップＳ１０４）。
　説明を上述のステップＳ１０２の説明に戻し、ステップＳ１０２で、統合部３００は、取得された観測ＩＤがＧａｔｉｎｇ領域７０の内部に無い、すなわち取得された観測ＩＤがＧａｔｉｎｇ領域７０の外部に有ると判定した場合（ステップＳ１０２、「領域外」）、処理をステップＳ１０５に移行させる。
　ステップＳ１０５で、統合部３００は、上述したステップＳ１０１において統合トラッキングＩＤに関連付けられる観測ＩＤと同一であると判定された観測ＩＤに対応する観測値の特性毎に、トラッキングターゲット６０に対応する観測ＩＤとの関連付けの可否を判定する。
　すなわち、本来であれば、Ｇａｔｉｎｇ領域７０の外部のオブジェクトは、外れ値となるが、観測値（センサ）の特性によっては、Ｇａｔｉｎｇ領域７０の外部のオブジェクトであっても高精度に検出可能な場合がある。
　例えば、カメラをセンサとして用いて取得した画像情報に基づく観測値と、レーダやＬｉＤＡＲをセンサとして用いて取得した点群情報に基づく観測値とでは、観測値としての特性が異なる。一例として、オブジェクトの速度を取得する場合、カメラをセンサとして用い場合には高い精度で観測値を取得することが難しい。これに対して、レーダをセンサとして用いた場合には、より高い精度で観測値を取得することが可能である。
　また例えば、速度や水平方向の位置（ｘ，ｚ）に関する信頼度が低いが、垂直方向の位置（ｙ）については信頼度が高いセンサを考える。このようなセンサの場合、検出された観測値の観測ＩＤが統合トラッキングＩＤに関連付けられる観測ＩＤと一致していれば、対応するオブジェクトがＧａｔｉｎｇ領域７０の外部にあっても、その観測ＩＤを統合トラッキングＩＤに関連付けするようにすることが可能である。
　そのため、例えばＧａｔｉｎｇ領域７０の外部に検出されたオブジェクトに関し、一方の観測方法による観測値では検出の精度が低く（信頼度が低く）外れ値として処理することが適切であるが、他方の観測方法による観測値では検出の精度が高く（信頼度が高く）、当該オブジェクトがトラッキングターゲット６０に対応するオブジェクトであると見做すことが可能である場合が有り得る。
　このような場合を考慮して、ステップＳ１０５において、Ｇａｔｉｎｇ領域７０の外部に検出された観測値に対して、観測値の特性に応じた関連付けの判定を行っている。
　なお、観測値の精度（信頼度）を算出する方法は、幾つかの方法が知られているが、一例として分散を用いて信頼度を算出することができる。例えば、参照元の観測値と、信頼度の算出対象の観測値との差分を求め、この差分の分散値を算出する。分散値が小さい値であるほど、高い信頼度を適用する。
　ステップＳ１０５で、統合部３００は、上述したステップＳ１０１において統合トラッキングＩＤに関連付けられる観測ＩＤに対応する観測値と同一であると判定された観測ＩＤに対応する観測値の信頼度を求める。統合部３００は、求めた信頼度が閾値以上である場合に、当該観測値を、統合トラッキングＩＤに関連付けられる観測ＩＤに対応する観測値であると判定し（ステップＳ１０５、「対応する観測値有り」）、処理をステップＳ１０３に移行させる。
　ステップＳ１０５からステップＳ１０３に処理が移行した場合は、統合部３００は、ステップＳ１０５で判定対象とされた観測ＩＤの観測値を、統合トラッキングＩＤの対応する観測ＩＤに関連付ける。
　なお、統合部３００は、ステップＳ１０５で、取得された観測ＩＤの信頼度が高く、当該観測値を、統合トラッキングＩＤに関連付けられる観測ＩＤに対応する観測値であると判定された場合、当該観測ＩＤに対応する観測値が取得されたセンサ以外のセンサで取得された観測値は、使用しないため、当該観測値に対する計算は行わない。これにより、トラッキングシステム１における処理の負荷が軽減される。
　一方、統合部３００は、ステップＳ１０５で、求めた信頼度が閾値未満である場合に、当該観測値が統合トラッキングＩＤに関連付けられる観測ＩＤに対応する観測値ではないと判定し（ステップＳ１０５、「対応する観測値無し」）、処理をステップＳ１１０に移行させる。
　ステップＳ１１０で、統合部３００は、統合トラッキングＩＤに関連付けられる観測ＩＤ以外の観測値に基づき、トラッキングターゲット６０に対する関連付け（ＤＡ）の判定を行う。このステップＳ１１０の処理は、上述したステップＳ１０２の判定処理と同様の処理となる。
　すなわち、ステップＳ１１０において、統合部３００は、ステップＳ１００で取得された観測ＩＤのうち、統合トラッキングＩＤに関連付けられていない観測ＩＤの観測値がＧａｔｉｎｇ領域７０の内部および外部の何れにあるかを判定し、内部に有ると判定された場合、ステップＳ１０２の処理と同様にして、その観測ＩＤがトラッキングターゲット６０に対応する観測ＩＤであるとして、処理をステップＳ１０３に移行させる。この場合のステップＳ１０３での処理は、上述した、ステップＳ１０２からステップＳ１０３に移行した際の処理と同様となる。
　一方、ステップＳ１１０において、対象の観測ＩＤの観測値がＧａｔｉｎｇ領域７０の外部にあると判定された場合、統合部３００は、ステップＳ１０５と同様の処理を実行することができる。すなわち、統合部３００は、統合トラッキングＩＤに関連付けられていない各観測ＩＤに対応する観測値の特性毎に、観測値の信頼度に基づきトラッキングターゲット６０に対応する観測ＩＤとの関連付けの可否を判定する。統合部３００は、関連付けを行うと判定した場合、処理をステップＳ１０３に移行させる。この場合のステップＳ１０３での処理は、上述したステップＳ１０５からステップＳ１０３に移行した際の処理と同様となる。
　説明を上述したステップＳ１０１に戻し、統合部３０３は、ステップＳ１０１で、ステップＳ１００で取得された観測ＩＤに、統合トラッキングＩＤに関連付けられる観測ＩＤと同一の観測ＩＤが無いと判定した場合、（ステップＳ１０１、「無し」）、処理をステップＳ１１１に移行させる。
　ステップＳ１１１は、統合部３００は、ステップＳ１００で取得された各観測ＩＤ、すなわち、各センサの観測値毎に、トラッキングターゲット６０に対する関連付けの可否の判定を行う。このステップＳ１１１の処理は、ステップＳ１１０と同様に、上述したステップＳ１０２の判定処理と同様の処理となる。
　すなわち、ステップＳ１１１において、統合部３００は、ステップＳ１００で取得された観測値がＧａｔｉｎｇ領域７０の内部に有る場合、ステップＳ１０２の処理と同様にして、その観測値の観測ＩＤがトラッキングターゲット６０に対応する観測ＩＤであるとして、処理をステップＳ１０３に移行させる。この場合のステップＳ１０３での処理は、上述した、ステップＳ１０２からステップＳ１０３に移行した際の処理と同様となる。
　一方、ステップＳ１１１において、ステップＳ１００で取得された観測値がＧａｔｉｎｇ領域７０の外部にある場合、統合部３００は、ステップＳ１０５と同様の処理を実行することができる。すなわち、統合部３００は、各観測値の観測値の特性毎に、観測値の信頼度に基づきトラッキングターゲット６０に対応する観測ＩＤとの関連付けの可否を判定する。統合部３００は、関連付けを行うと判定した場合、処理をステップＳ１０３に移行させる。この場合のステップＳ１０３での処理は、上述したステップＳ１０５からステップＳ１０３に移行した際の処理と同様となる。
　なお、図６において、ステップＳ１０２およびステップＳ１０５を含む処理Ｓ２００は、特定の観測値に対する関連付け判定処理であり、ステップＳ１０２の処理量がステップＳ１０５の処理量に対して少ないと考えられる。一方、ステップＳ１１０およびステップＳ１１１を含む処理Ｓ２０１は、多数の観測値に基づく関連付け判定処理であって、処理Ｓ２００に対して処理量が多くなる。さらに、ステップＳ１１０の処理量は、ステップＳ１１１の処理量に対して少ないと考えられる。
　このように、実施形態に係るトラッキング処理においては、ステップＳ１０２、ステップＳ１０５、ステップＳ１１０、ステップＳ１１１の順に処理量が多くなり、処理の優先度は、ステップＳ１０２＞ステップＳ１０５＞ステップＳ１１０＞ステップＳ１１１となる。
（２－３－１．実施形態に係る処理の具体的な例）
　次に、実施形態に係る処理について、より具体的な例を用いて説明する。図７は、実施形態に係るトラッキング処理をより具体的に説明するための模式図である。この図７と、上述の図６のフローチャートとを参照しながら、説明を行う。なお、図７は、上述した図２のセクション（ｂ）と対応するもので、図２のセクション（ｂ）をより詳細に示している。
　また、図７の例では、上述の図２の場合と同様に、センサとしてレーダ（Ｒａｄａｒ）と、任意の複数のセンサの組み合わせによるフュージョンセンサとを用い、フュージョンセンサおよびそのトラッキング処理をユニットＸ、レーダおよびそのトラッキング処理をユニットＹとしている。
　図７において、フュージョンセンサ（ユニットＸ）により、オブジェクト５０ａ～５０ｆが検出され、それぞれ観測ＩＤ「Ｘ－１」～「Ｘ－６」が関連付けられている。また、レーダ（ユニットＹ）により、オブジェクト５１ａ～５１ｆが検出され、それぞれ観測ＩＤ「Ｙ－１」～「Ｙ－６」が関連付けられている。一方、時刻Ｔｎより時間的に前（前段）における検出結果に基づき、トラッキングターゲット（Ｔｒａｃｋｉｎｇ　Ｔａｒｇｅｔ）としてのトラッキングターゲット６０が生成され、トラッキングターゲット６０に基づきＧａｔｉｎｇ領域７０が設定されている。
　第１の例として、図７において、トラッキングターゲット６０が以前に統合トラッキングＩＤとして関連付けされた観測ＩＤ「Ｘ－１」および「Ｙ－１０」を保持しているものとする（以下、複数の観測ＩＤの関連付けを、観測ＩＤ「Ｘ－１，Ｙ－１０」のように記述する）。
　トラッキングを実行し（図６、ステップＳ１００）、各センサ（ユニットＸ、ユニットＹ）それぞれについて観測ＩＤの検出を行う。その結果、観測ＩＤ「Ｘ－１」に対応するオブジェクト５０ａは、検出され（図６、ステップＳ１０１、「有り」）、且つ、Ｇａｔｉｎｇ領域７０の内部にある（図６、ステップＳ１０２、「領域内」）。そのため、統合部３００は、観測ＩＤ「Ｘ－１」が統合トラッキングＩＤに関連付ける観測ＩＤであると判定する（図６、ステップＳ１０３）。
　一方、観測ＩＤ「Ｙ－１０」は、今回のトラッキングにおいては検出されていない（ステップＳ１０１、「無し」）。そのため、統合部３００は、ユニットＹにより検出される各観測ＩＤ「Ｙ－１」～「Ｙ－６」から、トラッキングターゲット６０に関連付けを行う観測ＩＤを選定する（ステップＳ１１１）。この例では、統合部３００は、Ｇａｔｉｎｇ領域７０の内部に含まれるオブジェクト５１ａに対応する観測ＩＤ「Ｙ－３」が統合トラッキングＩＤに関連付ける観測ＩＤであると判定する（図６、ステップＳ１０３）。
　以上により、トラッキングシステム１は、観測ＩＤ「Ｘ－１」および「Ｙ－３」を用いてトラッキングの状態を更新し、統合トラッキングＩＤに関連付けられる観測ＩＤを、観測ＩＤ「Ｘ－１，Ｙ－３」に更新する（図６、ステップＳ１０４）。
　第２の例として、図７において、トラッキングターゲット６０が以前に統合トラッキングＩＤとして関連付けされた観測ＩＤ「Ｘ－１，Ｙ－１０」を保持しているものとする。トラッキングの結果、観測ＩＤ「Ｘ－２」に対応するオブジェクト５０ｃが検出されるが、オブジェクト５０ｃは、Ｇａｔｉｎｇ領域７０の外部にある（図６、ステップＳ１０２、「領域外」）。この場合において、統合部３００は、当該観測ＩＤ「Ｘ－２」の観測値の信頼度が閾値以上である場合、当該観測ＩＤが対応するオブジェクト５０ｃがＧａｔｉｎｇ領域７０の外部にある場合でも、当該観測ＩＤ「Ｘ－２」が統合トラッキングＩＤに関連付ける観測ＩＤであると判定する（図６、ステップＳ１０５、「対応する観測値有り」、ステップＳ１０３）。
　なお、観測ＩＤ「Ｙ－１０」については、上述の第１の例と同様にして、観測ＩＤ「Ｙ－１０」の代わりに観測ＩＤ「Ｙ－３」が統合トラッキングＩＤに関連付ける観測ＩＤであると判定する（図６、ステップＳ１０３）。
　以上により、トラッキングシステム１は、観測ＩＤ「Ｘ－２」および「Ｙ－３」を用いてトラッキングの状態を更新し、統合トラッキングＩＤに関連付けられる観測ＩＤを、観測ＩＤ「Ｘ－２，Ｙ－３」に更新する（図６、ステップＳ１０４）。
　図８は、実施形態に係るトラッキング処理のさらに別の例について説明するための模式図である。図８のセクション（ａ）は、時刻Ｔｎにおける検出結果の例、セクション（ｂ）は、セクション（ａ）の状態から所定時間経過後の時刻Ｔｎ＋１における検出結果の例をそれぞれ鳥瞰図により示している。なお、図８のセクション（ａ）および（ｂ）において、上述の図７と同様に、ユニットＸによりオブジェクト５０ａ～５０ｆが検出され、ユニットＹによりオブジェクト５１ａ～５１ｆが検出されている。
　図８のセクション（ａ）に示すように、トラッキングターゲット６０が時刻Ｔｎにおいて統合トラッキングＩＤとして関連付けされた観測ＩＤ「Ｘ－４，Ｙ－１０」を保持しているものとする。
　Ｇａｔｉｎｇ領域７０の内部にあるオブジェクト５０ｂは、時刻Ｔｎでは観測ＩＤ「Ｘ－４」が関連付けられており、これは、時刻Ｔｎにおける統合トラッキングＩＤと対応している。一方、セクション（ｂ）に示す、時刻Ｔｎから所定時間後の時刻Ｔｎ＋１における観測ＩＤ「Ｘ－４」に対応するオブジェクト５０ｂは、時刻Ｔｎのトラッキングにおいて誤検出され、時刻Ｔｎ＋１に新たに検出された観測値の観測ＩＤ「Ｘ－１」が関連付けられたオブジェクトとして検出されている。すなわち、時刻Ｔｎにおいて観測ＩＤ「Ｘ－４」として検出されたオブジェクト５０ｂが、時刻Ｔｎ＋１において観測ＩＤ「Ｘ－１」の観測値に対応するオブジェクトとして検出されている。
　すなわち、図６のステップＳ１０１で、観測ＩＤに関してトラッキングターゲット６０に関連付けられる観測ＩＤ「Ｘ－４」に対応するオブジェクト５０ｂと同一のオブジェクト５０ｂが、時刻Ｔｎ＋１において、新たに観測ＩＤ「Ｘ－１」として検出されている。
　この場合、観測ＩＤ「Ｘ－４」については、対応するオブジェクト５０ａが検出され（図６、ステップＳ１０１、「有り」）、且つ、Ｇａｔｉｎｇ領域７０の外部にある（図６、ステップＳ１０２、「領域外」）。ここで、当該観測ＩＤ「Ｘ－４」の観測値の信頼度が閾値未満であるものとする。この場合、当該観測ＩＤ「Ｘ－４」は、統合トラッキングＩＤに関連付ける観測ＩＤとして選定しない（図６、ステップＳ１０５、「対応する観測値無し」）。そのため、統合部３００は、ユニットＸによる他の観測ＩＤの観測値に基づき、統合トラッキングＩＤに関連付ける観測ＩＤを判定する（図６、ステップＳ１１０）。ここでは、その結果、観測値に基づき観測ＩＤが、統合トラッキングＩＤに関連付ける観測ＩＤとして選定される。
　なお、観測ＩＤ「Ｙ－１０」については、上述の第１の例と同様にして、観測ＩＤ「Ｙ－１０」の代わりに観測ＩＤ「Ｙ－３」が統合トラッキングＩＤに関連付ける観測ＩＤであると判定する（図６、ステップＳ１０３）。
　以上により、トラッキングシステム１は、観測ＩＤ「Ｘ－１」および「Ｙ－３」を用いてトラッキングの状態を更新し、統合トラッキングＩＤに関連付けられる観測ＩＤを、観測ＩＤ「Ｘ－１，Ｙ－３」に更新する（図６、ステップＳ１０４）。
　このように、実施形態においては、前段階（例えば時刻Ｔｎ）において誤ったトラッキング処理を行った場合であっても、その誤りを修復することが可能である。すなわち、統合トラッキングＩＤに関連付けられるあるオブジェクトに本来関連付けられるべき観測ＩＤが他のオブジェクトに関連付けられた場合であっても、当該あるオブジェクトが検出されていれば、当該あるオブジェクトの観測ＩＤを統合トラッキングＩＤに関連付けことができ、前段階のトラッキング処理の誤りが修復される。
（２－４．既存技術との対比）
　次に、実測したデータを用いて、既存技術と対比させて説明を行う。図９Ａは、カメラで撮像した撮像画像の例を示す模式図である。ここでは、実施形態に係るトラッキングシステム１が車両（自車とする）に搭載されて用いられ、各センサ１００ａ～１００ｄがフロントから前方に向けてそれぞれの検出を行うように配置されているものとする。
　図９Ａの例では、自車の左手前に複数台の自転車および歩行者を含むオブジェクト群５００が存在し、自車の前方の比較的遠距離に複数台の自動二輪車を含むオブジェクト群５０１と、さらにその前方に、複数台の自動車を含むオブジェクト群５０２が存在している。これらオブジェクト群５００、５０１および５０２は、自車と同方向に移動し、オブジェクト群５０１および５０２の移動速度は、オブジェクト群５００の移動速度より高速となっている。また、自車の右側手前には、電柱および街路樹を含み、移動しないオブジェクト群５０３が存在している。
　図９Ｂは、図９Ａの状況に対してトラッキングを実行した場合の各オブジェクト群５００～５０３の検出結果の例を模式的に示す鳥瞰図である。図９Ｂにおいて、横軸は、中央を基準（自車位置）とした場合の幅方向の位置を示し、縦軸は、自車位置を基準とした距離方向の位置を示している。また、図９Ｂにおいて、実線の矩形は、第１の検出方法による検出結果の例、点線の矩形は、第２の検出方法による検出結果の例をそれぞれ示している。
　この例では、第１の検出方法によるトラッキング結果の方が、第２の検出方法によるトラッキング結果と比較してより実際に近い大きさあるいは形状で各オブジェクト群５００～５０３が検出されている。これは、第１の検出方法の方が第２の検出方法よりも高精度でトラッキング処理を実行することが可能であることを示している。
　既存技術によれば、これら各オブジェクト群５００～５０３に含まれる各オブジェクトを、所定の時間単位毎に全て検出していた。したがって、トラッキング対象が多くなるほど、また、センサ数が多くなるほど、各オブジェクトを検出するための観測値が増大し、観測値とオブジェクトとの関連付けに多くの時間を要していた。これは、トラッキング対象のオブジェクトと自車との相対的な速度が大きい場合に、問題となるおそれがある。
　これに対して、実施形態に係るトラッキングシステム１では、トラッキングにより取得した観測値に対してセンサを示す識別情報を関連付けているため、複数のセンサを用いた場合のセンサ毎のトラッキングを容易に実行可能とされている。
　また、実施形態に係るトラッキングシステム１では、センサを示す識別情報と、そのセンサの出力に基づき検出されたオブジェクト（観測値）を識別する識別情報とを関連付けて観測ＩＤを生成し、トラッキングターゲットに対して、センサ毎の観測ＩＤを統合した統合トラッキングＩＤを関連付けている。そして、トラッキングターゲットの追跡を、統合トラッキングＩＤに関連付けられる各観測ＩＤに基づき実行し、必要に応じて追跡に用いる観測ＩＤの範囲を広げるようにしている。そのため、トラッキングターゲットの追跡処理に要する計算量を削減でき、観測値とトラッキングターゲットとの関連付けに要する時間を短縮することが可能である。
　なお、上述では、実施形態に係るトラッキングシステム１が車載用途で用いられるように説明したが、これはこの例に限定されない。例えば、トラッキングシステム１は、トラッキングターゲットを車両や歩行者とした場合、信号機や交通標識、道路脇の建造物などに配置することが考えられる。また、トラッキングシステム１がトラッキング対象とするトラッキングターゲットは、路上などの車両や歩行者に限定されない。例えば、屋内外の人をトラッキングターゲットとすることもできる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　センサの出力から取得された観測値に基づき対象を検出する検出部と、
　前記検出部により前記観測値に基づき検出された前記対象と、該観測値に係る前記センサと、を関連付けた観測識別情報を、前記検出部に検出された１以上の前記対象のそれぞれに対して生成する生成部と、
　前記生成部で生成された前記観測識別情報の保持部への保持を制御する制御部と、
を備える情報処理装置。
（２）
　前記制御部は、
　前記観測識別情報に対応する前記対象が所定の領域に含まれている場合に、該観測識別情報を前記保持部に保持する、
前記（１）に記載の情報処理装置。
（３）
　前記制御部は、
　前記保持部に保持される前記観測識別情報に対応する前記観測値に基づき、前記所定の領域を設定する、
前記（２）に記載の情報処理装置。
（４）
　前記制御部は、
　前記観測識別情報に対応する前記対象が所定の領域に含まれていない場合に、前記観測識別情報に対応する前記センサの特性に基づき、該観測識別情報を前記保持部に保持するか否かを判定する、
前記（２）または（３）に記載の情報処理装置。
（５）
　前記制御部は、
　前記保持部に保持された観測識別情報を、該観測識別情報に関連付けられる前記対象が同一の、前記生成部により生成された観測識別情報により更新する、
前記（１）乃至（４）の何れかに記載の情報処理装置。
（６）
　前記生成部は、
　前記対象を共通とする、複数の前記センサそれぞれの出力に基づく複数の前記観測識別情報を統合した統合識別情報を生成する、
前記（１）乃至（５）の何れかに記載の情報処理装置。
（７）
　前記制御部は、
　前記統合識別情報に統合された複数の前記観測識別情報に、前記生成部により生成された前記観測識別情報と一致する観測識別情報が含まれない場合に、前記センサの出力から取得された前記観測値のそれぞれに基づき、該観測値に対応する観測識別情報を前記保持部に保持するか否かを判定する、
前記（６）に記載の情報処理装置。
（８）
　前記制御部は、
　前記観測識別情報に対応する前記センサの特性に基づく該観測識別情報の前記保持部への保持を行わない場合に、前記検出部により前記観測値に基づき検出された前記対象に関連付けられる前記観測識別情報のうち、前記保持部に保持するか否かを判定する対象の観測識別情報を除外した観測識別情報に関連付けられた前記観測値に基づき、該観測識別情報を前記保持部に保持するか否かを判定する、
前記（４）に記載の情報処理装置。
（９）
　前記検出部は、
　複数の前記センサそれぞれの出力から取得された前記観測値のそれぞれに基づき前記対象を検出する、
前記（１）乃至（８）の何れかに記載の情報処理装置。
（１０）
　前記センサは、光を用いて検出を行うセンサを含む、
前記（１）乃至（９）の何れかに記載の情報処理装置。
（１１）
　前記センサは、ミリ波を用いて検出を行うセンサを含む、
前記（１）乃至（１０）の何れかに記載の情報処理装置。
（１２）
　プロセッサにより実行される、
　センサの出力から取得された観測値に基づき対象を検出する検出ステップと、
　前記検出ステップにより前記観測値に基づき検出された前記対象と、該観測値に係る前記センサと、を関連付けた観測識別情報を、前記検出部に検出された１以上の前記対象のそれぞれに対して生成する生成ステップと、
　前記生成ステップで生成された前記観測識別情報の保持部への保持を制御する制御ステップと、
を有する情報処理方法。
１　トラッキングシステム
１０ａ，１０ｂ，１０ｃ，１０ｄ，１００ａ，１００ｂ，１００ｃ，１００ｄ　センサ
２０ａ，２０ｂ，２０ｃ，２０ｄ　トラッキング処理
３０　統合トラッキング処理
５０ａ，５０ｂ，５０ｃ，５０ｄ，５０ｅ，５０ｆ，５１ａ，５１ｂ，５１ｃ，５１ｄ，５１ｅ，５１ｆ　オブジェクト
６０　トラッキングターゲット
７０　Ｇａｔｉｎｇ領域
２００ａ，２００ｂ，２００ｃ　トラッキング処理部
２０１ａ，２０１ｂ，２０１ｃ　トラッキングＩＤ生成部
３００　統合部
３０１　観測ＩＤ生成部
３０２　ＩＤ保持部
２０００　情報処理装置

Claims (12)

  1. 　センサの出力から取得された観測値に基づき対象を検出する検出部と、
    　前記検出部により前記観測値に基づき検出された前記対象と、該観測値に係る前記センサと、を関連付けた観測識別情報を、前記検出部に検出された１以上の前記対象のそれぞれに対して生成する生成部と、
    　前記生成部で生成された前記観測識別情報の保持部への保持を制御する制御部と、
    を備える情報処理装置。
  2. 　前記制御部は、
    　前記観測識別情報に対応する前記対象が所定の領域に含まれている場合に、該観測識別情報を前記保持部に保持する、
    請求項１に記載の情報処理装置。
  3. 　前記制御部は、
    　前記保持部に保持される前記観測識別情報に対応する前記観測値に基づき、前記所定の領域を設定する、
    請求項２に記載の情報処理装置。
  4. 　前記制御部は、
    　前記観測識別情報に対応する前記対象が所定の領域に含まれていない場合に、前記観測識別情報に対応する前記センサの特性に基づき、該観測識別情報を前記保持部に保持するか否かを判定する、
    請求項２に記載の情報処理装置。
  5. 　前記制御部は、
    　前記保持部に保持された観測識別情報を、該観測識別情報に関連付けられる前記対象が同一の、前記生成部により生成された観測識別情報により更新する、
    請求項１に記載の情報処理装置。
  6. 　前記生成部は、
    　前記対象を共通とする、複数の前記センサそれぞれの出力に基づく複数の前記観測識別情報を統合した統合識別情報を生成する、
    請求項１に記載の情報処理装置。
  7. 　前記制御部は、
    　前記統合識別情報に統合された複数の前記観測識別情報に、前記生成部により生成された前記観測識別情報と一致する観測識別情報が含まれない場合に、前記センサの出力から取得された前記観測値のそれぞれに基づき、該観測値に対応する観測識別情報を前記保持部に保持するか否かを判定する、
    請求項６に記載の情報処理装置。
  8. 　前記制御部は、
    　前記観測識別情報に対応する前記センサの特性に基づく該観測識別情報の前記保持部への保持を行わない場合に、前記検出部により前記観測値に基づき検出された前記対象に関連付けられる前記観測識別情報のうち、前記保持部に保持するか否かを判定する対象の観測識別情報を除外した観測識別情報に関連付けられた前記観測値に基づき、該観測識別情報を前記保持部に保持するか否かを判定する、
    請求項４に記載の情報処理装置。
  9. 　前記検出部は、
    　複数の前記センサそれぞれの出力から取得された前記観測値のそれぞれに基づき前記対象を検出する、
    請求項１に記載の情報処理装置。
  10. 　前記センサは、光を用いて検出を行うセンサを含む、
    請求項１に記載の情報処理装置。
  11. 　前記センサは、ミリ波を用いて検出を行うセンサを含む、
    請求項１に記載の情報処理装置。
  12. 　プロセッサにより実行される、
    　センサの出力から取得された観測値に基づき対象を検出する検出ステップと、
    　前記検出ステップにより前記観測値に基づき検出された前記対象と、該観測値に係る前記センサと、を関連付けた観測識別情報を、前記検出ステップにより検出された１以上の前記対象のそれぞれに対して生成する生成ステップと、
    　前記生成ステップで生成された前記観測識別情報の保持部への保持を制御する制御ステップと、
    を有する情報処理方法。
PCT/JP2021/020798 2020-06-12 2021-06-01 情報処理装置および情報処理方法 WO2021251208A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/000,805 US20230243953A1 (en) 2020-06-12 2021-06-01 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-102079 2020-06-12
JP2020102079 2020-06-12

Publications (1)

Publication Number Publication Date
WO2021251208A1 true WO2021251208A1 (ja) 2021-12-16

Family

ID=78845602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/020798 WO2021251208A1 (ja) 2020-06-12 2021-06-01 情報処理装置および情報処理方法

Country Status (2)

Country Link
US (1) US20230243953A1 (ja)
WO (1) WO2021251208A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031955A (ja) * 2003-07-11 2005-02-03 Kddi Corp 移動体追跡システム
JP2011064484A (ja) * 2009-09-15 2011-03-31 Mitsubishi Electric Corp センサバイアス推定装置
JP2012163495A (ja) * 2011-02-08 2012-08-30 Hitachi Ltd センサ統合システム及びセンサ統合方法
WO2019244702A1 (ja) * 2018-06-22 2019-12-26 日立オートモティブシステムズ株式会社 センサ認識統合装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031955A (ja) * 2003-07-11 2005-02-03 Kddi Corp 移動体追跡システム
JP2011064484A (ja) * 2009-09-15 2011-03-31 Mitsubishi Electric Corp センサバイアス推定装置
JP2012163495A (ja) * 2011-02-08 2012-08-30 Hitachi Ltd センサ統合システム及びセンサ統合方法
WO2019244702A1 (ja) * 2018-06-22 2019-12-26 日立オートモティブシステムズ株式会社 センサ認識統合装置

Also Published As

Publication number Publication date
US20230243953A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
US11453335B2 (en) Intelligent ultrasonic system and rear collision warning apparatus for vehicle
JP6571545B2 (ja) 物体検出装置および物体検出方法
US7263209B2 (en) Vehicular vision system
JP6239047B1 (ja) 物体認識統合装置および物体認識統合方法
García et al. Context aided pedestrian detection for danger estimation based on laser scanner and computer vision
CN114170274B (zh) 目标跟踪方法和装置、电子设备和存储介质
JP6951728B2 (ja) 物体追跡装置
CN113002562B (zh) 车辆控制装置以及存储介质
CN111937036A (zh) 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质
CN111753623B (zh) 一种运动物体的检测方法、装置、设备及存储介质
US20050068198A1 (en) Method and device for tracking objects, especially for monitoring traffic
JP2008002817A (ja) 物体識別システム
Schubert et al. Generalized probabilistic data association for vehicle tracking under clutter
WO2023050586A1 (zh) 定位传感器的异常检测方法、装置及终端设备
CN114460598B (zh) 一种目标识别方法、装置、设备及存储介质
CN110940979A (zh) 障碍物检测方法、装置、设备以及存储介质
CN113269811A (zh) 数据融合方法、装置及电子设备
JP2016197278A (ja) 歩行者判定装置
Lee et al. Multi-target track-to-track fusion based on permutation matrix track association
CN116430375A (zh) 一种多传感器融合的多目标跟踪方法及对应的系统
Muller et al. Physical hijacking attacks against object trackers
Yang et al. On-road collision warning based on multiple FOE segmentation using a dashboard camera
Thomaidis et al. Multiple hypothesis tracking for automated vehicle perception
WO2021251208A1 (ja) 情報処理装置および情報処理方法
Lim et al. Event-driven track management method for robust multi-vehicle tracking

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21822566

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21822566

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP