WO2022215409A1 - 物体追跡装置 - Google Patents

物体追跡装置 Download PDF

Info

Publication number
WO2022215409A1
WO2022215409A1 PCT/JP2022/009748 JP2022009748W WO2022215409A1 WO 2022215409 A1 WO2022215409 A1 WO 2022215409A1 JP 2022009748 W JP2022009748 W JP 2022009748W WO 2022215409 A1 WO2022215409 A1 WO 2022215409A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection frame
detection
information
frame
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/009748
Other languages
English (en)
French (fr)
Inventor
聡 笹谷
剛志 佐々木
智定 銭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to US18/549,399 priority Critical patent/US12651353B2/en
Publication of WO2022215409A1 publication Critical patent/WO2022215409A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates to an object tracking device.
  • trajectory information viewed from a bird's-eye view can be easily visualized by projecting it on a two-dimensional map, and can also be used for work behavior management and abnormal motion detection.
  • a method of generating the trajectory there is a method of calculating the distance from the camera to the detection target in each frame of the camera image, acquiring three-dimensional position information, and integrating the position information for each frame.
  • distance calculation a method using circumscribed rectangle information of a target obtained by detecting the target from a camera image and camera parameters is generally used.
  • the camera parameters can be estimated by photographing in an ideal environment in advance, but the circumscribing rectangle information must be estimated from the camera image obtained at the actual photographing site. Therefore, in order to generate a highly accurate trajectory, there is a need for a technique for accurately estimating the position of a circumscribed rectangle (hereinafter referred to as a detection frame) even in various shooting locations.
  • a detection frame a technique for accurately estimating the position of a circumscribed rectangle
  • a detection frame there is a method using dictionary information created by machine learning such as a convolutional neural network.
  • Machine learning requires the creation of training data in advance, and while it would be nice if a wide variety of scenes could be learned, the number of scene variations would be limited given the realistic number of man-hours.
  • Patent Document 1 proposes a method of correcting detection frame information by performing object tracking processing and object recognition processing in parallel.
  • Patent Document 2 proposes a method of extracting image feature points and estimating a motion vector. proposed a method for correcting the position of the rectangle when the detection target is blocked by an obstacle.
  • Patent Literature 1 a detection target is tracked by object tracking processing to generate a trajectory of the same target, and high-precision object recognition is performed at predetermined frame intervals to correct the ID information of a rectangle, thereby obtaining trajectories of multiple targets.
  • a technique for calculating with high accuracy is described, it is not possible to correct the size and position information of the rectangle.
  • the position of the rectangle can be corrected by predicting the position of the rectangle in the next and subsequent frames from the motion vector information obtained from the image feature within the circumscribing rectangle of the detection target, but the size of the rectangle cannot be corrected. can't.
  • the present invention is an invention for solving the above problems, and is an object tracking device that generates a trajectory of an object within a measurement range by correcting the detection frame position according to the reliability calculated from the flow information. , to output a highly accurate trajectory of a detection target.
  • an object tracking device that generates a trajectory of an object within a measurement range of a sensor, an object detection unit that detects an object in each of a plurality of frames acquired by the sensor; a detection frame reliability calculation unit that calculates the reliability of the detection frame based on flow information between frames of the detection frame in which the object is detected; a detection frame position correction unit that corrects detection frame information of a low-reliability detection frame with a lower reliability than the high-reliability detection frame using detection frame information of a high-reliability detection frame with a reliability higher than a threshold; , a trajectory generating unit that generates a trajectory of the object using the corrected detection frame information; characterized by having
  • FIG. 1 is a functional block diagram of Embodiment 1 of the present invention
  • FIG. 4 is a diagram for explaining an object detection unit 4
  • FIG. FIG. 2 is a configuration diagram of an existence probability map determination unit 5
  • 4 is a diagram for explaining an existence probability map creation unit 21
  • FIG. An example of how to create an existence probability map is a diagram for explaining an existence probability map interpolation unit 22
  • FIG. The figure explaining the flow which adds a detection frame. 4 is a diagram for explaining a flow calculation unit 7
  • FIG. FIG. 5 is a diagram for explaining a detection frame reliability calculation unit 8
  • FIG. 2 is a configuration diagram of a detection frame position correction unit 9
  • FIG. 4 is a configuration diagram of a detection target moving direction prediction unit 91.
  • FIG. The functional block diagram of Example 3 of this invention is a diagram showing Equation 1;
  • FIG. 2 is a diagram showing Equation 2;
  • FIG. 3 is a diagram showing Equation 3;
  • FIG. 4 is a diagram showing Equation 4;
  • FIG. 1 is a block configuration diagram of Embodiment 1 of the present invention.
  • a camera is used as the measurement device
  • the measurement device is not limited to this, and can be applied to other sensors such as a stereo camera and a distance sensor.
  • the object tracking device 1 shown in FIG. 1 corrects the detection frame position based on presence probability map information generated from the object detection results of all frames captured by the camera 2 and detection frame reliability information calculated from flow information, etc. It is a device that generates a highly accurate trajectory.
  • the camera 2 is attached, for example, to the vehicle body of an automobile, and images the road surface in front of the vehicle and other vehicles.
  • the object tracking device 1 is a device that acquires an image captured by a camera 2 and analyzes the trajectory of an object in front of a vehicle that is a detection target by performing analysis processing.
  • the object tracking device 1 is implemented in a computer PC prepared separately from the camera 2 .
  • the computer PC has an arithmetic device, a main storage device, and an external storage device, and includes a frame collection unit 3, an object detection unit 4, an existence probability map determination unit 5, a detection frame adjustment determination unit 6, a flow calculation unit 7, detection
  • the functions of a frame reliability calculation unit 8, a detection frame position correction unit 9, and a trajectory generation unit 10 are realized.
  • the object tracking device 1 may be provided integrally inside the camera 2 .
  • the existence probability map determining unit 5 generates or interpolates an existence probability map of a detection target from the object detection result of each frame; the detection frame adjustment determining unit 6 uses the existence probability map information to perform detection in each frame.
  • the flow calculator 7 has a function of calculating flow information between frames, and the detection frame reliability calculator 8 calculates the final detection frame output from the detection frame addition/subtraction decision unit 6.
  • the detection frame position correcting unit 9 corrects the detection frame position and size according to the reliability of the detection frame, and the trajectory generation unit 10 corrects the detection It has a function of generating a trajectory of a detection target from frame information. Details of the functions 3, 4, 5, 6, 7, 8, 9, and 10 will be described below.
  • the frame collection unit 3 collects frames that are captured images captured by the camera 2 .
  • the frames to be collected may be a plurality of frames in which detection targets exist, or may be frames selected automatically or manually from all the frames.
  • a selection method there is a method of automatically extracting frames within the specified shooting time, a method of automatically extracting frames in which the detection target exists within the measurement range in the video specified by the user, a GUI (Graphical User Interface), etc.
  • There is a method of manually selecting by the user through and the method is not particularly limited.
  • the object detection unit 4 detects a detection target for each of the plurality of frames collected by the frame collection unit 3 .
  • 11 is a captured image (frame)
  • 12 and 13 are detection targets (a person and a car in this example)
  • 14a and 14b are detection frames estimated by the object detection unit 4 to include the target object from the image.
  • An example, 15 shows an example of detection frame information.
  • the object detection unit 4 detects a detection target existing in the captured image by utilizing a phenomenon in which the object can be detected in the image generated in advance from learning data by machine learning or the like.
  • Algorithms for generating a dictionary for detection may be general algorithms such as convolutional neural networks and AdaBoost, and are not particularly limited.
  • the object detection unit 4 detects an object from the plurality of frames acquired by the frame collection unit 3 using the dictionary, and stores detection frame information as indicated by 15 in FIG.
  • the detection frame information includes, for each detected object, class information indicating the type of the object, reliability information indicating the accuracy of the class information, starting points (X, Y) indicating the upper left image coordinates of the detection frames 14a and 14b, There is information such as the width and height of the detection frame. Note that any method other than this example may be used as long as it can estimate the position of the detection target in the image.
  • FIG. 3 shows a block configuration of the existence probability map determination unit 5.
  • the existence probability map determination unit 5 performs processing for generating an existence probability map indicating the existence probability of each detection target in a plurality of frames.
  • the existence probability map determination unit 5 includes an existence probability map creation unit 21 that creates an existence probability map for each frame from the detection frame information output from the object detection unit 4, and an existence probability map creation unit 21 that creates an existence probability map for each frame from the detection frame information output from the object detection unit 4.
  • An existence probability map interpolation unit 22 that interpolates map information and generates an interpolated existence probability map of a target frame, and compares the existence probability map and the interpolated existence probability map to select a final existence probability map for each frame.
  • An existence probability map selection unit 23 is provided. 21, 22 and 23 will be described in detail below.
  • the existence probability map creating unit 21 will be described with reference to FIG.
  • the existence probability map creating unit 21 generates an existence probability map indicating the existence probability of each object in a plurality of frames.
  • the existence probability map creating unit 21 calculates an existence probability map for each class to be detected from the detection frame information for each frame.
  • the existence probability map creation unit 21 creates either a probability density function calculated from a normal distribution from the position information of the detection frame of the object detected by the object detection unit 4 and the reliability information, or an object detection result from a plurality of different dictionaries. The one or more pieces of information are used to generate a presence probability map.
  • the captured image 11 is divided into a plurality of small regions such as 31a and 31b, and the degree of overlap between the detection frames 14a and 14b of each class and each small region is calculated by ratio. , 32a, 32b.
  • the number of divided small regions is not particularly limited, and may be determined in consideration of the specifications of the computer PC that executes the processing. may be generated.
  • the value of the existence probability map is not particularly limited as long as it indicates the ratio of the objects of each class in the small area. You may use the method of utilizing such a probability density function.
  • FIG. 5 is a diagram illustrating an example of a method of creating an existence probability map.
  • 11 is a captured image
  • 41 is a detection frame
  • 42 is the center coordinates (x c , y c ) of the detection frame
  • 43 and 44 are the X direction of the image coordinate axis used for calculating the existence probability map
  • the Y direction is shown.
  • the probability density functions f(x) and f(y) for each direction are shown.
  • the probability density function f(x) in the X direction the average value shown in Equation 1 in FIG.
  • the probability density function f(y) in the Y direction is also calculated by Equation 2 in FIG.
  • Equation 3 in FIG. (x, y) the product of f(x) and f(y) is obtained by Equation 3 in FIG. (x, y) can be generated.
  • the value of variance ⁇ 2 is determined based on information on the width and height of the detection frame, or if the actual measurement information of the detection target is known in advance, information on the aspect ratio of the width and height, etc. You may use the method of determining based on. A method of adjusting the value of the existence probability of the detection object by multiplying the existence probability map f(x, y) by the reliability information of the detection frame may also be adopted.
  • the presence probability map interpolation unit 22 will be described with reference to FIG.
  • the presence-probability map interpolator 22 extracts the presence-probability map information of frames t-1 and t+1 before and after frame t, the presence-probability map information of a plurality of previous frames, or the presence-probability maps of a plurality of subsequent frames t+1 and t+2. Based on the information, a process of estimating the presence probability map of the relevant frame (target frame) is performed.
  • the interpolation method by the existence probability map interpolation unit 22 is roughly classified into two patterns shown in 51 and 52 in FIG.
  • the interpolated existence probability map corresponding to the t-th frame 54 is used to generate the existence probability maps of the frames before and after it, that is, the t-1th frame 53a and the t+1th frame 53b.
  • Generate from As a generation method for example, there is a method of calculating the product or average value of the existence probabilities of the existence probability maps of the t ⁇ 1 th frame 53a and the t+1 th frame 53b.
  • a vehicle existence probability map in the t ⁇ 1th frame 53a is generated based on the detection frame information of the detection frame 53a1, and the t+1th frame is generated based on the detection frame information of the detection frame 53b1.
  • a car existence probability map is generated in the frame 53b of .
  • the existence probability map interpolation unit 22 calculates the product or average value of the existence probabilities of the car existence probability map in the t ⁇ 1th frame 53a and the car existence probability map in the t+1th frame 53b. to generate an interpolated presence probability map for the tth frame 54 .
  • the interpolated presence probability map corresponding to the tth frame 54 is changed from the presence probability map of the (t+2)th frame 53c to the presence probability map of the (t+1)th frame 53b. estimated based on For example, after estimating the approximate position of the detection frame in the tth frame 54 from the amount of change in the center position, vertical width, and horizontal width of the t+2 and t+1 detection frames 53c1 and 53b1, the t+1th frame The existence probability map corresponding to 53b is enlarged or reduced by linear interpolation or the like according to the amount of change in the size of the detection frame, thereby obtaining the size and position of the detection frame 54a1 in the tth frame.
  • interpolated existence probability map There is a method such as calculating an interpolated existence probability map corresponding to .
  • the method of calculating the interpolation existence probability map of the t-th frame from the t-th frame before and after or from the t+1-th and t+2-th frames was described.
  • the interpolated existence probability map of the frame is calculated from the t-1th frame, which is a plurality of frames before the current frame, and the t-2nd frame. You can calculate.
  • the interpolated existence probability map is generated for the first frame by the method shown in 52, and the interpolated existence probability map for the last frame is generated by the reverse flow of the method shown in 52.
  • an interpolated existence probability map is generated by the method shown in 51 for the other frames.
  • the existence probability map selection unit 23 selects the final existence probability map from the existence probability map and the interpolated existence probability map for each frame.
  • a selection method for example, a method of calculating the difference between the existence probability map and the interpolated existence probability map and adopting the values of the interpolated existence probability map only for small regions where the difference is equal to or greater than a threshold, or a method of adopting the values of the existence probability map and the interpolated existence probability.
  • the presence probability map determination unit 5 determines the presence probability map for each frame.
  • the existence probability map and the interpolated existence probability map are generated for each frame, and then the existence probability map selection unit 23 determines the final value.
  • Multiple maps can be generated. For example, except for the first frame and the last frame in the frame group, three types of interpolated existence probability maps are generated by the reverse flow method of 51, 52, and 52, and then the final value is similarly determined by the existence probability map selection unit 23. It is also possible to use a method of increasing the number of frames before and after the interpolation, and a method of increasing the patterns of the interpolation existence probability map.
  • the interpolated presence probability map is created for all frames, but a method of generating the interpolated presence probability map only for some frames to correct the presence probability map for the relevant frame may be adopted.
  • a method of correcting the presence probability map only for frames whose reliability of detection frame information is less than a threshold or a method of counting the number of detection frames to be detected in each frame and calculating the average value, and then using the number of detection frames other than the average.
  • a method of correcting only a certain frame, a method of correcting only a frame selected by a user using a GUI, etc. are not particularly limited.
  • a presence probability map generated by acquiring detection frame information of a detection target from a plurality of different dictionaries is treated as an interpolated presence probability map, and a method of correcting the presence probability map by the presence probability map selection unit 23 is used.
  • the detection frame addition/subtraction determination unit 6 performs processing for determining addition or deletion of detection frames in each of a plurality of frames using the presence probability map.
  • the detection frame addition/subtraction determination unit 6 uses the presence probability map information output from the presence probability map determination unit 5 to determine whether to add or reduce the detection frame in each frame. As a determination method, if there is no detection frame near an area with an existence probability equal to or higher than the threshold, the circumscribed rectangle of the area with an existence probability equal to or higher than the threshold is added as a detection bounding box, and if a detection bounding box exists in an area with an existence probability equal to or lower than the threshold. If so, there is a way to reduce the corresponding detection frame.
  • Criteria for judging whether or not a detection frame exists in the existence probability map include the content rate of small areas within the detection frame that satisfy the threshold of the existence probability map, the center coordinates of the detection frame, and the threshold of the existence probability map. There is no particular limitation, such as a method in which a detection frame exists near the existence probability map as long as the Euclidean distance to the small area that satisfies is within a specified range.
  • a margin specifying the size of the detection frame is added. You may add the process which enlarges by minutes.
  • the existence probability map creation unit 21 divides the t ⁇ 1 and t+1 frames 53a and 53b into small areas 54a and 54b, and generates existence probability maps 55a and 55b from the overlapping ratios with the detection frames 54a1 and 54b1.
  • the existence probability map 56 of the t-th frame is estimated by calculating the average of the existence probability maps 55a and 55b.
  • the detection frame 57 is determined based on the predetermined threshold value and the value of the existence probability map. In the example shown in FIG.
  • each small region of the existence probability map is classified into three classes of less than 0.5, 0.5 or more and less than 0.9, and 0.9 or more. Based on the conditions that the area is not included in the rectangle, all small areas of 0.9 or more are included in the rectangle, and small areas of 0.5 or more and less than 0.9 are included in the rectangle, but not more than half of them are included.
  • a detection frame 57 is determined.
  • FIG. 8 shows an example of calculating flow information between frames by analyzing the image feature amounts of the t-th frame 11a and the (t+1)-th frame 11b by the flow calculation unit 7 .
  • 61 is the road surface
  • 62 is the vehicle to be measured in the frame 11a
  • 63 is the vehicle to be measured in the frame 11b
  • 64a and 64b are examples of image feature points on the vehicle 62
  • 65a and 65b are image features on the vehicle 63.
  • An example of points, 66 indicates flow information between image feature points 64a and 65a
  • 67 indicates flow information between image feature points 64b and 65b.
  • Flow information is a movement vector of the same image feature point between frames, and indicates the direction and magnitude of the vector.
  • the same image feature points between the previous and next frames can be obtained by using optical flow by the Lucas-Kanade method, or by tracking using image feature values such as SHIFT. and its flow information can be calculated.
  • the flow information for frames other than the first frame is calculated from the corresponding frame (tth frame) and the previous frame (t-1th frame), and the flow information for the first frame is calculated from the corresponding frame and the next frame (t+1th frame). Obtained by inverting the sign of the number.
  • the detection frame reliability calculation unit 8 will be described with reference to FIG.
  • the detection frame reliability calculation unit 8 calculates the reliability of the detection frame based on the detected inter-frame flow information within the detection target detection frame.
  • the detection frame reliability calculation unit 8 analyzes the flow information calculated by the flow calculation unit 7 in the final object detection detection frame information output from the detection frame adjustment determination unit 6, thereby determining the detection frame. Calculate confidence.
  • Image feature points 72a and 72b are examples of image feature points with information
  • image feature points 72a and 72b are examples of image feature points with flow information on the road surface.
  • Optical flow generally calculates the flow information of moving bodies between frames. Therefore, when a camera is fixed like a surveillance camera, image feature points and flow information of a moving object are easily calculated, and image feature points and flow information are hardly calculated for a background such as a road surface.
  • image feature points and flow information can be calculated in the same way for a moving object. tend to be small.
  • an image feature point with flow information larger than a predetermined threshold is set as a moving body feature point (three-dimensional object feature point), and an image feature point with flow information smaller than the threshold is set as a plane feature point (road surface feature point).
  • the reliability of the detection frame 70 is calculated from the content rate of the moving body feature points and the plane feature points within the detection frame 70 . That is, the detection frame reliability calculation unit 8 calculates the reliability of the detection frame based on the information of the three-dimensional object feature points and the road surface feature points within the detection frame. As a calculation method, as shown in (Formula 4) in FIG.
  • the reliability may be calculated by considering the direction of the flow information in (Formula 4). For example, using the fact that image feature points of the same moving object have similar flow directions, the more three-dimensional object feature points that indicate similar flow directions exist within the detection frame, the higher the reliability of the detection frame. There are other ways to raise it.
  • the flow information is used to calculate the reliability of the detection frame, but the reliability may be calculated using image information that can distinguish between the moving object (three-dimensional object) and the background. For example, after obtaining the inter-frame difference, the more difference areas are found within the detection frame, the higher the possibility that it is the area of a moving object. method, edge detection, etc., are performed within the detection frame to estimate the contour candidate to be detected, and a detection frame with a high overlap rate of the circumscribing rectangle of the contour and the detection frame is judged to be a highly reliable detection frame. method can be used.
  • FIG. 10 shows a block configuration diagram of the detection frame position correction unit 9.
  • a detection frame position correcting unit 9 uses detection frame information of a high-reliability detection frame having a reliability higher than a threshold to correct detection frame information of a low-reliability detection frame having a reliability lower than that of the high-reliability detection frame. Perform correction processing.
  • the detection frame position correction unit 9 includes a detection target association unit 80 that associates detection targets that are considered to be the same from the detection results of all frames, and a high-reliability detection frame selection that selects a highly reliable detection frame for each identical detection target. and a low-reliability detection frame correction unit 82 that corrects the position information of the remaining low-reliability detection frames in the same detection target using the selected high-reliability detection frame information.
  • a detection target association unit 80 that associates detection targets that are considered to be the same from the detection results of all frames
  • a high-reliability detection frame selection that selects a highly reliable detection frame for each identical detection target.
  • the detection target association unit 80 analyzes the detection frame information of all frames and gives the same ID information to the detection frames considered to be the same target.
  • the Euclidean distance of the central coordinates between all the detection frames is calculated in the preceding and succeeding frames, and the closest detection frames are judged to be the same detection object.
  • the high-reliability detection frame selection unit 81 collects information on detection frames to which the same ID information is assigned by the detection target associating unit 80, and selects a plurality of pieces of information on detection frames with high reliability (high-reliability detection frames). Select.
  • the selection method is not particularly limited, and may be, for example, a method of selecting all detection frames whose reliability is equal to or higher than a predetermined threshold, or a method of selecting information on a specified number of detection frames in descending order of reliability.
  • the information of the detection frame with high reliability may be selected by utilizing the image feature amount, GUI, or the like.
  • the information of the detection frame of the corresponding image is not used, or the user manually selects a high-reliability detection frame using a GUI or the like. You can use a method such as
  • the low-reliability detection frame correction unit 82 uses the detection frame information selected by the high-reliability detection frame selection unit 81 to correct the position information of unselected detection frames assigned the same ID information.
  • the positional information of the detection frame is information on the position and size of the detection frame in the captured image as indicated by 15 in FIG.
  • a correction method information on the center coordinate position, width, and height of the detection frame with high reliability is collected, and general interpolation methods such as spline interpolation are used to correct the center coordinate position, width, and height of the detection frame with low reliability.
  • the method is capable of function approximation from a plurality of points, such as a method of calculating each vertical width.
  • a method of using the reliability value as weight information in the interpolation method may be used.
  • the trajectory generation unit 10 calculates the distance between the camera 2 and the detection target by using the detection frame information output from the detection frame position correction unit 9, and generates a trajectory.
  • a general method utilizing camera parameters is used as a method for calculating the distance to the detection target. Specifically, among camera parameters, internal parameters including a focal length and a distortion correction coefficient are used to convert the image coordinates of the center of the lower end of the detection frame in the detection target into camera coordinates.
  • the position of the detection target can be estimated, and the distance from the camera to the detection target can be calculated.
  • the distance calculation method is not particularly limited as long as it can estimate the distance from the camera to the detection target based on the detection frame information in the image. It is possible to obtain a trajectory by connecting the three-dimensional world coordinates obtained by calculating the distance from the camera to the target using all the detection frame information of the same target and looking down.
  • the detection frame is adjusted based on the presence probability map information generated from the object detection result of each frame.
  • the object tracking device 1 of this embodiment detects a detection target for each of a plurality of frames acquired by the camera 2, and determines the reliability of the detection frame based on the flow information between the frames within the detection frame of the detected detection target. Calculate degrees. Then, the detection frame information of the high-reliability detection frame, which has a higher reliability than the threshold, is used to correct the detection frame information of the low-reliability detection frame, which has a lower reliability, and a trajectory is generated using the corrected detection frame information. do.
  • the object tracking device 1 of the present embodiment it is possible to reduce detection omissions and erroneous detections of the detection target in the frame, reduce positional deviation of the detection frame, and generate a highly accurate trajectory of the same detection target. can be done. Therefore, for example, in order to analyze the ADAS quality and the situation when a traffic accident occurs, the trajectory of the preceding vehicle can be estimated from the in-vehicle image and compared with the CAN data. It is possible to provide services that are utilized for evaluation and the like.
  • the object tracking device 1 includes the existence probability map determination unit 5 and the detection frame adjustment determination unit 6, but these may be omitted. Even if the existence probability map determining unit 5 and the detection frame adjustment determining unit 6 are omitted, the detection frame The detection frame information of the detection target can be corrected based on the reliability, and a highly accurate trajectory can be generated using the corrected detection frame information. In the present embodiment, the object tracking device 1 has the existence probability map determining unit 5 and the detection frame adjustment determining unit 6, so that the detection accuracy of the detection frame can be further improved.
  • FIG. 11 is a block configuration diagram of Embodiment 2 of the present invention.
  • the object tracking device 90 has a detection target moving direction prediction unit (object motion estimation unit) 91 that estimates the motion of the object.
  • the object tracking device 90 shown in FIG. 11 predicts the moving direction of the detection target in advance, and utilizes the prediction result to generate an existence probability map, calculate the reliability of the detection frame, and correct the position. It is a device that generates a highly accurate trajectory of an object.
  • the trajectory generator 10 have the same or substantially the same functions as those of the first embodiment.
  • the detection target movement direction prediction unit 91 generates trajectory information generated by the trajectory generation unit 10, detection target movement area candidate information, object motion information around the detection target, and a medium such as a vehicle in which the camera 2, which is a measurement device, is installed.
  • the motion of the object is estimated from one or more pieces of information.
  • a detection target moving direction prediction unit 91 shown in FIG. It has a function to predict. A method of generating an existence probability map, calculating a detection frame reliability, and correcting a detection frame position based on the detection target movement direction prediction unit 91 and the acquired surrounding environment information will be described below.
  • FIG. 12 is a block diagram of the detection target moving direction prediction unit 91.
  • a moving region extracting unit 95 has a function of analyzing frame information acquired from the frame collecting unit 3 and extracting a moving region to be detected.
  • a function to acquire control data such as the steering angle and running speed of the corresponding vehicle, and a detection target moving direction output unit 98 analyzes the information acquired by the moving area extraction unit 95, the surrounding object information analysis unit 96, and the control data acquisition unit 97. By doing so, the moving direction of the detection target is estimated and the result is output to the subsequent processing block.
  • Functions 95, 96 and 98 are described below.
  • the movement area extraction unit 95 performs image processing on the frame, detects information on passages in buildings, information on outdoor sidewalks, information on white lines, etc., and extracts movement areas to be detected.
  • an extraction method there is a method of detecting an obstacle, a white line, etc. by object recognition, straight line detection, or the like, and extracting an area surrounded by the obstacle or the white line as a moving area to be detected.
  • the surrounding object information analysis unit 96 analyzes the object detection results, analyzes the detection results of objects existing in the surroundings other than the detection target in all frames, and acquires information such as the movement state and movement direction of the object.
  • the flow described in the first embodiment is applied to objects other than the object to be detected, and by generating the trajectory of the object, information such as whether the object is stationary or moving can be obtained. If there is, there is a method such as acquiring information on the direction of movement.
  • a method of outputting the motion states of selected objects may be adopted, such as a method of using only the motion states of objects with many highly reliable detection frames.
  • the detection target movement direction output unit 98 estimates and outputs the detection target movement direction using the acquired detection target movement region, the operating state of the surrounding object, and the control data.
  • a method of estimating the direction of movement for example, a method of approximating a moving region of a detection target to a rectangular shape and assuming that a moving object moves back and forth in the long side direction is used to determine the direction of movement of the detection target in the two directions. Analyzing the object's operating state and control data, assuming that the object to be detected is moving in the same way as the surrounding objects, and if the surrounding objects are stationary, it is determined that the object to be detected is stationary. There is a method of setting the moving direction to 0 and determining the moving direction as the moving direction of the detection target when the object is moving.
  • a method for correcting information such as the existence probability map, detection frame reliability, and detection frame position from the movement direction of the detection object output by the detection object movement direction prediction unit 91 will be described.
  • a method of correcting the existence probability map when determining the position of the existence probability map of the relevant frame using the existence probability maps of the preceding and following frames in the existence probability map interpolation unit 22, Therefore, a method of finely correcting the position of the map is conceivable.
  • the reliability of the detection frame the movement direction of the center coordinates of the detection frame of the detection target between frames is obtained, and if it is similar to the predicted movement direction of the detection target, the reliability of the detection frame of the corresponding frame is determined.
  • a correction method is conceivable to increase the degree.
  • the method of correcting the position of the detection frame when the high-reliability detection frame selection unit 81 selects a highly-reliable detection frame, A method of preferentially selecting frames having similar directions can be considered. In addition to the method described above, there is no particular limitation as long as it is a method that can be used for correction by comparing the predicted movement direction of the detection target with the movement direction of the detection target used in the flow shown in the first embodiment. .
  • the direction of movement of a detection target is predicted in advance, and the information on the direction of movement is utilized.
  • the presence probability map information generated from the object detection results of each frame is used to adjust the amount of the detection frame, and the position of the detection frame is corrected according to the reliability calculated from the flow information. can be output.
  • FIG. 13 is a block configuration diagram of Embodiment 3 of the present invention.
  • the object tracking apparatus 100 shown in FIG. 13 adjusts the amount of the detection frame based on the existence probability map information generated from the object detection result of each frame, and corrects the detection frame position according to the reliability calculated from the flow information.
  • This is a device that outputs a highly accurate trajectory of a detection target by generating a plurality of trajectories of the detection target and selecting a highly accurate trajectory from among them.
  • a frame collection unit 3 an object detection unit 4, an existence probability map determination unit 5, a detection frame adjustment determination unit 6, a flow calculation unit 7, a detection frame reliability calculation unit 8, a detection frame position correction unit 9, and a trajectory generation unit.
  • the part 10 has the same function as the first embodiment.
  • An existence probability map determination unit 5 generates a plurality of existence probability maps of a detection target, a detection frame reliability calculation unit 8 calculates a plurality of reliability levels of the detection target, and a detection frame position correction unit 9 calculates the detection target. Generate multiple detection frame positions for
  • the trajectory generation unit 10 generates a plurality of trajectories using a plurality of existence probability maps, a plurality of detection frame reliability levels, and a plurality of detection frame position information.
  • the trajectory storage unit 101 has a function of storing the generated trajectories
  • the trajectory selection unit 102 has a function of manually selecting any one trajectory from the stored trajectories using a GUI or the like.
  • the trajectory generation unit 10 prepares multiple patterns of detection target existence probability maps, detection frame reliability, and detection frame position correction methods in the same frame, and generates multiple trajectories of the same target. For example, in the presence probability map determination unit 5, a method of generating or interpolating the presence probability map with a different algorithm is used, or the pattern of the regions selected by the presence probability map selection unit 23 is changed. It can generate an existence probability map. Further, the detection frame reliability calculation unit 8 can have a plurality of reliability levels by changing the reliability calculation algorithm. A plurality of pieces of detection window information can be generated by changing the attachment method pattern and the high-reliability detection window selection pattern.
  • trajectory selection unit 102 a set of images of all frames to which a detection frame after position correction has been added and a trajectory generated from the detection frame are displayed on a GUI screen for each trajectory, so that the user can choose the trajectory that it considers optimal.
  • Object tracking device 1... Object tracking device, 2... Camera (sensor), 3... Frame collection unit, 4... Object detection unit, 5... Existence probability map determination unit, 6... Detection frame adjustment Determination unit 7 Flow calculation unit 8 Detection frame reliability calculation unit 9 Detection frame position correction unit 10 Trajectory generation unit 11 Captured image 12, 13 ... detection target, 14 ... detection frame, 15 ... detection frame information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本発明の課題は、計測範囲内の物体の軌跡を生成する物体追跡装置において、物体の検知枠情報を補正して高精度な軌跡を生成できることである。本発明の物体追跡装置（１００）は、カメラ（２）の計測範囲内の物体の軌跡を生成する物体追跡装置（１００）であって、センサにより取得した複数のフレームに対してそれぞれ物体の検出を行う物体検出部（４）と、物体が検知された検知枠のフレーム間のフロー情報に基づいて検知枠の信頼度を算出する検知枠信頼度算出部（８）と、高信頼度検知枠の検知枠情報を用いて、低信頼度検知枠の検知枠情報を補正する検知枠位置補正部（９）と、補正後の検知枠情報を用いて物体の軌跡を生成する軌跡生成部（１０）を有することを特徴とする。

Description

物体追跡装置
　本発明は、物体追跡装置に関する。
　近年、監視カメラや車載カメラなどが取得した映像を解析することで、検出対象を追跡して軌跡情報を生成する映像認識技術へのニーズが高まっている。特に、俯瞰的な視点から見た軌跡情報は、２次元マップ上に投影することで可視化が容易となるだけでなく、対象の作業行動管理や異常動作検出などに活用できる。前記軌跡の生成方法としては、カメラ画像の各フレームにおいて、カメラから検出対象までの距離を算出し、３次元の位置情報を取得し、フレーム毎の位置情報を統合する方法が挙げられる。距離算出の例としては、カメラ画像中から対象を検出して求めた対象の外接矩形情報とカメラパラメータを用いる方法が一般的である。この内、カメラパラメータは予め理想環境で撮影することで推定できるが、外接矩形情報は実際の撮影現場で取得したカメラ画像から推定する必要がある。そのため、高精度な軌跡を生成するには、多様な撮影現場においても正確な外接矩形(以降は検知枠と呼ぶ)の位置を推定する技術が求められる。前記技術としては、例えば、畳み込みニューラルネットワークなどの機械学習により作成した辞書情報を用いる方法がある。機械学習には事前に学習データを作成する必要があり、多様なシーンを学習できれば良いものの、現実的な工数を踏まえるとシーンのバリエーションは制限される。そのため、カメラ設置環境によっては、対象の未検出や誤検出が発生し正しい検知枠情報を得られないケースや、検知枠情報内に対象の背景を含み正確な矩形位置を推定できないケースがある。特許文献１では、物体追跡処理と物体認識処理を並行して実施することで検知枠情報を補正する方法が提案されており、特許文献２では、画像特徴点を抽出し移動ベクトルを推定することで障害物に検出対象が遮蔽された場合に矩形位置を補正する手法が提案されている。
国際公開２０１９／１８０９１７ 特開２００６－３２３４３７号公報
　特許文献１では、物体追跡処理により検出対象を追跡し同一対象の軌跡を生成しつつ、高精度な物体認識を所定のフレーム間隔で実施し矩形のＩＤ情報を補正することで、複数対象の軌跡を高精度に算出する技術が記載されているものの、矩形の大きさや位置情報を補正することはできない。また、特許文献２では、検出対象の外接矩形内の画像特徴から求めた移動ベクトル情報から、次フレーム以降の矩形位置を予測することで矩形位置を補正できるものの、矩形の大きさを補正することはできない。
　本発明は、前記の課題を解決するための発明であって、計測範囲内の物体の軌跡を生成する物体追跡装置において、フロー情報から算出した信頼度に応じて検知枠位置を補正することで、検出対象の高精度な軌跡を出力することを目的とする。
　前記目的を達成するため、本発明は、
　センサの計測範囲内の物体の軌跡を生成する物体追跡装置であって、
　前記センサにより取得した複数のフレームに対してそれぞれ物体の検出を行う物体検出部と、
　該物体が検知された検知枠のフレーム間のフロー情報に基づいて前記検知枠の信頼度を算出する検知枠信頼度算出部と、
　閾値よりも信頼度の高い高信頼度検知枠の検知枠情報を用いて、前記高信頼度検知枠よりも信頼度の低い低信頼度検知枠の検知枠情報を補正する検知枠位置補正部と、
　該補正後の検知枠情報を用いて前記物体の軌跡を生成する軌跡生成部と、
　を有することを特徴とする。
　以上述べた特徴により本発明の物体追跡装置を適用することで、検出対象の検知枠情報を補正して高精度な軌跡を生成できる。
　本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の実施例１の機能ブロック図。 物体検出部４を説明する図。 存在確率マップ決定部５の構成図。 存在確率マップ作成部２１を説明する図。 存在確率マップの作成方法の一例。 存在確率マップ補間部２２を説明する図。 検知枠を追加するフローを説明する図。 フロー算出部７を説明する図。 検知枠信頼度算出部８を説明する図。 検知枠位置補正部９の構成図。 本発明の実施例２の機能ブロック図。 検出対象移動方向予測部９１の構成図。 本発明の実施例３の機能ブロック図。 数式１を示す図。 数式２を示す図。 数式３を示す図。 数式４を示す図。
　以下、本発明の具体的な実施形態について、図面を参照しながら説明する。
＜実施例１＞
　図１は本発明の実施例１のブロック構成図である。
　本実施例では、計測装置をカメラとした場合の実施形態について説明するが、計測装置はこれに限定されるものではなく、ステレオカメラや距離センサなどの他のセンサに応用可能である。図１に示す物体追跡装置１は、カメラ２で撮影した全フレームの物体検出結果から生成した存在確率マップ情報と、フロー情報などから算出した検知枠の信頼度情報から検知枠位置を補正し、高精度な軌跡を生成する装置である。
　カメラ２は、例えば自動車の車体に取り付けられており、車両前方の路面および他車両を撮像する。物体追跡装置１は、カメラ２によって撮像された画像を取得して、解析処理を行うことにより検出対象である車両前方の物体の軌跡を解析する装置である。物体追跡装置１は、カメラ２とは別に用意した計算機ＰＣにおいて実現される。計算機ＰＣは、演算装置、主記憶装置、外部記憶装置を有しており、フレーム収集部３、物体検出部４、存在確率マップ決定部５、検知枠加減決定部６、フロー算出部７、検知枠信頼度算出部８、検知枠位置補正部９、軌跡生成部１０の各機能を実現する。なお、物体追跡装置１をカメラ２の内部に一体に設けてもよい。
　図１に示す各機能の概要をまず説明すると、フレーム収集部３はカメラ２の撮影画像（フレーム）を収集する機能、物体検出部４はフレーム収集部３により取得した全フレームにおいて検出対象を検知する機能、存在確率マップ決定部５は各フレームの物体検出結果から検出対象の存在確率マップを生成または補間する機能、検知枠加減決定部６は前記存在確率マップ情報を用いることで各フレームにおいて検知枠を加えるまたは減らすかを決定する機能、フロー算出部７はフレーム間のフロー情報を算出する機能、検知枠信頼度算出部８は検知枠加減決定部６から出力される最終的な検知枠内のフロー情報から検知枠の信頼度を算出する機能、検知枠位置補正部９は前記検知枠の信頼度に応じて検知枠位置や大きさを補正する機能、軌跡生成部１０は補正された検知枠情報から検出対象の軌跡を生成する機能を有する。以下、３、４、５、６、７、８、９、１０の各機能の詳細について説明する。
　フレーム収集部３は、カメラ２により撮像した撮像画像であるフレームを収集する。収集するフレームとしては、複数であり、検出対象が存在する全フレームとしても良く、また全フレームから自動または手動で選定したフレームとしても良い。選定方法としては、指定した撮影時間内のフレームを自動抽出する方法や、ユーザが指定した映像中の計測範囲内に検出対象が存在するフレームを自動抽出する方法や、ＧＵＩ（Graphical　User　Interface）などを通してユーザが手動で選定する方法などがあり、特に限定しない。
　図２を用いて物体検出部４について説明する。
　物体検出部４は、フレーム収集部３により収集した複数のフレームに対してそれぞれ検出対象の検出を行う。図２において、１１は撮像画像（フレーム）、１２、１３は検出対象(本例では人物と車)、１４ａ、１４ｂは物体検出部４によって画像中から対象物を含む領域を推定した検知枠の一例、１５は検知枠情報の一例を示す。物体検出部４では、予め学習データから機械学習などにより生成した画像中から対象物を検出可能な事象を活用することで、撮像画像中に存在する検出対象を検出する。検出用の辞書を生成する際のアルゴリズムについては、畳み込みニューラルネットワークやＡｄａＢｏｏｓｔなど一般的なもので良く、特に限定しない。物体検出部４では、前記辞書によりフレーム収集部３によって取得した複数のフレームに対して対象物を検出し、図２の１５に示すような検知枠情報を保存する。検知枠情報としては、検出した対象ごとに、対象の種類を表すクラス情報、クラス情報の正確さを示す信頼度情報、検知枠１４ａ、１４ｂの左上の画像座標を示す始点(Ｘ、Ｙ)、検知枠の横幅と縦幅の情報などがある。なお、画像中における検出対象の位置を推定できる手段であれば本例以外の方法を使用しても良い。
　図３は、存在確率マップ決定部５のブロック構成を示している。
　存在確率マップ決定部５は、複数のフレームにおいてそれぞれ検出対象の存在確率を示す存在確率マップを生成する処理を行う。存在確率マップ決定部５は、物体検出部４から出力される検知枠情報から各フレームにおける存在確率マップを作成する存在確率マップ作成部２１と、対象フレームの前後２枚以上のフレームが有する存在確率マップの情報を補間して、対象フレームの補間存在確率マップを生成する存在確率マップ補間部２２と、存在確率マップと補間存在確率マップを比較して最終的な存在確率マップをフレームごとに選定する存在確率マップ選定部２３を備える。以下、２１、２２、２３について詳細に説明する。
　図４を用いて存在確率マップ作成部２１について説明する。
　存在確率マップ作成部２１は、複数のフレームにおいてそれぞれ物体の存在確率を示す存在確率マップを生成する。存在確率マップ作成部２１では、検知枠情報から検出対象のクラスごとの存在確率マップをフレームごとに算出する。
　存在確率マップ作成部２１は、物体検出部４により検知された物体の検知枠の位置情報と信頼度情報から正規分布によって算出した確率密度関数、および、複数の異なる辞書による物体検出結果のいずれか１つないし複数の情報を用いて、存在確率マップを生成する。
　存在確率マップの生成方法としては、例えば、３１ａ、３１ｂのように撮像画像１１を複数の小領域に分割し、各クラスの検知枠１４ａ、１４ｂと各小領域との重なり具合を割合で算出し、３２ａ、３２ｂのような存在確率マップを生成する方法がある。なお、小領域の分割数は特に限定せず、処理を実行する計算機ＰＣのスペックなどを考慮して決めて良く、また予めフレームの解像度を縮小した後、複数の領域に分割し存在確率マップを生成しても良い。
　また、存在確率マップの値としては、小領域内に各クラスの対象が存在する割合を示すものであれば、特に限定せず、検知枠との重なり具合を使用するのではなく、図５のような確率密度関数を活用する方法を使用しても良い。
　図５は、存在確率マップの作成方法の一例を説明する図である。
　図５において、１１は撮像画像、４１は検知枠、４２は検知枠の中心座標(xc、yc )、４３、４４は存在確率マップを計算するために使用する画像座標軸のＸ方向、Ｙ方向ごとの確率密度関数f(x)、f(y)を示している。Ｘ方向の確率密度関数f(x)の作成方法としては、図１４の数式１に示す平均値を画像中心のx座標xc、分散σ^2とした正規分布によって算出する。そして、同様にＹ方向の確率密度関数f(y)も図１５の数式２によって算出し、図１６の数式３により、f(x)とf(y)の積を求めることで存在確率マップf(x、y)を生成できる。なお、分散σ^2の値としては検知枠の横幅や縦幅の情報を元に決定する方法や、検出対象の実測情報が予め把握できている場合は横幅と縦幅のアスペクト比の情報などを元に決定する方法などを使用しても良い。また、検知枠の信頼度情報を存在確率マップf(x、y)に掛け合わせることで、検知対象物の存在確率の値を調整するなどの方法も採用しても良い。
　図６を用いて、存在確率マップ補間部２２について説明する。
　存在確率マップ補間部２２は、フレームｔの前後のフレームｔ－１、ｔ＋１の存在確率マップ情報、または、複数の前フレームの存在確率マップ情報、または、複数の後フレームｔ＋１、ｔ＋２の存在確率マップ情報から、該当フレーム（対象フレーム）の存在確率マップを推定する処理を行う。存在確率マップ補間部２２による補間方法は、大きく分けて図６の５１と５２に示す２パターンの方法がある。
　図６の５１に示す方法では、ｔ枚目のフレーム５４に対応する補間存在確率マップを、その前後のフレーム、つまり、ｔ－１枚目のフレーム５３ａとｔ＋１枚目のフレーム５３ｂの存在確率マップから生成する。生成方法としては、例えば、ｔ－１枚目のフレーム５３ａとｔ＋１枚目のフレーム５３ｂの存在確率マップがそれぞれ有する存在確率の積や平均値を求めるなどの方法がある。図６の５１に示す例では、検知枠５３ａ１の検知枠情報に基づいてｔ－１枚目のフレーム５３ａにおける車の存在確率マップが生成され、検知枠５３ｂ１の検知枠情報に基づいてｔ＋１枚目のフレーム５３ｂにおける車の存在確率マップが生成されている。存在確率マップ補間部２２は、ｔ－１枚目のフレーム５３ａにおける車の存在確率マップと、ｔ＋１枚目のフレーム５３ｂにおける車の存在確率マップがそれぞれ有する存在確率の積、あるいは平均値を算出して、ｔ枚目のフレーム５４の補間存在確率マップを生成する。
　図６の５２に示す方法では、ｔ枚目のフレーム５４に対応する補間存在確率マップを、ｔ＋２枚目のフレーム５３ｃの存在確率マップからｔ＋１枚目のフレーム５３ｂの存在確率マップへの変化量に基づいて推定する。例えば、ｔ＋２、ｔ＋１枚目の検知枠５３ｃ１、５３ｂ１の中心位置、縦幅、および横幅の変化量からｔ枚目のフレーム５４における検知枠の大よその位置を推定した後、ｔ＋１枚目のフレーム５３ｂに対応する存在確率マップを検知枠の大きさの変化量に合わせて線形補間などにより拡大または縮小することで、ｔ枚目における検知枠５４ａ１の大きさと位置を求め、ｔ枚目のフレーム５４に対応する補間存在確率マップを算出するなどの方法がある。本例では、ｔ枚目の前後のフレームから、もしくは、ｔ＋１枚目とｔ＋２枚目のフレームからｔ枚目のフレームの補間存在確率マップを算出する方法について説明したが、前後にそれぞれ複数のフレームから該当フレームの補間存在確率マップを算出し、あるいは、該当フレームよりも前の複数のフレームであるｔ－１枚目のフレームと、ｔ－２枚目のフレームから該当フレームの補間存在確率マップを算出しても良い。
　なお、これ以外にも、前後のフレームの存在確率マップ情報から、該当フレーム（対象フレーム）の存在確率マップを推定する方法であれば、特に限定しない。本例では、フレーム収集部３により取得した全フレーム群において、先頭フレームは５２に示す方法により補間存在確率マップを生成し、最終フレームは５２に示す方法の逆フローにより補間存在確率マップを生成し、それ以外のフレームを５１に示す方法により補間存在確率マップを生成する。
　存在確率マップ選定部２３は、各フレームにおいて存在確率マップと補間存在確率マップの中から最終的な存在確率マップを選定する。選定方法としては、例えば、存在確率マップと補間存在確率マップの差分を算出して、差分が閾値以上である小領域のみ補間存在確率マップの値を採用する方法や、存在確率マップと補間存在確率マップの積や平均値を算出して、閾値未満の小領域の存在確率値を０とするなどの方法があり、特に限定しない。
　以上説明した方法により、存在確率マップ決定部５では各フレームにおける存在確率マップを決定する。なお、本例では、各フレームにおいて存在確率マップと補間存在確率マップの２つを生成した後、存在確率マップ選定部２３によって最終の値を決定するというフローを説明したが、フレームにおける補間存在確率マップは複数生成しても良い。例えば、フレーム群における先頭フレームと最終フレーム以外は、５１と５２及び５２の逆フローの手法によって３種類の補間存在確率マップを生成した後、存在確率マップ選定部２３により同様に最終の値を決定するという方法や、補間する際に使用する前後のフレーム数を増やし補間存在確率マップのパターンを増やす方法などを使用しても良い。
　また、本フローでは全てのフレームにおいて補間存在確率マップを作成したが、一部のフレームにのみ補間存在確率マップを生成することで該当フレームの存在確率マップを補正する方法を採用しても良い。例えば、検知枠情報の信頼度が閾値以下のフレームのみ存在確率マップを補正する方法や、各フレームにおける検出対象の検知枠数をカウントしその平均値を求めた後、平均以外の検知枠数であるフレームにのみ補正する方法や、ユーザがＧＵＩなどにより選定したフレームのみ補正する方法など、特に限定しない。また、各フレームにおいて、複数の異なる辞書により検出対象の検知枠情報を取得し生成した存在確率マップを補間存在確率マップとして扱い、存在確率マップ選定部２３により存在確率マップを補正する方法を使用しても良い。
　検知枠加減決定部６は、存在確率マップを用いて複数のフレームにおいてそれぞれ検知枠の追加または削除を決定する処理を行う。検知枠加減決定部６では、存在確率マップ決定部５により出力される存在確率マップ情報を用いて、各フレームにおいて検知枠を加えるか削減するかを決定する。決定方法としては、存在確率が閾値以上の領域付近に検知枠が存在しない場合は存在確率が閾値以上の領域の外接矩形を検知枠として加え、存在確率が閾値以下の領域に検知枠が存在している場合は該当の検知枠を削減する方法がある。存在確率マップに対して検知枠が存在するか否かを判定する基準としては、検知枠内における存在確率マップの閾値を満たす小領域の含有率や、検知枠の中心座標と存在確率マップの閾値を満たす小領域とのユークリッド距離が指定した範囲内であれば存在確率マップ付近に検知枠が存在する方法など、特に限定しない。また、検知枠加減決定部６にて、検知枠を追加する際に、後段の検知枠位置補正部９によって検知枠の位置が補正されることを見越して、検知枠の大きさを指定したマージン分大きくする処理を追加しても良い。
　図７を用いて、ｔ－１、ｔ＋１枚目のフレームの検知枠情報から、t枚目のフレームの存在確率マップを推定して、ｔ枚目のフレームに検知枠５７を追加するフローについて説明する。はじめに、存在確率マップ作成部２１によって、ｔ－１、ｔ＋１枚目のフレーム５３ａ、５３ｂを小領域５４ａ、５４ｂに分割し、検知枠５４ａ１、５４ｂ１との重なり率から存在確率マップ５５ａ、５５ｂを生成する。次に、存在確率マップ５５ａ、５５ｂの平均を算出することで、ｔ枚目のフレームの存在確率マップ５６を推定する。最後に、予め定めた閾値と存在確率マップの値を元に検知枠５７を決定する。図７に示す例では、存在確率マップの各小領域の値を０．５未満、０．５以上かつ０．９未満、０．９以上の３つのクラスに分類し、０．５未満の小領域は矩形に含まない、０．９以上の小領域は全て矩形に含まれる、０．５以上かつ０．９未満の小領域は矩形に含まれるが半分以上は含まれないという条件に基づいて検知枠５７を決定している。
　図８を用いてフロー算出部７について説明する。
　図８は、フロー算出部７によりｔ枚目のフレーム１１ａとｔ＋１枚目のフレーム１１ｂの画像特徴量を解析することで、フレーム間のフロー情報を算出する例を示している。図８において、６１は路面、６２はフレーム１１ａにおける計測対象の車両、６３はフレーム１１ｂにおける計測対象の車両、６４ａ、６４ｂは車両６２における画像特徴点の一例、６５ａ、６５ｂは車両６３における画像特徴点の一例、６６は画像特徴点６４ａと６５ａ間のフロー情報、６７は画像特徴点６４ｂと６５ｂ間のフロー情報を示している。フロー情報とはフレーム間における同一画像特徴点の移動ベクトルであり、ベクトルの向きと大きさを示す。画像特徴点とフロー情報を取得する方法としては、Ｌｕｃａｓ－Ｋａｎａｄｅ法によるオプティカルフローを活用する方法や、ＳＨＩＦＴなどの画像特徴量を用いた追跡により求める方法など、前後フレーム間における同一の画像特徴点とそのフロー情報を算出可能な方法であれば特に限定しない。本例では先頭フレーム以外のフロー情報は該当フレーム（ｔ枚目）と前フレーム（ｔ－１枚目）から算出し、先頭フレームのフロー情報は該当フレームと次フレーム(ｔ＋１枚目)から算出した数値の符号を反転することで取得する。
　図９を用いて検知枠信頼度算出部８について説明する。
　検知枠信頼度算出部８は、検出された検出対象の検知枠内のフレーム間のフロー情報に基づいて検知枠の信頼度を算出する。検知枠信頼度算出部８では、検知枠加減決定部６から出力された最終的な物体検出の検知枠情報内における、フロー算出部７により算出されたフロー情報を解析することで、検知枠の信頼度を算出する。
　図９に示す検出対象の車両６２が路面６１を走行している撮像画像１１において、検知枠加減決定部６から出力された最終的な検知枠７０、画像特徴点７１ａ～７１ｆは、車両におけるフロー情報をもった画像特徴点の一例であり、画像特徴点７２ａ、７２ｂは、路面におけるフロー情報をもった画像特徴点の一例を示している。オプティカルフローは、一般的にフレーム間における移動体のフロー情報を算出する。そのため、監視カメラのようにカメラが固定されている場合は、移動体の画像特徴点とフロー情報が算出されやすく、路面のような背景では画像特徴点とフロー情報はほとんど算出されない。また、車載カメラのような動的カメラの場合、移動体は同様に画像特徴点とフロー情報は算出でき、路面のような背景は固定カメラと比べて画像特徴点は算出されやすいもののフロー情報は小さくなりやすい。
　そこで、本例では、予め定めた閾値よりフロー情報が大きい画像特徴点を移動体特徴点（立体物特徴点）とし、閾値よりフロー情報が小さい画像特徴点を平面特徴点（路面特徴点）として、検知枠７０内における移動体特徴点と平面特徴点の含有率から検知枠７０の信頼度を算出する。つまり、検知枠信頼度算出部８は、検知枠内の立体物特徴点と路面特徴点の情報に基づいて検知枠の信頼度を算出する。算出方法としては、図１７の（数式４）のように、検知枠の大きさに対する移動体特徴点数と平面特徴点数の差の割合とする方法や、（数式４）の各特徴点に対してフロー情報の大きさを考慮することでフロー情報が大きい立体物特徴点がある程、信頼度を向上させ、フロー情報が小さい平面特徴点がある程、信頼度を低下させるなどの方法を採用しても良い。また、（数式４）にフロー情報の向きを考慮して信頼度を算出しても良い。例えば、同一移動体の画像特徴点であればフローの向きは類似することを利用し、類似したフローの向きを示す立体物特徴点数が検知枠内に多く存在するほど、検知枠の信頼度を高くするという方法などがある。
　なお、本例においてはフロー情報を用いて検知枠の信頼度を算出したが、移動体(立体物)と背景を区別できるような画像情報を用いて信頼度を算出しても良い。例えば、フレーム間差分を求めた後、検知枠内の差分領域が多いほど、移動体の領域である可能性が高いと判断し、検知枠の面積に対する差分領域の含有率によって信頼度を算出する方法や、検知枠内においてエッジ検出などを実行して検出対象の輪郭候補を推定し、輪郭の外接矩形と検知枠との領域の重なり率が高いものは信頼度の高い検知枠と判定するなどの方法を活用しても良い。
　図１０は検知枠位置補正部９のブロック構成図を示す。
　検知枠位置補正部９は、閾値よりも信頼度の高い高信頼度検知枠の検知枠情報を用いて、前記高信頼度検知枠よりも信頼度の低い低信頼度検知枠の検知枠情報を補正する処理を行う。検知枠位置補正部９は、全フレームの検出結果から同一と考えられる検出対象を対応付ける検出対象対応付け部８０と、同一検出対象ごとに高信頼度の検知枠を選定する高信頼度検知枠選定部８１と、選定した高信頼度の検知枠情報を用いて、同一検出対象における残りの低信頼度の検知枠の位置情報を補正する低信頼度検知枠補正部８２を備える。以下は各機能について説明する。
　検出対象対応付け部８０は全フレームの検知枠情報を解析し、同一対象と考えられる検知枠に同一のＩＤ情報を付与する。同一対象と判定する手段としては、前後フレームにおいて、全検知枠間の中心座標のユークリッド距離を算出し、最も近接した検知枠同士を同一の検出対象と判定するといった処理を全フレームに対して実施するなどの方法がある。この方法以外にも、全フレームの検知結果を入力として組み合わせ最適化アルゴリズムなどにより同一対象か否かを判定する手法であれば、特に限定しない。
　高信頼度検知枠選定部８１は、検出対象対応付け部８０により同一のＩＤ情報を付与された検知枠の情報を収集し、信頼度の高い検知枠（高信頼度検知枠）の情報を複数選定する。選定方法としては、予め定めた閾値以上の信頼度の検知枠を全て選定する方法や、信頼度の高い順に指定した数の検知枠の情報を選定する方法など、特に限定しない。また、画像特徴量やＧＵＩなどを活用して信頼度の高い検知枠の情報を選定しても良い。例えば、画像特徴量によって白飛びなど異常な撮像画像を推定することによって、該当の画像の検知枠の情報は使用しないという方法や、ＧＵＩなどによってユーザが手動で高信頼度の検知枠を選択するといった方法を使用しても良い。
　低信頼度検知枠補正部８２は、高信頼度検知枠選定部８１によって選定した検知枠情報を用いて、同一のＩＤ情報を付与された選定されていない検知枠の位置情報を補正する。検知枠の位置情報とは、図２の１５に示したような撮像画像内における検知枠の位置とその大きさの情報である。補正方法としては、信頼度の高い検知枠の中心座標位置、横幅、縦幅の情報を収集し、スプライン補間法などの一般的な補間手法によって信頼度の低い検知枠の中心座標位置、横幅、縦幅をそれぞれ算出する方法など、複数の点から関数近似が可能な手法であれば特に限定しない。また、信頼度の値を重み情報として前記補間手法に活用するなどの方法を用いても良い。
　軌跡生成部１０では、検知枠位置補正部９から出力された検知枠情報を用いることでカメラ２と検出対象の距離を算出し、軌跡を生成する。検出対象までの距離算出手法としては、カメラパラメータを活用する一般的な方法を使用する。具体的には、カメラパラメータの中で、焦点距離や歪補正係数を含む内部パラメータを用いて、検出対象における検知枠の下端中心の画像座標をカメラ座標に変換する。そして、カメラの設置姿勢・角度を示す外部パラメータにより下端中心のカメラ座標から算出した３次元世界座標の点が、実世界において高さ０の地面に存在すると仮定することで、実世界座標での検出対象の位置を推定でき、カメラから検出対象までの距離を算出できる。なお、距離算出方法について、画像中の検知枠情報によってカメラから検出対象までの距離を推定可能な手法であれば特に限定しない。同一対象の全検知枠情報によってカメラから対象までの距離を算出し求めた３次元世界座標を繋ぎ、俯瞰することによって、軌跡を取得することが可能である。
　本発明の実施例１では以上説明した機能構成により、計測範囲内の物体の軌跡を生成するような物体追跡装置において、各フレームの物体検出結果から生成した存在確率マップ情報から検知枠の加減を調整し、フロー情報から算出した信頼度に応じて検知枠位置を補正することで、検出対象の高精度な軌跡を出力することができる。
　本実施形態の物体追跡装置１は、カメラ２により取得した複数のフレームに対してそれぞれ検出対象の検出を行い、検出した検出対象の検知枠内のフレーム間のフロー情報に基づいて検知枠の信頼度を算出する。そして、閾値よりも信頼度の高い高信頼度検知枠の検知枠情報を用いて信頼度の低い低信頼度検知枠の検知枠情報を補正し、補正後の検知枠情報を用いて軌跡を生成する。
　本実施形態の物体追跡装置１によれば、フレーム内における検出対象の検知漏れや、誤検知を削減し、検知枠の位置ずれを低減でき、同一の検出対象の高精度な軌跡を生成することができる。したがって、例えば、ＡＤＡＳ品質や交通事故発生時の状況分析のため、車載画像から先行車の軌跡を推定し、ＣＡＮデータと比較することで、緊急ブレーキ動作の保守点検や、正しい挙動か否かの評価などに活用するサービスを提供することができる。
　なお、本実施形態では、物体追跡装置１が、存在確率マップ決定部５と、検知枠加減決定部６とを有する場合を例に説明したが、これらを省略した構成とすることもできる。存在確率マップ決定部５と検知枠加減決定部６を省略しても、物体検出部４、検知枠信頼度算出部８、検知枠位置補正部９、軌跡生成部１０を有することにより、検知枠信頼度に基づいて検出対象の検知枠情報を補正することができ、補正後の検知枠情報を用いて高精度な軌跡を生成することができる。本実施形態では、物体追跡装置１が、存在確率マップ決定部５と、検知枠加減決定部６とを有するので、検知枠の検出精度を、更に向上させることができる。
＜実施例２＞
　図１１は本発明の実施例２のブロック構成図である。
　本実施例において特徴的なことは、物体追跡装置９０が、物体の動作を推定する検出対象移動方向予測部（物体動作推定部）９１を有することである。図１１に示す物体追跡装置９０は、検出対象の移動方向を事前に予測し、その予測結果を活用して存在確率マップの生成や検知枠の信頼度算出や位置補正を実行することで、検出対象の高精度な軌跡を生成する装置である。図１１において、フレーム収集部３、物体検出部４、存在確率マップ決定部５’、検知枠加減決定部６、フロー算出部７、検知枠信頼度算出部８’、検知枠位置補正部９’、および軌跡生成部１０は、実施例１と同じまたはほぼ同等の機能である。
　検出対象移動方向予測部９１は、軌跡生成部１０によって生成された軌跡情報、検出対象の移動領域候補情報、検出対象周辺の物体動作情報、および計測装置であるカメラ２を設置した車両などの媒体情報のいずれか１つないし複数の情報から物体の動作を推定する。図１１に示す検出対象移動方向予測部９１は、フレーム収集部３により取得した全フレームにおいて画像処理を実行した結果と物体検出部４から取得した物体検出結果を元に、検出対象の移動方向を予測する機能を有する。以下、検出対象移動方向予測部９１と、取得した周辺環境情報によって、存在確率マップの生成、検知枠信頼度の算出、検知枠位置の補正する方法について説明する。
　図１２は、検出対象移動方向予測部９１のブロック構成図である。
　図１２において、移動領域抽出部９５は、フレーム収集部３から取得したフレーム情報を解析して検出対象の移動領域を抽出する機能、周辺物体情報解析部９６は物体検出部４から取得した物体検出結果を用いて検出対象の周辺の物体の状態などを認識し周辺物体の移動方向などの情報を取得する機能、制御データ取得部９７はカメラ（計測装置）２が車両などに設置されている場合に該当車両の操舵角や走行速度などの制御データを取得する機能、検出対象移動方向出力部９８は移動領域抽出部９５、周辺物体情報解析部９６、制御データ取得部９７により取得した情報を解析することで、検出対象の移動方向を推定しその結果を後段の処理ブロックに出力する機能である。以降は、機能９５、９６、９８について説明する。
　移動領域抽出部９５は、フレームに対して画像処理を実行し、建物内の通路情報や屋外の歩道情報、白線情報などを検出し、検出対象の移動領域を抽出する。抽出方法としては、物体認識や直線検出などにより障害物や白線などを検知し、障害物や白線で囲まれた領域を検出対象の移動領域として抽出するなどの方法がある。
　周辺物体情報解析部９６は、物体検出結果を解析して、全フレームにおける検出対象以外に周囲に存在する物体の検出結果を解析し、物体の動作状態や移動方向などの情報を取得する。取得方法としては、実施例１にて説明したフローを検出対象以外の物体にも適用し、物体の軌跡を生成することで、物体が停止しているや移動しているといった情報、移動している場合はその移動方向の情報を取得するなどの方法がある。また、全ての物体の動作状態を出力するのではなく、選定した物体の動作状態を出力するといった方法を採用しても良く、高信頼な検知枠を多数持つ物体の動作状態のみ使用する方法などがある。
　検出対象移動方向出力部９８は取得した検出対象の移動領域、周辺物体の動作状態、制御データを用いて、検出対象の移動方向を推定して出力する。移動方向の推定手法としては、例えば、検出対象の移動領域を長方形状に近似して長辺方向を移動体が行き来すると仮定して検出対象の移動方向をその２方向に決定する方法や、周辺物体の動作状態や制御データを解析し、検出対象が周囲の対象と同様の移動をしていると仮定し、周囲の対象が停止している場合は、検出対象は停止していると判断し移動方向を０とし、動作している場合は、その移動方向を検出対象の移動方向として決定する方法などがある。
　検出対象移動方向予測部９１によって出力された検出対象の移動方向から存在確率マップや検知枠信頼度、検知枠位置などの情報を補正する方法について説明する。例えば、存在確率マップの補正方法として、存在確率マップ補間部２２において前後フレームの存在確率マップを使用して該当フレームの存在確率マップの位置を決定する際に、予測した検出対象の移動方向に沿って、マップの位置を微修正する方法が考えられる。また、検知枠信頼度の補正方法としては、フレーム間における検出対象の検知枠の中心座標の移動方向を求め、予測した検出対象の移動方向と類似している場合は該当フレームの検知枠の信頼度が高くなるように補正する方法が考えられる。また、検知枠位置の補正方法については、高信頼度検知枠選定部８１によって高信頼度の検知枠を選定する際に、フレーム間における検知枠の中心座標の移動方向と予測した検出対象の移動方向が類似するフレームを優先的に選定するなどの方法が考えらえる。上記説明した方法以外にも、予測した検出対象の移動方向と、実施例１に示したフローによって使用される検出対象の移動方向とを比較し、補正に活用できる方法であれば、特に限定しない。
　本発明の実施例２では以上説明した機能構成により、計測範囲内の物体の軌跡を生成するような物体追跡装置において、予め検出対象の移動方向を予測しておき、その移動方向の情報を活用しつつ各フレームの物体検出結果から生成した存在確率マップ情報から検知枠の加減を調整し、フロー情報から算出した信頼度に応じて検知枠位置を補正することで、検出対象の高精度な軌跡を出力することができる。
＜実施例３＞
　図１３は本発明の実施例３のブロック構成図である。
　図１３に示す物体追跡装置１００は、各フレームの物体検出結果から生成した存在確率マップ情報から検知枠の加減を調整し、フロー情報から算出した信頼度に応じて検知枠位置を補正することで検出対象の複数の軌跡を生成し、その中から高精度な軌跡を選択することで、検出対象の高精度な軌跡を出力する装置である。図１３において、フレーム収集部３、物体検出部４、存在確率マップ決定部５、検知枠加減決定部６、フロー算出部７、検知枠信頼度算出部８、検知枠位置補正部９、軌跡生成部１０は実施例１と同じ機能である。存在確率マップ決定部５は、検出対象の複数の存在確率マップを生成し、検知枠信頼度算出部８は、検出対象の複数の信頼度を算出し、検知枠位置補正部９は、検出対象の複数の検知枠位置を生成する。
　軌跡生成部１０は、複数の存在確率マップ、複数の検知枠信頼度、および複数の検知枠位置の情報を用いて複数の軌跡を生成する。そして、軌跡保存部１０１は、生成した軌跡を保存する機能、軌跡選定部１０２は保存した軌跡の中からＧＵＩなどによりユーザが手動でいずれか一つの軌跡を選定する機能を有する。
　軌跡生成部１０は、本実施例では、同一フレームにおける検出対象の存在確率マップ、検知枠信頼度、および検知枠位置補正方法を複数パターン用意し、同一対象の複数の軌跡を生成する。例えば、存在確率マップ決定部５においては、存在確率マップの生成あるいは補間の手法をアルゴリズムが異なるものを使用することや、存在確率マップ選定部２３によって選定する領域のパターンを変化させることで複数の存在確率マップを生成できる。また、検知枠信頼度算出部８においては、信頼度の算出アルゴリズムを変化させることで複数の信頼度を所持することができ、検知枠位置補正部９においては、検出対象対応付け部８０の対応付け方法のパターンや高信頼度検知枠選定のパターンを変化させることで、複数の検知枠情報を生成できる。
　軌跡選定部１０２においては、検出対象に対して、位置補正後の検知枠を付与した全フレームの画像とその検知枠から生成した軌跡をセットとして、軌跡ごとにＧＵＩ画面に表示することで、ユーザが最適と考える軌跡を選択できる。
　本発明の実施例３では以上説明した機能構成により、計測範囲内の物体の軌跡を生成するような物体追跡装置において、各処理ブロックにおけるアルゴリズムなどを変更しつつ実施例１のフローにより生成した複数の軌跡を保存しつつ、ＧＵＩ画面などに可視化することで、ユーザが検出対象の高精度な軌跡を選定することができる。
　以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１・・・物体追跡装置、２・・・カメラ（センサ）、３・・・フレーム収集部、４・・・物体検出部、５・・・存在確率マップ決定部、６・・・検知枠加減決定部、７・・・フロー算出部、８・・・検知枠信頼度算出部、９・・・検知枠位置補正部、１０・・・軌跡生成部、１１・・・撮像画像、１２、１３・・・検出対象、１４・・・検知枠、１５・・・検知枠情報

Claims (10)

  1. 　センサの計測範囲内の物体の軌跡を生成する物体追跡装置であって、
    　前記センサにより取得した複数のフレームに対してそれぞれ物体の検出を行う物体検出部と、
    　該検出された前記物体の検知枠内のフレーム間のフロー情報に基づいて前記検知枠の信頼度を算出する検知枠信頼度算出部と、
    　閾値よりも信頼度の高い高信頼度検知枠の検知枠情報を用いて、前記高信頼度検知枠よりも信頼度の低い低信頼度検知枠の検知枠情報を補正する検知枠位置補正部と、
    　該補正後の検知枠情報を用いて前記軌跡を生成する軌跡生成部と、
    　を有することを特徴とする物体追跡装置。
  2. 　前記検知枠信頼度算出部は、前記検知枠内の立体物特徴点と路面特徴点の情報に基づいて前記検知枠の信頼度を算出することを特徴とする請求項１に記載の物体追跡装置。
  3. 　前記検知枠位置補正部は、複数の前記高信頼度検知枠の位置と縦幅と横幅の情報を用いて、前記低信頼度検知枠の位置と縦幅と横幅の情報を補正することを特徴とする請求項１又は２に記載の物体追跡装置。
  4. 　前記複数のフレームにおいてそれぞれ前記物体の存在確率を示す存在確率マップを生成する存在確率マップ決定部と、
    　前記存在確率マップを用いて前記複数のフレームにおいてそれぞれ前記検知枠の追加または削除を決定する検知枠加減決定部と、
    　を備えることを特徴とする請求項１に記載の物体追跡装置。
  5. 　前記存在確率マップ決定部は、
    　前記物体検出部により出力される検知枠情報から各フレームにおける存在確率マップを作成する存在確率マップ作成部と、
    　前記複数のフレームに含まれる対象フレームの前後２枚以上のフレームが有する存在確率マップの情報を補間して、前記対象フレームの補間存在確率マップを生成する存在確率マップ補間部と、
    　前記存在確率マップと前記補間存在確率マップを比較して最終の存在確率マップを選定する存在確率マップ選定部と、
    　を備えることを特徴とする請求項４に記載の物体追跡装置。
  6. 　前記存在確率マップ作成部は、前記物体検出部により検知された物体の検知枠の位置情報と前記信頼度情報から正規分布によって算出した確率密度関数、および、複数の異なる辞書による物体検出結果のいずれか１つないし複数の情報を用いて、前記存在確率マップを作成することを特徴とする請求項５に記載の物体追跡装置。
  7. 　前記物体の動作を推定する物体動作推定部を備えることを特徴とする請求項６に記載の物体追跡装置。
  8. 　前記物体動作推定部は、前記軌跡生成部によって生成された軌跡情報、物体の移動領域候補情報、物体周辺の物体動作情報、および前記センサを設置した媒体情報のいずれか１つないし複数の情報から前記物体の動作を推定することを特徴とする請求項７に記載の物体追跡装置。
  9. 　前記物体動作推定部により求めた前記物体の動作情報を用いて、前記存在確率マップ、前記検知枠の信頼度、および前記検知枠の位置を再度補正することを特徴とする請求項８に記載の物体追跡装置。
  10. 　前記存在確率マップ決定部は、前記物体の複数の存在確率マップを生成し、
    　前記検知枠信頼度算出部は、前記物体の複数の信頼度を算出し、
    　前記検知枠位置補正部は、前記物体の複数の検知枠位置を補正し、
    　前記軌跡生成部は、前記複数の存在確率マップ、前記複数の信頼度、および前記複数の検知枠情報を用いて複数の軌跡を生成し、いずれか一つの軌跡を選定することを特徴とする請求項４に記載の物体追跡装置。
PCT/JP2022/009748 2021-04-05 2022-03-07 物体追跡装置 Ceased WO2022215409A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/549,399 US12651353B2 (en) 2021-04-05 2022-03-07 Object tracking device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021064048A JP7675339B2 (ja) 2021-04-05 2021-04-05 物体追跡装置
JP2021-064048 2021-04-05

Publications (1)

Publication Number Publication Date
WO2022215409A1 true WO2022215409A1 (ja) 2022-10-13

Family

ID=83546358

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/009748 Ceased WO2022215409A1 (ja) 2021-04-05 2022-03-07 物体追跡装置

Country Status (3)

Country Link
US (1) US12651353B2 (ja)
JP (1) JP7675339B2 (ja)
WO (1) WO2022215409A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115877328A (zh) * 2023-03-06 2023-03-31 成都鹰谷米特科技有限公司 一种阵列雷达的信号收发方法及阵列雷达
US20240386724A1 (en) * 2021-10-01 2024-11-21 Sony Semiconductor Solutions Corporation Recognition processing device, recognition processing method, and recognition processing system

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017723A1 (ja) * 2021-08-13 2023-02-16 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
PE20242036A1 (es) * 2022-03-03 2024-10-10 Wi Tronix Llc Metodo y sistema de deteccion de amenazas operativas
JP7826952B2 (ja) * 2023-01-11 2026-03-10 トヨタ自動車株式会社 移動物体探索装置
JP7778105B2 (ja) * 2023-03-28 2025-12-01 三菱電機株式会社 物体検出装置及び物体検出システム
JP7790403B2 (ja) * 2023-05-19 2025-12-23 トヨタ自動車株式会社 再同定システム
TW202526831A (zh) * 2023-12-29 2025-07-01 財團法人工業技術研究院 在物件偵測模型中更新定界框或關鍵點的方法
CN118279576B (zh) * 2024-06-04 2024-09-06 浙江大华技术股份有限公司 一种目标检测方法、装置以及计算机存储介质
CN119091471B (zh) * 2024-11-08 2025-02-25 成都考拉悠然科技有限公司 用于铁塔场景的飞鸟入侵检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013092955A (ja) * 2011-10-27 2013-05-16 Hitachi Ltd 映像解析装置及びシステム
WO2017094140A1 (ja) * 2015-12-02 2017-06-08 三菱電機株式会社 物体検出装置及び物体検出方法
JP2021022315A (ja) * 2019-07-30 2021-02-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323437A (ja) 2005-05-17 2006-11-30 Sony Corp 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置
US8971575B2 (en) * 2012-11-23 2015-03-03 Cyberlink Corp. Systems and methods for tracking objects
CN107301651A (zh) * 2016-04-13 2017-10-27 索尼公司 对象跟踪装置和方法
US10628961B2 (en) * 2017-10-13 2020-04-21 Qualcomm Incorporated Object tracking for neural network systems
CN110163033B (zh) * 2018-02-13 2022-04-22 京东方科技集团股份有限公司 正样本获取方法、行人检测模型生成方法和行人检测方法
US11494922B2 (en) 2018-03-23 2022-11-08 Nec Corporation Object tracking device, object tracking method, and object tracking program
CN110472594B (zh) * 2019-08-20 2022-12-06 腾讯科技（深圳）有限公司 目标跟踪方法、信息插入方法及设备
JP6891984B1 (ja) * 2020-01-22 2021-06-18 沖電気工業株式会社 物体検出装置、物体検出方法、プログラム及び記録媒体
CN111553282B (zh) * 2020-04-29 2024-03-29 北京百度网讯科技有限公司 用于检测车辆的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013092955A (ja) * 2011-10-27 2013-05-16 Hitachi Ltd 映像解析装置及びシステム
WO2017094140A1 (ja) * 2015-12-02 2017-06-08 三菱電機株式会社 物体検出装置及び物体検出方法
JP2021022315A (ja) * 2019-07-30 2021-02-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240386724A1 (en) * 2021-10-01 2024-11-21 Sony Semiconductor Solutions Corporation Recognition processing device, recognition processing method, and recognition processing system
US12633133B2 (en) * 2021-10-01 2026-05-19 Sony Semiconductor Solutions Corporation Recognition processing device, recognition processing method, and recognition processing system
CN115877328A (zh) * 2023-03-06 2023-03-31 成都鹰谷米特科技有限公司 一种阵列雷达的信号收发方法及阵列雷达

Also Published As

Publication number Publication date
US20240153106A1 (en) 2024-05-09
JP2022159694A (ja) 2022-10-18
US12651353B2 (en) 2026-06-09
JP7675339B2 (ja) 2025-05-14

Similar Documents

Publication Publication Date Title
JP2022159694A (ja) 物体追跡装置
JP7428213B2 (ja) 情報処理システム、情報処理方法及びプログラム
US8447069B2 (en) Apparatus and method for moving object detection
CN113989756B (zh) 使用稳定的坐标系的道路垂直轮廓检测
KR102099265B1 (ko) 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법
US10452931B2 (en) Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system
KR102463720B1 (ko) 차량의 경로 생성 시스템 및 방법
EP2858008B1 (en) Target detecting method and system
KR102153607B1 (ko) 영상에서의 전경 검출 장치 및 방법
Held et al. Precision tracking with sparse 3d and dense color 2d data
JP5136504B2 (ja) 物体識別装置
CN112947419A (zh) 避障方法、装置及设备
KR20150032789A (ko) 어떤 대상의 자기 동작 추정을 위한 방법
JPWO2012014430A1 (ja) 移動体検出装置および移動体検出方法
CN102194239A (zh) 用于处理图像数据的方法和系统
KR102295183B1 (ko) Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법
US12576883B2 (en) System and method for embedding uncertainty estimation into deep-neural-network-based autonomous driving perception frameworks
EP3635684B1 (en) Pyramidal optical flow tracker improvement
KR20110023468A (ko) 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법
CN116348937A (zh) 物体识别装置
KR20210142518A (ko) 동적 물체 탐지 방법 및 장치
CN113168703A (zh) 用于借助数字图像序列来确定相对运动的方法
CN113936039A (zh) 一种对象跟踪方法、装置及系统
KR20060121503A (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
CN115222771B (zh) 一种目标跟踪方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22784394

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18549399

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22784394

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 18549399

Country of ref document: US