WO2021114702A1 - 一种目标跟踪方法、装置、系统及计算机可读存储介质 - Google Patents

一种目标跟踪方法、装置、系统及计算机可读存储介质 Download PDF

Info

Publication number
WO2021114702A1
WO2021114702A1 PCT/CN2020/109081 CN2020109081W WO2021114702A1 WO 2021114702 A1 WO2021114702 A1 WO 2021114702A1 CN 2020109081 W CN2020109081 W CN 2020109081W WO 2021114702 A1 WO2021114702 A1 WO 2021114702A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
detection
frame
target
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/109081
Other languages
English (en)
French (fr)
Inventor
任培铭
刘金杰
乐振浒
张翔
林诰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Publication of WO2021114702A1 publication Critical patent/WO2021114702A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the invention belongs to the field of image processing, and specifically relates to a target tracking method, device, system and computer readable storage medium.
  • target tracking applied in the field of video surveillance has gradually become one of the hot spots in the field of computer vision research.
  • Tracking the movement trajectory of a target object usually requires acquiring an image of the surveillance area of the camera, performing target detection on the image to identify the target, and tracking the identified target object to obtain the complete trajectory of the target object.
  • Due to the complexity of the surveillance scene and the limited field of view of a single camera in order to achieve global surveillance, the cooperation of multiple cameras may be required to cover the surveillance area globally.
  • the existing multi-camera-based target tracking methods need to analyze images and achieve target tracking through deep learning methods. With the increase in the number of cameras, the demand for computing resources and communication resources increase significantly at the same time, causing a technical bottleneck for target tracking.
  • the present invention provides the following solutions.
  • a target tracking method which includes: acquiring the current frame to be measured of multiple cameras arranged in a monitoring area; performing target detection on the current frame to be measured of each of the multiple cameras in turn, and obtaining each The detection frame set corresponding to the camera; target tracking is performed according to the detection frame set corresponding to each camera, and the global target trajectory is determined according to the tracking result.
  • it further includes: determining a plurality of frame numbers to be tested, and iteratively acquiring the current frame to be tested of multiple cameras according to the number of frame numbers to be tested in time series, so as to perform target tracking iteratively; wherein, according to The initial frame number to be tested in the multiple frame numbers to be tested corresponds to the initial global target trajectory; the subsequent frame number to be tested in the frame numbers to be tested corresponds to the iteratively updated global target trajectory.
  • performing target detection on the current frame under test of each camera includes: inputting the current frame under test of each camera into a target detection model for target detection; wherein the target detection model is based on neural network training The resulting pedestrian detection model.
  • the method further includes: determining the center point of each detection frame in the detection frame set corresponding to each camera according to the viewing position of each camera Perform projection transformation to determine the ground coordinates of each detection frame.
  • the viewing areas of the multiple cameras overlap at least partially, and the method further includes: dividing the working area of each camera in the ground coordinate system according to the viewing area of each camera; wherein, the work of each camera The areas do not overlap each other. If the ground coordinates of any detection frame corresponding to the first camera of the multiple cameras exceeds the corresponding working area, any detection frame is removed from the detection frame set of the first camera.
  • the method further includes: cutting off non-critical areas in the working area of each camera.
  • tracking according to the detection frame set corresponding to each camera includes: adopting a multi-target tracking algorithm, and performing multi-target tracking based on the detection frame set corresponding to each camera, and determining the part corresponding to each camera Tracking information: Among them, the parameters used in multi-target tracking are determined based on the historical frame to be measured of each camera.
  • the multi-target tracking algorithm is a deepsort algorithm.
  • it further includes: adding an identity to each detection frame according to the local tracking information corresponding to each camera; and determining the iteratively updated global target trajectory based on the identity and ground coordinates of each detection frame.
  • it further includes: determining the association relationship between the multiple cameras according to the working areas of the multiple cameras; determining the new detection frame and the disappearing detection frame in the corresponding working area according to the local tracking information of each camera ; According to the association relationship between multiple cameras, the newly added detection frames and disappearance detection frames in different working areas are associated to obtain associated information; the iteratively updated global target trajectory is determined according to the associated information.
  • a target tracking device including: an acquisition unit for acquiring the current frame to be measured of multiple cameras arranged in a monitoring area; a detection unit for sequentially checking the current frame of each of the multiple cameras Target detection is performed on the frame to be tested to obtain a detection frame set corresponding to each camera; the tracking unit is used to perform target tracking according to the detection frame set corresponding to each camera, and determine the global target trajectory according to the tracking result.
  • it further includes: a frame selection unit for determining multiple frame numbers to be tested, and iteratively acquires the current frames to be tested from multiple cameras in time series according to the multiple frame numbers to be tested, so as to perform iteratively Target tracking; wherein, the initial global target trajectory is obtained according to the initial frame sequence number to be tested among the multiple frame numbers to be tested; the global target trajectory after iterative update is obtained corresponding to the subsequent frame sequence numbers to be tested in the multiple frame sequence numbers to be tested.
  • the detection unit is further used to: input the current frame to be measured of each camera into the target detection model for target detection; wherein the target detection model is a pedestrian detection model obtained based on neural network training.
  • the detection unit is further configured to: after obtaining the detection frame set corresponding to each camera, determine the value of each detection frame in the detection frame set corresponding to each camera according to the viewing position of each camera. Projection transformation is performed on the center point of the bottom of the frame to determine the ground coordinates of each detection frame.
  • the viewing areas of multiple cameras overlap at least partially, and the device is further used to: divide the working area of each camera in the ground coordinate system according to the viewing area of each camera; The working areas do not overlap each other. If the ground coordinates of any one of the detection frames corresponding to the first camera among the multiple cameras exceeds the corresponding working area, then any one of the detection frames is removed from the detection frame set of the first camera.
  • the detection unit is also used to: cut off non-critical areas in the working area of each camera.
  • the tracking unit is also used to: adopt a multi-target tracking algorithm, and perform multi-target tracking based on the detection frame set corresponding to each camera, and determine the local tracking information corresponding to each camera; The parameters used in tracking are determined based on the historical frames to be measured for each camera.
  • the multi-target tracking algorithm is a deepsort algorithm.
  • the tracking unit is also used to: add an identity to each detection frame according to the local tracking information corresponding to each camera; to determine the iteratively updated global based on the identity and ground coordinates of each detection frame Target trajectory.
  • the tracking unit is further configured to: determine the association relationship between the multiple cameras according to the work areas of the multiple cameras; determine the new detection frame in the corresponding work area according to the local tracking information of each camera And disappear detection frame; according to the association relationship between multiple cameras, the newly added detection frame and disappearance detection frame in different working areas are associated to obtain the associated information; the global target track after iterative update is determined according to the associated information.
  • a target tracking system including: a plurality of cameras arranged in a monitoring area, and a target tracking device respectively communicatively connected with the plurality of cameras; wherein the target tracking device is configured to perform as in the first aspect Methods.
  • a target tracking device including: one or more multi-core processors; a memory for storing one or more programs; when one or more programs are executed by one or more multi-core processors,
  • One or more multi-core processors realize: obtain the current frame to be tested of multiple cameras set in the monitoring area; perform target detection on the current frame to be tested of each of the multiple cameras in turn to obtain the corresponding detection of each camera Frame set; target tracking is performed according to the detection frame set corresponding to each camera, and the global target trajectory is determined according to the tracking result.
  • a computer-readable storage medium stores a program.
  • the program is executed by a multi-core processor, the multi-core processor is caused to execute the method of the first aspect.
  • the current frame to be tested from each camera is detected in sequence, and then based on the detection result corresponding to each camera in the monitoring area
  • Global tracking can realize global tracking of target objects in multi-channel surveillance videos based on less computing resources, and can realize target tracking based on multiple cameras based on less computing resources.
  • Fig. 1 is a schematic flowchart of a target tracking method according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of the ground of a monitoring area according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram of viewfinder images of multiple cameras according to an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of current frames to be measured of multiple cameras according to an embodiment of the present invention.
  • FIG. 5 is a schematic diagram of a set of detection frames corresponding to multiple cameras according to an embodiment of the present invention.
  • Fig. 6 is a schematic diagram of a global target trajectory according to an embodiment of the present invention.
  • Fig. 7 is a schematic structural diagram of a target tracking device according to an embodiment of the present invention.
  • FIG. 8 is a schematic structural diagram of a target tracking device according to another embodiment of the present invention.
  • Fig. 9 is a schematic diagram of a computer-readable storage medium according to an embodiment of the present invention.
  • FIG. 1 schematically shows a schematic flowchart of a target tracking method 100 according to an embodiment of the present invention
  • the method 100 may include:
  • Step S101 Obtain current frames to be tested of multiple cameras set in the monitoring area
  • the monitoring area refers to the sum of the viewing areas of multiple cameras.
  • the multiple cameras include at least two cameras, and the viewing areas of the multiple cameras are adjacent to each other or at least partially overlapped, so that the target object to be tracked can be Move in the monitoring area and then appear in the viewing area of any one or more cameras.
  • the current frames to be measured of the multiple cameras are respectively extracted from the surveillance videos of the multiple cameras, and the current frames to be measured of each camera have the same acquisition time.
  • the target to be tracked in this disclosure is preferably a pedestrian.
  • the target to be tracked may also be other movable objects, such as animals, vehicles, etc., which is not specifically limited in the present disclosure.
  • FIG. 2 shows a schematic monitoring scene in which a camera 201 and a camera 202 are set
  • FIG. 3 shows a viewfinder screen of the above-mentioned camera 201 and the camera 202.
  • the surveillance video of the camera 201 can be parsed as a sequence of image frames (A 1 , A 2 ,..., A N )
  • the surveillance video of the camera 202 can be parsed as a sequence of image frames (B 1 , B 2 ,..., B N ), where the above analysis can be performed online or offline in real time.
  • the method 100 may further include: determining a plurality of frame numbers to be measured, and iteratively acquiring the current frame to be measured of multiple cameras according to the plurality of frame numbers to be measured in time series, so as to iteratively perform target tracking ; Among them, the initial global target trajectory is obtained corresponding to the initial frame number to be tested among the multiple frame numbers to be tested; the global target trajectory after iterative update is obtained corresponding to the subsequent frame number to be tested in the multiple frame numbers to be tested. This can reduce the amount of calculations and improve the real-time performance of global tracking,
  • the method 100 may further include:
  • Step S102 Perform target detection on the current frame to be tested of each of the multiple cameras in turn, to obtain a set of detection frames corresponding to each camera;
  • performing target detection on the current frame under test of each camera includes: inputting the current frame under test of each camera into a target detection model for target detection; wherein the target detection model is based on neural network training The resulting pedestrian detection model.
  • the current frames A n and B n of the camera 201 and the camera 202 to be tested are shown, and then the pre-processed current frame A n is input into any deep learning-based pedestrian detection model.
  • the purpose of obtaining the pedestrian detection frame is to obtain the position information and size information of all pedestrians in the current frames A n and B n to be tested.
  • the pedestrian detection model may be, for example, a YOLO (Unified Real-Time Object Detection, You Only Look Once) model, etc., which is not specifically limited in the present disclosure.
  • YOLO Unified Real-Time Object Detection, You Only Look Once
  • the detection frame set corresponding to each camera further includes: according to the viewing position of each camera and the center of each detection frame in the detection frame set corresponding to each camera The points undergo projection transformation to determine the ground coordinates of each detection frame in the detection frame set corresponding to each camera. In this way, the targets identified in the viewing range of each camera can be combined into a unified coordinate system.
  • the position of the center point of the bottom of each detection frame corresponding to each camera in Figure 5 can be obtained, and the position of the center point of the bottom of the frame of each detection frame can be converted to obtain the actual ground position of the target object in the monitoring scene.
  • Fig. 6 shows the ground coordinates of each detection frame obtained through projection transformation. Specifically, it can be seen that the ground aisle under the viewing angle of each camera is an approximate trapezoidal area, so for the detection frame set corresponding to each camera, the center point of the bottom of each detection frame can be obtained through the trapezoid-rectangular transformation.
  • the coordinates in the standard rectangular area Secondly, the standard rectangular area is rotated according to the actual layout of the monitoring scene.
  • the rotated coordinates of the center point of the bottom of each detection frame are calculated by the rotation matrix, and finally the rotation is rotated according to the actual layout of the monitoring scene. After the coordinates are translated and zoomed, the final coordinate position is obtained.
  • the viewing areas of the multiple cameras overlap at least partially, and the method further includes: dividing the working area of each camera in the ground coordinate system according to the viewing area of each camera; wherein, the work of each camera The areas do not overlap each other. If the ground coordinates of any detection frame corresponding to the first camera of the multiple cameras exceeds the corresponding working area, any detection frame is removed from the detection frame set of the first camera.
  • the working area of each camera can be divided.
  • the working area of the camera 201 is the X area
  • the working area of the camera 202 is the Y area, so that the working area of each camera is Adjacent.
  • the ground coordinates of each detection frame corresponding to each camera need to be located in the working area of the camera, and removed if it is not in the working area of the camera.
  • the detection frame a is removed from the detection frame set corresponding to the camera 201 3 , get (a 1 , a 2 ) for subsequent operations.
  • the method further includes: cutting off non-critical areas in the working area of each camera. Specifically, whether it is a critical area can be determined based on the specific layout of the monitoring scene. For example, the ceiling area that cannot be passed by pedestrians can be directly cut off, which can reduce the amount of calculation for target tracking.
  • the method 100 may further include:
  • Step S103 Perform target tracking according to the detection frame set corresponding to each camera, and update the global target trajectory according to the tracking result.
  • target detection can be performed according to the initial current frame to be measured A 1 and B 1 to determine the initial global target trajectory. Further, target detection may be performed according to the current frames A n and B n to be tested subsequently obtained, and target tracking may be performed iteratively according to the target detection result, so as to iteratively update the global target trajectory.
  • tracking according to the detection frame set corresponding to each camera includes: adopting a multi-target tracking algorithm, and performing multi-target tracking based on the detection frame set corresponding to each camera, and determining the part corresponding to each camera Tracking information: Among them, the parameters used in multi-target tracking are determined based on the historical frame to be measured of each camera. This enables multi-target tracking in the monitoring area.
  • the multi-target tracking algorithm is a target tracking algorithm based on a single camera, such as the DeepSORT algorithm (Simple Online and Realtime Tracking with a Deep Association Metric), so you can get the information of each camera. Local tracking information.
  • the parameters used in multi-target tracking are determined based on the historical frame to be measured of each camera.
  • the target frame to be tracked can be determined when any target appears in the working area of a certain camera for the first time, and based on the multi-target
  • the detection algorithm and the identified target frame track the subsequent frame to be measured of the camera, and determine the local tracking information of the target in the working area of the camera.
  • the multi-target tracking algorithm is a deepsort algorithm.
  • other target tracking algorithms can also be used, and those skilled in the art can understand that what the present disclosure intends to emphasize is not which target tracking algorithm is specifically used.
  • updating the global target trajectory according to the tracking result also includes: adding an identity to each detection frame according to the local tracking information corresponding to each camera; based on the identity, using the ground coordinate pair of each detection frame The global target trajectory is updated.
  • the curve part shows the current global target trajectory, that is, the global target trajectory determined in the last iteration, and the points a 1 , a 2 and points b respectively represents the ground coordinates of the multiple detection frames shown in FIG. 5.
  • the detection frame a 2 is labeled "target 2" and the ground coordinates of the point a 2 are added to "target 2" existing track (i.e., the "target 2" dashed curve in FIG. 6)
  • the camera 201 corresponding local trace information indicative of a 1-point detection frame matches the target does not exist, add a 1 compared with a detection frame labeled " Goal 3" and create a new trajectory of "Goal 3".
  • updating the global target trajectory according to the tracking result further includes: determining the association relationship between the multiple cameras by the working areas of the multiple cameras; determining the new information in the corresponding working area according to the local tracking information of each camera Add detection frames and disappearance detection frames; associate new detection frames and disappearance detection frames in different work areas according to the association relationship between multiple cameras to obtain associated information; update the global target trajectory according to the associated information.
  • the association relationship between the multiple cameras is, for example, that the area X and the area Y are adjacent to each other at a specified position, so that when the target moves, different work areas can be straddled from adjacent positions based on the above association relationship.
  • the association information refers to the association between a new detection frame in a certain work area and a disappearance detection frame in another work area, that is, corresponding to the same identity.
  • the disappearance order of multiple tracking targets can be obtained at the adjoining boundary of one of the work areas, and the disappearance order of the pair appears in the adjoining boundary in the other work area.
  • the multiple newly-added targets at the location are assigned corresponding identifiers and continue to be tracked,
  • the point b in the area Y represents the ground coordinates of the detection frame b shown in FIG. 5. If the local tracking information corresponding to the camera 201 indicates that there is no matching target at the detection frame point b, that is, there is a new target in the area Y; and the local tracking information corresponding to the camera 201 indicates that the continuously tracked "target 1" is currently detected If the frame disappears, that is, there is a disappearing target in area X, you can mark the detection frame b with "Target 1" and add the ground coordinates of point b to the existing trajectory of "Target 1" (ie, "Target 1" in Figure 6). "Dashed curve), to achieve cross-camera, cross-working area target tracking.
  • the multi-camera-based target tracking method of the present invention by sequentially performing image detection on the current frame to be tested from each camera, and then performing global tracking in the monitoring area based on the detection result corresponding to each camera, it can be based on Fewer computing resources enable global tracking of target objects in multi-channel surveillance videos, reducing the demand for computing resources. For example, there is no need to separately provide GPU computing resources for tracking the target object in each local area for each camera, but fewer computing resources can be provided for global tracking of the target object in the monitoring area.
  • an embodiment of the present invention also provides a target tracking device for executing the target tracking method provided in any of the foregoing embodiments.
  • Fig. 7 is a schematic structural diagram of a target tracking device provided by an embodiment of the present invention.
  • the apparatus 700 includes:
  • the acquiring unit 701 is configured to acquire current frames to be measured of multiple cameras arranged in the monitoring area;
  • the detection unit 702 is configured to sequentially perform target detection on the current frame to be tested of each of the multiple cameras to obtain a set of detection frames corresponding to each camera;
  • the tracking unit 703 is configured to perform target tracking according to the detection frame set corresponding to each camera, and determine the global target trajectory according to the tracking result.
  • the apparatus 700 further includes: a frame selection unit, configured to determine multiple frame numbers to be tested, and iteratively obtain current frames to be tested from multiple cameras in a time sequence according to the multiple frame numbers to be tested, so as to iterate To perform target tracking; among them, the initial global target trajectory is obtained according to the initial test frame sequence number among the multiple test frame numbers; the global target trajectory after iterative update is obtained according to the subsequent test frame sequence numbers among the multiple test frame sequence numbers. .
  • a frame selection unit configured to determine multiple frame numbers to be tested, and iteratively obtain current frames to be tested from multiple cameras in a time sequence according to the multiple frame numbers to be tested, so as to iterate To perform target tracking; among them, the initial global target trajectory is obtained according to the initial test frame sequence number among the multiple test frame numbers; the global target trajectory after iterative update is obtained according to the subsequent test frame sequence numbers among the multiple test frame sequence numbers.
  • the detection unit 702 is further configured to: input the current frame to be measured of each camera into a target detection model for target detection; wherein the target detection model is a pedestrian detection model obtained based on neural network training.
  • the detection unit 702 is further configured to: after obtaining the detection frame set corresponding to each camera, determine each detection frame in the detection frame set corresponding to each camera according to the viewing position of each camera. Projection transformation is performed on the center point of the bottom of the frame to determine the ground coordinates of each detection frame.
  • the viewing areas of multiple cameras overlap at least partially, and the device 700 is further configured to: divide the working area of each camera in the ground coordinate system according to the viewing area of each camera; wherein, each camera If the ground coordinates of any detection frame corresponding to the first camera of the multiple cameras are beyond the corresponding working area, any detection frame is removed from the detection frame set of the first camera.
  • the detection unit 702 is also used to cut off non-critical areas in the working area of each camera.
  • the tracking unit 703 is further configured to: adopt a multi-target tracking algorithm and perform multi-target tracking based on the detection frame set corresponding to each camera, and determine the local tracking information corresponding to each camera; The parameters used for target tracking are determined based on the historical frames to be tested for each camera.
  • the multi-target tracking algorithm is a deepsort algorithm.
  • the tracking unit 703 is further configured to: add an identity to each detection frame according to the local tracking information corresponding to each camera; to determine the iteratively updated information based on the identity and ground coordinates of each detection frame Global target trajectory.
  • the tracking unit 703 is further configured to: determine the association relationship between the multiple cameras according to the work areas of the multiple cameras; determine the new detection in the corresponding work area according to the local tracking information of each camera Frames and disappearance detection frames; associate new detection frames and disappearance detection frames in different work areas according to the association relationship between multiple cameras to obtain association information; determine the iteratively updated global target trajectory according to the association information.
  • the current frame to be measured from each camera is detected in sequence, and then global tracking is performed in the monitoring area based on the detection result corresponding to each camera, which can be based on Fewer computing resources enable global tracking of target objects in multi-channel surveillance videos, reducing the demand for computing resources. For example, there is no need to separately provide GPU computing resources for tracking the target object in each local area for each camera, but fewer computing resources can be provided for global tracking of the target object in the monitoring area.
  • an embodiment of the present invention also provides a target tracking system, which specifically includes: a plurality of cameras arranged in a monitoring area, and a target tracking device respectively communicatively connected with the plurality of cameras; wherein the target tracking device is It is configured to execute the target tracking method provided in any of the above embodiments.
  • a target tracking device of the present invention may at least include one or more processors and at least one memory.
  • the memory stores a program, and when the program is executed by the processor, the processor is caused to perform the steps shown in FIG. 1: acquiring the current frame to be measured of multiple cameras arranged in the monitoring area ;Sequentially perform target detection on the current frame under test of each camera in the multiple cameras to obtain the detection frame set corresponding to each camera; perform target tracking according to the detection frame set corresponding to each camera, and determine the global target trajectory according to the tracking result.
  • the target tracking device 8 according to this embodiment of the present invention will be described below with reference to FIG. 8.
  • the device 8 shown in FIG. 8 is only an example, and should not bring any limitation to the function and application scope of the embodiment of the present invention.
  • the apparatus 8 may be in the form of a general-purpose computing device, including but not limited to: at least one processor 10, at least one memory 20, and a bus 60 connecting different device components.
  • the bus 60 includes a data bus, an address bus, and a control bus.
  • the memory 20 may include a volatile memory, such as a random access memory (RAM) 21 and/or a cache memory 22, and may further include a read-only memory (ROM) 23.
  • RAM random access memory
  • ROM read-only memory
  • the memory 20 may also include a program module 24.
  • program module 24 includes, but is not limited to, an operating device, one or more application programs, other program modules, and program data. Each of these examples or a certain combination may include a network. The realization of the environment.
  • the apparatus 5 can also communicate with one or more external devices 2 (for example, a keyboard, a pointing device, a Bluetooth device, etc.), and can also communicate with one or more other devices. Such communication can be performed through an input/output (I/O) interface 40 and displayed on the display unit 30.
  • the device 5 may also communicate with one or more networks (for example, a local area network (LAN), a wide area network (WAN), and/or a public network, such as the Internet) through the network adapter 50. As shown in the figure, the network adapter 50 communicates with other modules in the device 5 through the bus 60.
  • LAN local area network
  • WAN wide area network
  • public network such as the Internet
  • Fig. 9 shows a computer-readable storage medium for executing the method as described above.
  • various aspects of the present invention can also be implemented in the form of a computer-readable storage medium, which includes program code.
  • program code When the program code is executed by a processor, the program code is used for The processor is caused to execute the method described above.
  • the computer-readable storage medium may adopt any combination of one or more readable media.
  • the readable medium may be a readable signal medium or a readable storage medium.
  • the readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor device, device, or device, or a combination of any of the above. More specific examples (non-exhaustive list) of readable storage media include: electrical connections with one or more wires, portable disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable Type programmable read only memory (EPROM or flash memory), optical fiber, portable compact disk read only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the above.
  • a computer-readable storage medium 90 As shown in FIG. 9, a computer-readable storage medium 90 according to an embodiment of the present invention is described. It can adopt a portable compact disk read-only memory (CD-ROM) and include program codes, and can be stored in a terminal device, such as a personal computer. Run on.
  • the computer-readable storage medium of the present invention is not limited to this.
  • the readable storage medium can be any tangible medium that contains or stores a program.
  • the program can be used by or in combination with an instruction execution device, device, or device. .
  • the program code used to perform the operations of the present invention can be written in any combination of one or more programming languages.
  • the programming languages include object-oriented programming languages—such as Java, Python, C++, etc., as well as conventional Procedural programming language-such as "C" language or similar programming language.
  • the program code can be executed entirely on the user's computing device, partly executed on the user's device and partly executed on the remote computing device, or entirely executed on the remote computing device or server.
  • the remote computing device can be connected to the user computing device through any kind of network-including a local area network (LAN) or a wide area network (WAN), or it can be connected to an external computing device (for example, using Internet services). Provider to connect via the Internet).
  • LAN local area network
  • WAN wide area network
  • Internet services for example, using Internet services

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

一种目标跟踪方法、装置、系统及计算机可读存储介质，该方法包括：获取设置于监控区域内的多个摄像头的当前待测帧（步骤S101）；依次对多个摄像头中每个摄像头的当前待测帧进行目标检测，得到每个摄像头对应的检测框集合（步骤S102）；根据每个摄像头对应的检测框集合进行目标跟踪，根据跟踪结果确定全局目标轨迹（步骤S103）。利用上述方法，能够减少基于多摄像头的目标跟踪的计算资源。

Description

一种目标跟踪方法、装置、系统及计算机可读存储介质 技术领域
本发明属于图像处理领域，具体涉及一种目标跟踪方法、装置、系统及计算机可读存储介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
目前，随着视频监控技术的普及以及不断提升的安防需求，应用于视频监控领域中的目标跟踪逐渐成为计算机视觉研究领域的热点之一。追踪目标对象的移动轨迹通常需要获取摄像头的监控区域图像，对图像进行目标检测以识别目标，并对识别出的目标对象进行跟踪从而可以得到目标对象的完整轨迹。由于监控场景的复杂性，且单个摄像头视野范围是有限的，所以为了实现全局监控，可能需要多个摄像头的配合才能进行监控区域的全局覆盖。然而，现有的基于多摄像头的目标跟踪方法需要通过深度学习方法分析图像并实现目标跟踪，随着摄像头数量的增加，计算资源需求和通信资源需求同时大幅增加，造成目标跟踪的技术瓶颈。
发明内容
针对上述现有技术中存在的问题，提出了一种目标跟踪方法、装置及计算机可读存储介质，利用这种方法、装置及计算机可读存储介质，能够解决上述问题。
本发明提供了以下方案。
第一方面，提供一种目标跟踪方法，包括：获取设置于监控区域内的多个摄像头的当前待测帧；依次对多个摄像头中每个摄像头的当前待测帧进行目标 检测，得到每个摄像头对应的检测框集合；根据每个摄像头对应的检测框集合进行目标跟踪，根据跟踪结果确定全局目标轨迹。
在一些可能的实施方式中，还包括：确定多个待测帧序号，根据多个待测帧序号按时序地迭代获取多个摄像头的当前待测帧，从而迭代地执行目标跟踪；其中，根据多个待测帧序号中初始待测帧序号对应得到初始的全局目标轨迹；根据多个待测帧序号中后续待测帧序号对应得到迭代更新后的全局目标轨迹。
在一些可能的实施方式中，对每个摄像头的当前待测帧进行目标检测，包括：将每个摄像头的当前待测帧输入目标检测模型进行目标检测；其中，目标检测模型是基于神经网络训练得到的行人检测模型。
在一些可能的实施方式中，在得到每个摄像头对应的检测框集合之后，还包括：根据每个摄像头的取景位置对每个摄像头对应的检测框集合中的每个检测框的框底中心点进行投影变换，从而确定每个检测框的地面坐标。
在一些可能的实施方式中，多个摄像头的取景区域至少部分地重叠，方法还包括：根据每个摄像头的取景区域在地面坐标系中划分每个摄像头的工作区域；其中，每个摄像头的工作区域互不重叠，若多个摄像头中的第一摄像头对应的任意一个检测框的地面坐标超出对应的工作区域，则在第一摄像头的检测框集合中去除任意一个检测框。
在一些可能的实施方式中，方法还包括：将每个摄像头的工作区域中的非关键区域截去。
在一些可能的实施方式中，根据每个摄像头对应的检测框集合进行跟踪，包括：采用多目标跟踪算法，并基于每个摄像头对应的检测框集合进行多目标跟踪，确定每个摄像头对应的局部跟踪信息；其中，多目标跟踪采用的参数基于每个摄像头的历史待测帧而确定。
在一些可能的实施方式中，多目标跟踪算法为deepsort算法。
在一些可能的实施方式中，还包括：根据每个摄像头对应的局部跟踪信息为每个检测框添加身份标识；基于每个检测框的身份标识和地面坐标确定迭代更新后的全局目标轨迹。
在一些可能的实施方式中，还包括：根据多个摄像头的工作区域确定多个摄像头之间的关联关系；根据每个摄像头的局部跟踪信息确定对应工作区域中的新增检测框和消失检测框；根据多个摄像头之间的关联关系对处于不同工作区域中的新增检测框和消失检测框进行关联，得到关联信息；根据关联信息确定迭代更新后的全局目标轨迹。
第二方面，提供一种目标跟踪装置，包括：获取单元，用于获取设置于监控区域内的多个摄像头的当前待测帧；检测单元，用于依次对多个摄像头中每个摄像头的当前待测帧进行目标检测，得到每个摄像头对应的检测框集合；跟踪单元，用于根据每个摄像头对应的检测框集合进行目标跟踪，根据跟踪结果确定全局目标轨迹。
在一些可能的实施方式中，还包括：选帧单元，用于确定多个待测帧序号，根据多个待测帧序号按时序地迭代获取多个摄像头的当前待测帧，从而迭代地执行目标跟踪；其中，根据多个待测帧序号中初始待测帧序号对应得到初始的全局目标轨迹；根据多个待测帧序号中后续待测帧序号对应得到迭代更新后的全局目标轨迹。
在一些可能的实施方式中，检测单元，还用于：将每个摄像头的当前待测帧输入目标检测模型进行目标检测；其中，目标检测模型是基于神经网络训练得到的行人检测模型。
在一些可能的实施方式中，检测单元，还用于：在得到每个摄像头对应的检测框集合之后，根据每个摄像头的取景位置对每个摄像头对应的检测框集合中的每个检测框的框底中心点进行投影变换，从而确定每个检测框的地面坐标。
在一些可能的实施方式中，多个摄像头的取景区域至少部分地重叠，装置还用于：根据每个摄像头的取景区域在地面坐标系中划分每个摄像头的工作区域；其中，每个摄像头的工作区域互不重叠，若多个摄像头中的第一摄像头对应的任意一个检测框的地面坐标超出对应的工作区域，则在第一摄像头的检测框集合中去除任意一个检测框。
在一些可能的实施方式中，检测单元，还用于：将每个摄像头的工作区域中的非关键区域截去。
在一些可能的实施方式中，跟踪单元，还用于：采用多目标跟踪算法，并基于每个摄像头对应的检测框集合进行多目标跟踪，确定每个摄像头对应的局部跟踪信息；其中，多目标跟踪采用的参数基于每个摄像头的历史待测帧而确定。
在一些可能的实施方式中，多目标跟踪算法为deepsort算法。
在一些可能的实施方式中，跟踪单元，还用于：根据每个摄像头对应的局部跟踪信息为每个检测框添加身份标识；基于每个检测框的身份标识和地面坐标确定迭代更新后的全局目标轨迹。
在一些可能的实施方式中，跟踪单元，还用于：根据多个摄像头的工作区域确定多个摄像头之间的关联关系；根据每个摄像头的局部跟踪信息确定对应工作区域中的新增检测框和消失检测框；根据多个摄像头之间的关联关系对处于不同工作区域中的新增检测框和消失检测框进行关联，得到关联信息；根据关联信息确定迭代更新后的全局目标轨迹。
第三方面，提供一种目标跟踪系统，包括：设置于监控区域内的多个摄像头，以及与多个摄像头分别通信连接的目标跟踪装置；其中，目标跟踪装置被配置用于执行如第一方面的方法。
第四方面，提供一种目标跟踪装置，包括：一个或者多个多核处理器；存储器，用于存储一个或多个程序；当一个或多个程序被一个或者多个多核处理器执行时，使得一个或多个多核处理器实现：获取设置于监控区域内的多个摄像头的当前待测帧；依次对多个摄像头中每个摄像头的当前待测帧进行目标检测，得到每个摄像头对应的检测框集合；根据每个摄像头对应的检测框集合进行目标跟踪，根据跟踪结果确定全局目标轨迹。
第五方面，提供一种计算机可读存储介质，计算机可读存储介质存储有程序，当程序被多核处理器执行时，使得多核处理器执行如第一方面的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本实施例中，通过依次对来各个摄像头的当前待测帧进行图像检测，然后基于对应于各个摄像头的检测结果在监控区域中进行全局追踪，可以基于较少的计算资源实现对多路监控视频中的目标对象实现全局的跟踪，能够基于较少的计算资源实现基于多摄像头的目标跟踪。
应当理解，上述说明仅是本发明技术方案的概述，以便能够更清楚地了解本发明的技术手段，从而可依照说明书的内容予以实施。为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举例说明本发明的具体实施方式。
附图说明
通过阅读下文的示例性实施例的详细描述，本领域普通技术人员将明白本文所述的有点和益处以及其他优点和益处。附图仅用于示出示例性实施例的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的标号表示相同的部件。在附图中：
图1为根据本发明一实施例的目标跟踪方法的流程示意图；
图2为根据本发明一实施例的监控区域的地面示意图；
图3为根据本发明一实施例的多个摄像头的取景画面示意图；
图4为根据本发明一实施例的多个摄像头的当前待测帧的示意图；
图5为根据本发明一实施例的多个摄像头对应的检测框集合的示意图；
图6为根据本发明一实施例的全局目标轨迹的示意图；
图7为根据本发明一实施例的目标跟踪装置的结构示意图；
图8为根据本发明另一实施例的目标跟踪装置的结构示意图；
图9为根据本发明一实施例的计算机可读存储介质的示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在本发明中，应理解，诸如“包括”或“具有”等术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不旨在排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在的可能性。
另外还需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
在对监控区域内活动目标进行跟踪时，可以通过依次对来自于各个摄像头的当前待测帧进行图像检测，然后基于对应于各个摄像头的检测结果在监控区域中进行全局追踪，进而基于较少的计算资源实现对多路监控视频中的目标对象实现全局的跟踪，降低对计算资源的需求。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
图1示意性地示出了根据本发明实施方式的目标跟踪方法100的流程示意图，
如图1所示，该方法100可以包括：
步骤S101、获取设置于监控区域内的多个摄像头的当前待测帧；
具体地，监控区域是指多个摄像头的取景区域的总和，多个摄像头包括至少两个摄像头，并且上述多个摄像头的取景区域彼此相邻接或至少部分地重叠，从而待跟踪的目标对象能够在监控区域中移动进而出现在任意一个或多个摄像头的取景区域内。其中，从多个摄像头的监控视频中分别提取多个摄像头的当前待测帧，其中每个摄像头的当前待测帧具有相同的采集时间。可选地，本公 开中的待跟踪目标优选为行人，本领域技术人员可以理解，上述待跟踪目标也可以是其他可移动的物体，比如动物、车辆等，本公开对此不作具体限制。
例如，在复杂监控场景下，比如在楼道、大型商场、机房等场所，通常会使用大量的摄像头对各个区域进行监控，并得到多路监控视频。图2示出一种示意性监控场景，在该监控场景中设置有摄像头201和摄像头202，如图3示出上述摄像头201和摄像头202的取景画面。其中，摄像头201的监控视频可解析为图像帧序列(A 1,A 2,...,A N)，摄像头202的监控视频可解析为图像帧序列(B 1,B 2,...,B N)，其中上述解析可以实时在线进行或离线进行。基于此，可以按时序从上述多个图像帧序列中依次提取两个摄像头的当前待测帧A n和B n以进行本公开所示出的目标跟踪，其中，下标n的取值可以是n＝1,2,…,N。
在一些可能的实施例中，该方法100还可以包括：确定多个待测帧序号，根据多个待测帧序号按时序地迭代获取多个摄像头的当前待测帧，从而迭代地执行目标跟踪；其中，根据多个待测帧序号中初始待测帧序号对应得到初始的全局目标轨迹；根据多个待测帧序号中后续待测帧序号对应得到迭代更新后的全局目标轨迹。这样可以减少运算量，提高全局跟踪实时性，
具体地，可以根据预设取帧策略确定多个待测帧序号。例如，针对每秒24帧的监控视频，可以每跨5帧从摄像头201和摄像头202的监控视频中获取一次当前待测帧A n和B n，其中下标n的取值可以是n＝1，6，11，…，并依次类推。然而，也可以采取其他间隔帧数，或者，也可以采取逐帧检测的方式，本公开对此不作具体限定。基于此，可以基于初始待测帧序号(n＝1)对应的当前待测帧A 1和B 1到初始的全局目标轨迹，进一步可以根据后续待测帧序号(n＝6,11,...等)对应的当前待测帧A n和B n进行迭代的目标跟踪，从而得到迭代更新后的全局目标轨迹。
如图1所示，该方法100还可以包括：
步骤S102、依次对多个摄像头中每个摄像头的当前待测帧进行目标检测，得到每个摄像头对应的检测框集合；
在一个可能的实施方式中，对每个摄像头的当前待测帧进行目标检测，包括：将每个摄像头的当前待测帧输入目标检测模型进行目标检测；其中，目标检测模型是基于神经网络训练得到的行人检测模型。
例如，如图4所示，示出了摄像头201和摄像头202的当前待测帧A n和B n，然后，在任意基于深度学习的行人检测模型中输入预处理后的当前待测帧A n和B n进行检测，输出针对每个摄像头的一系列行人检测框。获取行人检测框的目的在于获取当前待测帧A n和B n中所有行人的位置信息和尺寸信息。行人检测模型比如可以是YOLO(统一实时目标检测，You Only Look Once)模型等，本公开对此不作具体限制。如图5所示，示出了对多个当前待测帧A n和B n进行检测得到的多个检测框集合，其中摄像头201对应的检测框集合(a 1,a 2,a 3)，摄像头202对应的检测框集合(b)。
在一个可能的实施方式中，在得到每个摄像头对应的检测框集合之后，还包括：根据每个摄像头的取景位置、以及每个摄像头对应的检测框集合中的每个检测框的框底中心点进行投影变换，从而确定每个摄像头对应的检测框集合中每个检测框的地面坐标。这样，可以将每个摄像头取景范围内识别的目标组合到统一的坐标系中。
例如，可以获取图5中每个摄像头对应的每个检测框的框底中心点位置，对该每个检测框的框底中心点位置进行转换，得到目标对象在监控场景中的实际地面位置，图6示出了通过投影转换获得的每个检测框的地面坐标。具体而言，可以看出，每个摄像头视角下的地面过道是一个近似梯形区域，因此针对每个摄像头对应的检测框集合，首先可以通过梯形-矩形转换得到每个检测框的框底中心点在标准矩形区域中的坐标，其次根据监控场景的实际布局对标准矩形区域进行旋转，通过旋转矩阵计算得到每个检测框的框底中心点的旋转后坐标，最后根据监控场景的实际布局对旋转后坐标进行平移和缩放，得到最终的坐标位置。
在一个可能的实施方式中，多个摄像头的取景区域至少部分地重叠，方法还包括：根据每个摄像头的取景区域在地面坐标系中划分每个摄像头的工作区 域；其中，每个摄像头的工作区域互不重叠，若多个摄像头中的第一摄像头对应的任意一个检测框的地面坐标超出对应的工作区域，则在第一摄像头的检测框集合中去除任意一个检测框。
例如，如图2所示，为了使得监控场景中不存在监控盲区，摄像头201和摄像头202的取景区域实际上存在重叠。基于此，为了有效避免坐标显示冲突的问题，可以对每个摄像头进行工作区域的划分，比如，摄像头201的工作区域为X区域，摄像头202的工作区域为Y区域，使得每个摄像头的工作区域相邻接。进一步地，每个摄像头对应的每个检测框的地面坐标需位于该摄像头的工作区域内，若不在该摄像头负责的工作区域内则除去。比如，由于摄像头201对应的检测框集合(a 1,a 2,a 3)中的检测框a 3的地面坐标在X区域之外，因此，在摄像头201对应的检测框集合中去除检测框a 3，得到(a 1,a 2)进行后续的操作。
在一个可能的实施方式中，方法还包括：将每个摄像头的工作区域中的非关键区域截去。具体地，可以基于监控场景的具体布局确定是否为关键区域，比如，对于行人无法通过的天花板区域，就可以直接截去，这样能够减少目标跟踪的运算量。
如图1所示，该方法100还可以包括：
步骤S103、根据每个摄像头对应的检测框集合进行目标跟踪，根据跟踪结果更新全局目标轨迹。
具体地，如上文所述，针对每个摄像头，可以根据初始的当前待测帧A 1和B 1进行目标检测，确定初始的全局目标轨迹。进一步地，可以根据后续获取的当前待测帧A n和B n进行目标检测，并根据目标检测结果迭代地进行目标跟踪，从而对全局目标轨迹进行迭代更新。
在一个可能的实施方式中，根据每个摄像头对应的检测框集合进行跟踪，包括：采用多目标跟踪算法，并基于每个摄像头对应的检测框集合进行多目标跟踪，确定每个摄像头对应的局部跟踪信息；其中，多目标跟踪采用的参数基于每个摄像头的历史待测帧而确定。这样能够实现监控区域中的多目标跟踪。
具体地，多目标跟踪算法是基于单摄像头的目标跟踪算法，例如DeepSORT算法(基于深度特征关联的简单在线实时跟踪算法，Simple Online and Realtime Tracking with a Deep Association Metric)，因此可以得到每个摄像头的局部跟踪信息。其中，多目标跟踪采用的参数基于每个摄像头的历史待测帧而确定，具体而言，可以在任意一个目标初次出现在某个摄像头的工作区域时确定待跟踪的目标框，并基于多目标检测算法和已经标注身份的目标框对该摄像头的后续待测帧进行跟踪，确定该目标在该摄像头工作区域中的局部跟踪信息。
在一个可能的实施方式中，多目标跟踪算法为deepsort算法。当然，也可以采用其他的目标跟踪算法，本领域的技术人员可以理解，本公开所要强调的不是具体采用何种目标跟踪算法。
在一个可能的实施方式中，根据跟踪结果更新全局目标轨迹，还包括：根据每个摄像头对应的局部跟踪信息为每个检测框添加身份标识；基于身份标识，利用每个检测框的地面坐标对全局目标轨迹进行更新。
例如，如图6所示，其中的曲线部分示出了当前已有的全局目标轨迹，也即是在上一次迭代过程中确定的全局目标轨迹，且其中的点a 1、点a 2和点b分别表示图5中所示出多个检测框的地面坐标。其中，若摄像头201对应的局部跟踪信息指示检测框a 2和已有的“目标2”特征匹配，则为检测框a 2标注“目标2”并将点a 2的地面坐标加入“目标2”的现有轨迹中(即图6中的“目标2”虚曲线)，若摄像头201对应的局部跟踪信息指示检测框点a 1并不存在匹配目标，则为检测框a 1新增一个标注“目标3”，并新创建“目标3”的轨迹。
在一个可能的实施方式中，根据跟踪结果更新全局目标轨迹，还包括：多个摄像头的工作区域确定多个摄像头之间的关联关系；根据每个摄像头的局部跟踪信息确定对应工作区域中的新增检测框和消失检测框；根据多个摄像头之间的关联关系对处于不同工作区域中的新增检测框和消失检测框进行关联，得到关联信息；根据关联信息更新全局目标轨迹。
具体地，其中多个摄像头之间的关联关系比如是区域X和区域Y在指定位置相邻接，从而在目标移动时能够基于上述关联关系从邻接位置处跨越不同的工作区域。其中，关联信息是指某一工作区域中的新增检测框和另一工作区域中的消失检测框实现关联，也即对应为同一身份标识。换句话说，针对具有邻接边界的两个工作区域，可以在其中一个工作区域的邻接边界处先获取多个跟踪目标的消失次序，在另一工作区域中按照上述消失次序对出现于该邻接边界处的多个新增目标进行对应的标识分配并持续跟踪，
例如，如图6所示，其中区域Y中的点b表示图5中所示出检测框b的地面坐标。若摄像头201对应的局部跟踪信息指示检测框点b并不存在匹配目标，也即在区域Y中存在新增目标；并且摄像头201对应的局部跟踪信息指示所持续跟踪的“目标1”在当前检测帧消失，也即在区域X中存在消失目标，则可以为检测框b标注“目标1”并将点b的地面坐标加入“目标1”的现有轨迹中(即图6中的“目标1”虚曲线)，实现跨摄像头、跨工作区域的目标跟踪。
这样，根据本发明实施方式的基于多摄像头的目标跟踪方法，通过依次对来各个摄像头的当前待测帧进行图像检测，然后基于对应于各个摄像头的检测结果在监控区域中进行全局追踪，可以基于较少的计算资源实现对多路监控视频中的目标对象实现全局的跟踪，降低对计算资源的需求。例如，无需为各个摄像头单独提供用于跟踪各个局部区域中的目标对象的GPU计算资源，而可以提供较少的计算资源以用于在监控区域中进行目标对象的全局跟踪。
基于相同的技术构思，本发明实施例还提供一种目标跟踪装置，用于执行上述任一实施例所提供的目标跟踪方法。图7为本发明实施例提供的一种目标跟踪装置结构示意图。
如图7所示，装置700包括：
获取单元701，用于获取设置于监控区域内的多个摄像头的当前待测帧；
检测单元702，用于依次对多个摄像头中每个摄像头的当前待测帧进行目标检测，得到每个摄像头对应的检测框集合；
跟踪单元703，用于根据每个摄像头对应的检测框集合进行目标跟踪，根据跟踪结果确定全局目标轨迹。
在一些可能的实施方式中，装置700还包括：选帧单元，用于确定多个待测帧序号，根据多个待测帧序号按时序地迭代获取多个摄像头的当前待测帧，从而迭代地执行目标跟踪；其中，根据多个待测帧序号中初始待测帧序号对应得到初始的全局目标轨迹；根据多个待测帧序号中后续待测帧序号对应得到迭代更新后的全局目标轨迹。
在一些可能的实施方式中，检测单元702，还用于：将每个摄像头的当前待测帧输入目标检测模型进行目标检测；其中，目标检测模型是基于神经网络训练得到的行人检测模型。
在一些可能的实施方式中，检测单元702，还用于：在得到每个摄像头对应的检测框集合之后，根据每个摄像头的取景位置对每个摄像头对应的检测框集合中的每个检测框的框底中心点进行投影变换，从而确定每个检测框的地面坐标。
在一些可能的实施方式中，多个摄像头的取景区域至少部分地重叠，装置700还用于：根据每个摄像头的取景区域在地面坐标系中划分每个摄像头的工作区域；其中，每个摄像头的工作区域互不重叠，若多个摄像头中的第一摄像头对应的任意一个检测框的地面坐标超出对应的工作区域，则在第一摄像头的检测框集合中去除任意一个检测框。
在一些可能的实施方式中，检测单元702，还用于：将每个摄像头的工作区域中的非关键区域截去。
在一些可能的实施方式中，跟踪单元703，还用于：采用多目标跟踪算法，并基于每个摄像头对应的检测框集合进行多目标跟踪，确定每个摄像头对应的局部跟踪信息；其中，多目标跟踪采用的参数基于每个摄像头的历史待测帧而确定。
在一些可能的实施方式中，多目标跟踪算法为deepsort算法。
在一些可能的实施方式中，跟踪单元703，还用于：根据每个摄像头对应的局部跟踪信息为每个检测框添加身份标识；基于每个检测框的身份标识和地面坐标确定迭代更新后的全局目标轨迹。
在一些可能的实施方式中，跟踪单元703，还用于：根据多个摄像头的工作区域确定多个摄像头之间的关联关系；根据每个摄像头的局部跟踪信息确定对应工作区域中的新增检测框和消失检测框；根据多个摄像头之间的关联关系对处于不同工作区域中的新增检测框和消失检测框进行关联，得到关联信息；根据关联信息确定迭代更新后的全局目标轨迹。
这样，根据本发明实施方式的基于多摄像头的目标跟踪装置，通过依次对来各个摄像头的当前待测帧进行图像检测，然后基于对应于各个摄像头的检测结果在监控区域中进行全局追踪，可以基于较少的计算资源实现对多路监控视频中的目标对象实现全局的跟踪，降低对计算资源的需求。例如，无需为各个摄像头单独提供用于跟踪各个局部区域中的目标对象的GPU计算资源，而可以提供较少的计算资源以用于在监控区域中进行目标对象的全局跟踪。
需要说明的是，本申请实施例中的装置可以实现前述方法的实施例的各个过程，并达到相同的效果和功能，这里不再赘述。
基于相同的技术构思，本发明实施例还提供一种目标跟踪系统，具体包括：设置于监控区域内的多个摄像头，以及与多个摄像头分别通信连接的目标跟踪装置；其中，目标跟踪装置被配置用于执行上述任一实施例所提供的目标跟踪方法。
基于相同的技术构思，所属技术领域的技术人员能够理解，本发明的各个方面可以实现为设备、方法或计算机可读存储介质。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“设备”。
在一些可能的实施方式中，本发明的一种目标跟踪装置可以至少包括一个或多个处理器、以及至少一个存储器。其中，所述存储器存储有程序，当 所述程序被所述处理器执行时，使得所述处理器执行如图1所示的步骤：获取设置于监控区域内的多个摄像头的当前待测帧；依次对多个摄像头中每个摄像头的当前待测帧进行目标检测，得到每个摄像头对应的检测框集合；根据每个摄像头对应的检测框集合进行目标跟踪，根据跟踪结果确定全局目标轨迹。
下面参照图8来描述根据本发明的这种实施方式的目标跟踪装置8。图8显示的装置8仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，装置8可以以通用计算设备的形式表现，包括但不限于：至少一个处理器10、至少一个存储器20、连接不同设备组件的总线60。
总线60包括数据总线、地址总线和控制总线。
存储器20可以包括易失性存储器，例如随机存取存储器(RAM)21和/或高速缓存存储器22，还可以进一步包括只读存储器(ROM)23。
存储器20还可以包括程序模块24，这样的程序模块24包括但不限于：操作设备、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
装置5还可以与一个或多个外部设备2(例如键盘、指向设备、蓝牙设备等)通信，也可与一个或者多个其他设备进行通信。这种通信可以通过输入/输出(I/O)接口40进行，并在显示单元30上进行显示。并且，装置5还可以通过网络适配器50与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器50通过总线60与装置5中的其它模块通信。应当明白，尽管图中未示出，但可以结合装置5使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID设备、磁带驱动器以及数据备份存储设备等。
图9示出了一种计算机可读存储介质，用于执行如上所述的方法。
在一些可能的实施方式中，本发明的各个方面还可以实现为一种计算机可读存储介质的形式，其包括程序代码，当所述程序代码在被处理器执行时，所述程序代码用于使所述处理器执行上面描述的方法。
上面描述的方法包括了上面的附图中示出和未示出的多个操作和步骤，这里将不再赘述。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的设备、设备或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
如图9所示，描述了根据本发明的实施方式的计算机可读存储介质90，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的计算机可读存储介质不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行设备、设备或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Python、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (23)

  1. 一种目标跟踪方法，其特征在于，包括：
    获取设置于监控区域内的多个摄像头的当前待测帧；
    依次对所述多个摄像头中每个摄像头的当前待测帧进行目标检测，得到每个摄像头对应的检测框集合；
    根据所述每个摄像头对应的检测框集合进行目标跟踪，根据跟踪结果确定全局目标轨迹。
  2. 根据权利要求1所述的方法，其特征在于，还包括：
    确定多个待测帧序号，根据所述多个待测帧序号按时序地迭代获取所述多个摄像头的当前待测帧，从而迭代地执行所述目标跟踪；
    其中，根据所述多个待测帧序号中初始待测帧序号对应得到初始的所述全局目标轨迹；根据所述多个待测帧序号中后续待测帧序号对应得到迭代更新后的所述全局目标轨迹。
  3. 根据权利要求2所述的方法，其特征在于，对所述每个摄像头的当前待测帧进行目标检测，包括：
    将所述每个摄像头的当前待测帧输入目标检测模型进行所述目标检测；
    其中，所述目标检测模型是基于神经网络训练得到的行人检测模型。
  4. 根据权利要求2所述的方法，其特征在于，在得到每个摄像头对应的检测框集合之后，还包括：
    根据每个摄像头的取景位置对所述每个摄像头对应的检测框集合中的每个检测框的框底中心点进行投影变换，从而确定所述每个检测框的地面坐标。
  5. 根据权利要求4所述的方法，其特征在于，所述多个摄像头的取景区域至少部分地重叠，所述方法还包括：
    根据所述每个摄像头的取景区域在地面坐标系中划分所述每个摄像头的工作区域；
    其中，所述每个摄像头的工作区域互不重叠，若所述多个摄像头中的第一摄像头对应的任意一个检测框的地面坐标超出对应的工作区域，则在所述第一摄像头的检测框集合中去除所述任意一个检测框。
  6. 根据权利要求5所述的方法，其特征在于，所述方法还包括：
    将所述每个摄像头的工作区域中的非关键区域截去。
  7. 根据权利要求2所述的方法，其特征在于，根据所述每个摄像头对应的检测框集合进行跟踪，包括：
    采用多目标跟踪算法，并基于所述每个摄像头对应的检测框集合进行多目标跟踪，确定每个摄像头对应的局部跟踪信息；
    其中，所述多目标跟踪采用的参数基于所述每个摄像头的历史待测帧而确定。
  8. 根据权利要求7所述的方法，其特征在于，所述多目标跟踪算法为deepsort算法。
  9. 根据权利要求7所述的方法，其特征在于，还包括：
    根据所述每个摄像头对应的局部跟踪信息为所述每个检测框添加身份标识；
    基于所述每个检测框的身份标识和地面坐标确定迭代更新后的所述全局目标轨迹。
  10. 根据权利要求7所述的方法，其特征在于，还包括：
    根据所述多个摄像头的工作区域确定所述多个摄像头之间的关联关系；
    根据所述每个摄像头的局部跟踪信息确定对应工作区域中的新增检测框和消失检测框；
    根据所述多个摄像头之间的关联关系对处于不同工作区域中的新增检测框和消失检测框进行关联，得到关联信息；
    根据所述关联信息确定迭代更新后的所述全局目标轨迹。
  11. 一种目标跟踪装置，其特征在于，包括：
    获取单元，用于获取设置于监控区域内的多个摄像头的当前待测帧；
    检测单元，用于依次对所述多个摄像头中每个摄像头的当前待测帧进行目标检测，得到每个摄像头对应的检测框集合；
    跟踪单元，用于根据所述每个摄像头对应的检测框集合进行目标跟踪，根据跟踪结果确定全局目标轨迹。
  12. 根据权利要求11所述的装置，其特征在于，还包括：
    选帧单元，用于确定多个待测帧序号，根据所述多个待测帧序号按时序地迭代获取所述多个摄像头的当前待测帧，从而迭代地执行所述目标跟踪；
    其中，根据所述多个待测帧序号中初始待测帧序号对应得到初始的所述全局目标轨迹；根据所述多个待测帧序号中后续待测帧序号对应得到迭代更新后的所述全局目标轨迹。
  13. 根据权利要求12所述的装置，其特征在于，所述检测单元，还用于：
    将所述每个摄像头的当前待测帧输入目标检测模型进行所述目标检测；
    其中，所述目标检测模型是基于神经网络训练得到的行人检测模型。
  14. 根据权利要求12所述的装置，其特征在于，所述检测单元，还用于：
    在得到每个摄像头对应的检测框集合之后，根据每个摄像头的取景位置对所述每个摄像头对应的检测框集合中的每个检测框的框底中心点进行投影变换，从而确定所述每个检测框的地面坐标。
  15. 根据权利要求14所述的装置，其特征在于，所述多个摄像头的取景区域至少部分地重叠，所述装置还用于：
    根据所述每个摄像头的取景区域在地面坐标系中划分所述每个摄像头的工作区域；
    其中，所述每个摄像头的工作区域互不重叠，若所述多个摄像头中的第一摄像头对应的任意一个检测框的地面坐标超出对应的工作区域，则在所述第一摄像头的检测框集合中去除所述任意一个检测框。
  16. 根据权利要求15所述的装置，其特征在于，所述检测单元，还用于：
    将所述每个摄像头的工作区域中的非关键区域截去。
  17. 根据权利要求12所述的装置，其特征在于，所述跟踪单元，还用于：
    采用多目标跟踪算法，并基于所述每个摄像头对应的检测框集合进行多目标跟踪，确定每个摄像头对应的局部跟踪信息；
    其中，所述多目标跟踪采用的参数基于所述每个摄像头的历史待测帧而确定。
  18. 根据权利要求17所述的装置，其特征在于，所述多目标跟踪算法为deepsort算法。
  19. 根据权利要求17所述的装置，其特征在于，所述跟踪单元，还用于：
    根据所述每个摄像头对应的局部跟踪信息为所述每个检测框添加身份标识；
    基于所述每个检测框的身份标识和地面坐标确定迭代更新后的所述全局目标轨迹。
  20. 根据权利要求17所述的装置，其特征在于，所述跟踪单元，还用于：
    根据所述多个摄像头的工作区域确定所述多个摄像头之间的关联关系；
    根据所述每个摄像头的局部跟踪信息确定对应工作区域中的新增检测框和消失检测框；
    根据所述多个摄像头之间的关联关系对处于不同工作区域中的新增检测框和消失检测框进行关联，得到关联信息；
    根据所述关联信息确定迭代更新后的所述全局目标轨迹。
  21. 一种目标跟踪系统，其特征在于，包括：设置于监控区域内的多个摄像头，以及与所述多个摄像头分别通信连接的目标跟踪装置；
    其中，所述目标跟踪装置被配置用于执行如权利要求1-10中的任一项所述的方法。
  22. 一种目标跟踪装置，其特征在于，包括：
    一个或者多个多核处理器；
    存储器，用于存储一个或多个程序；
    当所述一个或多个程序被所述一个或者多个多核处理器执行时，使得所述一个或多个多核处理器实现：
    获取设置于监控区域内的多个摄像头的当前待测帧；
    依次对所述多个摄像头中每个摄像头的当前待测帧进行目标检测，得到每个摄像头对应的检测框集合；
    根据所述每个摄像头对应的检测框集合进行目标跟踪，根据跟踪结果确定全局目标轨迹。
  23. 一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被多核处理器执行时，使得所述多核处理器执行如权利要求1-10中任一项所述的方法。
PCT/CN2020/109081 2019-12-10 2020-08-14 一种目标跟踪方法、装置、系统及计算机可读存储介质 Ceased WO2021114702A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911258014.2A CN111145213B (zh) 2019-12-10 2019-12-10 一种目标跟踪方法、装置、系统及计算机可读存储介质
CN201911258014.2 2019-12-10

Publications (1)

Publication Number Publication Date
WO2021114702A1 true WO2021114702A1 (zh) 2021-06-17

Family

ID=70518015

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/109081 Ceased WO2021114702A1 (zh) 2019-12-10 2020-08-14 一种目标跟踪方法、装置、系统及计算机可读存储介质

Country Status (3)

Country Link
CN (1) CN111145213B (zh)
TW (1) TWI795667B (zh)
WO (1) WO2021114702A1 (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436295A (zh) * 2021-06-25 2021-09-24 平安科技（深圳）有限公司 活体养殖监控轨迹绘制方法、装置、设备及存储介质
CN113592903A (zh) * 2021-06-28 2021-11-02 北京百度网讯科技有限公司 车辆轨迹识别方法、装置、电子设备和存储介质
CN113610895A (zh) * 2021-08-06 2021-11-05 烟台艾睿光电科技有限公司 目标跟踪方法、装置、电子设备及可读存储介质
CN113642454A (zh) * 2021-08-11 2021-11-12 汇纳科技股份有限公司 座椅使用情况的识别方法、系统、设备及计算机存储介质
CN113673391A (zh) * 2021-08-09 2021-11-19 浙江大华技术股份有限公司 一种视频场景分类的方法、系统、设备及存储介质
CN113688278A (zh) * 2021-07-13 2021-11-23 北京旷视科技有限公司 信息处理方法、装置、电子设备和计算机可读介质
CN113744299A (zh) * 2021-09-02 2021-12-03 上海安维尔信息科技股份有限公司 一种相机控制方法、装置、电子设备及存储介质
CN113743260A (zh) * 2021-08-23 2021-12-03 北京航空航天大学 一种地铁站台密集人流情况下的行人跟踪方法
CN114037923A (zh) * 2021-10-15 2022-02-11 上海洛塔信息技术有限公司 一种目标活动热点图绘制方法、系统、设备及存储介质
CN114120188A (zh) * 2021-11-19 2022-03-01 武汉大学 一种基于联合全局和局部特征的多行人跟踪方法
CN114170556A (zh) * 2021-12-13 2022-03-11 中国电信股份有限公司 目标轨迹追踪方法及装置、存储介质、电子设备
CN114820700A (zh) * 2022-04-06 2022-07-29 北京百度网讯科技有限公司 对象跟踪方法及装置
CN114898268A (zh) * 2022-05-18 2022-08-12 深延科技(北京)有限公司 视频实例分割方法及相关装置
CN115205559A (zh) * 2022-06-29 2022-10-18 同济大学 一种跨域车辆重识别及连续轨迹构建方法
CN115272967A (zh) * 2022-07-27 2022-11-01 泉州装备制造研究所 一种跨摄像机行人实时跟踪识别方法、装置及介质
CN115311820A (zh) * 2022-07-11 2022-11-08 西安电子科技大学广州研究院 临水智能安防系统
CN115497303A (zh) * 2022-08-19 2022-12-20 招商新智科技有限公司 一种复杂检测条件下的高速公路车速检测方法及系统
CN115527162A (zh) * 2022-05-18 2022-12-27 湖北大学 一种基于三维空间的多行人重识别方法、系统
CN115690163A (zh) * 2023-01-04 2023-02-03 中译文娱科技(青岛)有限公司 基于影像内容的目标跟踪方法、系统及存储介质
CN115908474A (zh) * 2022-12-23 2023-04-04 浙江大华技术股份有限公司 目标对象停留时间的获取方法、设备以及存储介质
CN115984953A (zh) * 2022-11-30 2023-04-18 神思电子技术股份有限公司 一种基于三元组损失和联合特征的目标跟踪方法及设备
CN116363494A (zh) * 2023-05-31 2023-06-30 睿克环境科技(中国)有限公司 一种鱼类数量监测、洄游跟踪的方法和系统
CN116597382A (zh) * 2023-05-29 2023-08-15 京东方科技集团股份有限公司 一种基于计算机视觉的群体识别方法和群体识别装置
CN117115423A (zh) * 2023-08-08 2023-11-24 中星智能系统技术有限公司 面向目标跟踪的多模融合目标检测方法、装置和电子设备
CN117237418A (zh) * 2023-11-15 2023-12-15 成都航空职业技术学院 一种基于深度学习的运动目标检测方法和系统
CN117252924A (zh) * 2023-09-27 2023-12-19 杭州海康威视系统技术有限公司 人员定位方法、装置、设备及存储介质
CN117058331B (zh) * 2023-10-13 2023-12-19 山东建筑大学 基于单个监控摄像机的室内人员三维轨迹重建方法及系统
CN117315028A (zh) * 2023-10-12 2023-12-29 北京多维视通技术有限公司 室外火场起火点定位方法、装置、设备及介质
CN113627497B (zh) * 2021-07-27 2024-03-12 武汉大学 一种基于时空约束的跨摄像头行人轨迹匹配方法
WO2024108539A1 (zh) * 2022-11-25 2024-05-30 京东方科技集团股份有限公司 目标人群跟踪方法及装置
CN118678225A (zh) * 2024-08-15 2024-09-20 湖州奥酷斯特智能科技有限公司 一种基于实时位置的摄像头盲区评估及切换方法及系统
CN119625026A (zh) * 2024-12-04 2025-03-14 南京邮电大学 一种基于高清阵列摄像机的机场目标检测跟踪系统及方法
CN119991729A (zh) * 2025-01-27 2025-05-13 中移(上海)信息通信科技有限公司 一种对象跟踪方法、装置、设备及计算机可读存储介质
CN120013997A (zh) * 2025-01-20 2025-05-16 重庆长安汽车股份有限公司 基于车端图像的目标跟踪方法、装置、系统、车辆及介质
CN121482690A (zh) * 2025-12-16 2026-02-06 北京泰达致远工程技术有限公司 基于特征识别的多摄像头目标跟踪方法和装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145213B (zh) * 2019-12-10 2024-11-29 中国银联股份有限公司 一种目标跟踪方法、装置、系统及计算机可读存储介质
CN111815675B (zh) * 2020-06-30 2023-07-21 北京市商汤科技开发有限公司 目标对象的跟踪方法及装置、电子设备和存储介质
CN113963019A (zh) * 2020-07-03 2022-01-21 阿里巴巴集团控股有限公司 一种目标跟踪方法、计算设备及存储介质
CN111967498A (zh) * 2020-07-20 2020-11-20 重庆大学 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN112200841B (zh) * 2020-09-30 2021-08-27 杭州海宴科技有限公司 一种基于行人体态的跨域多摄像头跟踪方法和装置
CN112381132A (zh) * 2020-11-11 2021-02-19 上汽大众汽车有限公司 一种基于多个摄像头融合的目标物跟踪方法和系统
CN112418064A (zh) * 2020-11-19 2021-02-26 上海交通大学 一种用于图书馆阅览室内的实时人数自动检测方法
CN112560621A (zh) * 2020-12-08 2021-03-26 北京大学 基于动物图像的识别方法、装置、终端及介质
CN112906452A (zh) * 2020-12-10 2021-06-04 叶平 羚牛水鹿自动识别跟踪统计方法及系统
CN112489085B (zh) * 2020-12-11 2025-04-04 赵华 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN112634332A (zh) * 2020-12-21 2021-04-09 合肥讯图信息科技有限公司 基于YOLOv4模型和DeepSORT模型的跟踪方法
CN112614159B (zh) * 2020-12-22 2023-04-07 浙江大学 一种面向仓库场景的跨摄像头多目标跟踪方法
CN112906483B (zh) * 2021-01-25 2024-01-23 中国银联股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
CN112819859B (zh) * 2021-02-02 2023-06-02 重庆特斯联智慧科技股份有限公司 一种应用于智慧安防的多目标跟踪方法及装置
CN113012223B (zh) * 2021-02-26 2023-01-24 清华大学 目标流动监测方法、装置、计算机设备和存储介质
CN113223060B (zh) * 2021-04-16 2022-04-15 天津大学 基于数据共享的多智能体协同跟踪方法、装置及存储介质
CN113257003A (zh) * 2021-05-12 2021-08-13 上海天壤智能科技有限公司 交通道路车道级车流计数系统及其方法、设备、介质
CN113473091B (zh) * 2021-07-09 2023-04-18 杭州海康威视数字技术股份有限公司 摄像机关联方法、装置、系统、电子设备及存储介质
CN114743262A (zh) * 2022-03-29 2022-07-12 深圳云天励飞技术股份有限公司 行为检测方法、装置、电子设备及存储介质
CN115086527B (zh) * 2022-07-04 2023-05-12 天翼数字生活科技有限公司 一种家庭视频跟踪监控方法、装置、设备和存储介质
CN115761634B (zh) * 2022-11-18 2025-09-16 同济大学 行人轨迹的分析方法、系统、图像采集装置、设备和介质
CN115619832B (zh) * 2022-12-20 2023-04-07 浙江莲荷科技有限公司 多摄像头协同进行多目标轨迹确认方法、系统及相关装置
CN116071686B (zh) * 2023-02-27 2023-06-20 中国信息通信研究院 工业互联网中摄像头的关联分析方法、装置和系统
CN116740149A (zh) * 2023-06-01 2023-09-12 中国联合网络通信集团有限公司 摄像头跟踪方法、装置及存储介质
CN117784798B (zh) * 2024-02-26 2024-05-31 安徽蔚来智驾科技有限公司 目标跟踪方法、智能设备及计算机可读存储介质
WO2026055813A1 (zh) * 2024-09-10 2026-03-19 深圳视觉科技有限公司 目标跟踪方法、装置、可读存储介质、摄像设备及服务器
CN118799814B (zh) * 2024-09-11 2024-12-03 广东电网有限责任公司 基于分布式监控系统的图像处理方法、装置和终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331901A (zh) * 2014-11-26 2015-02-04 北京邮电大学 一种基于tld的多视角目标跟踪装置及方法
CN104463900A (zh) * 2014-12-31 2015-03-25 天津汉光祥云信息科技有限公司 一种多摄像机间目标自动追踪方法
CN108876821A (zh) * 2018-07-05 2018-11-23 北京云视万维科技有限公司 跨镜头多目标跟踪方法及系统
CN108986158A (zh) * 2018-08-16 2018-12-11 新智数字科技有限公司 一种基于目标再识别的跨场景追踪方法和装置及计算机视觉平台
CN111145213A (zh) * 2019-12-10 2020-05-12 中国银联股份有限公司 一种目标跟踪方法、装置、系统及计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI502558B (zh) * 2013-09-25 2015-10-01 Chunghwa Telecom Co Ltd Traffic Accident Monitoring and Tracking System
CN104933392A (zh) * 2014-03-19 2015-09-23 通用汽车环球科技运作有限责任公司 使用多视图融合的概率性人追踪
CN106373143A (zh) * 2015-07-22 2017-02-01 中兴通讯股份有限公司 一种自适应跨摄像机多目标跟踪方法及系统
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置
CN107240124B (zh) * 2017-05-19 2020-07-17 清华大学 基于时空约束的跨镜头多目标跟踪方法及装置
CN108875588B (zh) * 2018-05-25 2022-04-15 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109903260B (zh) * 2019-01-30 2023-05-23 华为技术有限公司 图像处理方法及图像处理装置
CN110428448B (zh) * 2019-07-31 2021-05-14 腾讯科技（深圳）有限公司 目标检测跟踪方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331901A (zh) * 2014-11-26 2015-02-04 北京邮电大学 一种基于tld的多视角目标跟踪装置及方法
CN104463900A (zh) * 2014-12-31 2015-03-25 天津汉光祥云信息科技有限公司 一种多摄像机间目标自动追踪方法
CN108876821A (zh) * 2018-07-05 2018-11-23 北京云视万维科技有限公司 跨镜头多目标跟踪方法及系统
CN108986158A (zh) * 2018-08-16 2018-12-11 新智数字科技有限公司 一种基于目标再识别的跨场景追踪方法和装置及计算机视觉平台
CN111145213A (zh) * 2019-12-10 2020-05-12 中国银联股份有限公司 一种目标跟踪方法、装置、系统及计算机可读存储介质

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436295A (zh) * 2021-06-25 2021-09-24 平安科技（深圳）有限公司 活体养殖监控轨迹绘制方法、装置、设备及存储介质
CN113436295B (zh) * 2021-06-25 2023-09-15 平安科技（深圳）有限公司 活体养殖监控轨迹绘制方法、装置、设备及存储介质
CN113592903A (zh) * 2021-06-28 2021-11-02 北京百度网讯科技有限公司 车辆轨迹识别方法、装置、电子设备和存储介质
CN113592903B (zh) * 2021-06-28 2024-11-12 北京百度网讯科技有限公司 车辆轨迹识别方法、装置、电子设备和存储介质
CN113688278A (zh) * 2021-07-13 2021-11-23 北京旷视科技有限公司 信息处理方法、装置、电子设备和计算机可读介质
CN113627497B (zh) * 2021-07-27 2024-03-12 武汉大学 一种基于时空约束的跨摄像头行人轨迹匹配方法
CN113610895A (zh) * 2021-08-06 2021-11-05 烟台艾睿光电科技有限公司 目标跟踪方法、装置、电子设备及可读存储介质
CN113673391A (zh) * 2021-08-09 2021-11-19 浙江大华技术股份有限公司 一种视频场景分类的方法、系统、设备及存储介质
CN113642454A (zh) * 2021-08-11 2021-11-12 汇纳科技股份有限公司 座椅使用情况的识别方法、系统、设备及计算机存储介质
CN113642454B (zh) * 2021-08-11 2024-03-01 汇纳科技股份有限公司 座椅使用情况的识别方法、系统、设备及计算机存储介质
CN113743260A (zh) * 2021-08-23 2021-12-03 北京航空航天大学 一种地铁站台密集人流情况下的行人跟踪方法
CN113743260B (zh) * 2021-08-23 2024-03-05 北京航空航天大学 一种地铁站台密集人流情况下的行人跟踪方法
CN113744299A (zh) * 2021-09-02 2021-12-03 上海安维尔信息科技股份有限公司 一种相机控制方法、装置、电子设备及存储介质
CN114037923A (zh) * 2021-10-15 2022-02-11 上海洛塔信息技术有限公司 一种目标活动热点图绘制方法、系统、设备及存储介质
CN114120188A (zh) * 2021-11-19 2022-03-01 武汉大学 一种基于联合全局和局部特征的多行人跟踪方法
CN114120188B (zh) * 2021-11-19 2024-04-05 武汉大学 一种基于联合全局和局部特征的多行人跟踪方法
CN114170556A (zh) * 2021-12-13 2022-03-11 中国电信股份有限公司 目标轨迹追踪方法及装置、存储介质、电子设备
CN114820700A (zh) * 2022-04-06 2022-07-29 北京百度网讯科技有限公司 对象跟踪方法及装置
CN114820700B (zh) * 2022-04-06 2023-05-16 北京百度网讯科技有限公司 对象跟踪方法及装置
CN115527162A (zh) * 2022-05-18 2022-12-27 湖北大学 一种基于三维空间的多行人重识别方法、系统
CN115527162B (zh) * 2022-05-18 2023-07-18 湖北大学 一种基于三维空间的多行人重识别方法、系统
CN114898268A (zh) * 2022-05-18 2022-08-12 深延科技(北京)有限公司 视频实例分割方法及相关装置
CN115205559A (zh) * 2022-06-29 2022-10-18 同济大学 一种跨域车辆重识别及连续轨迹构建方法
CN115311820A (zh) * 2022-07-11 2022-11-08 西安电子科技大学广州研究院 临水智能安防系统
CN115272967A (zh) * 2022-07-27 2022-11-01 泉州装备制造研究所 一种跨摄像机行人实时跟踪识别方法、装置及介质
CN115497303A (zh) * 2022-08-19 2022-12-20 招商新智科技有限公司 一种复杂检测条件下的高速公路车速检测方法及系统
WO2024108539A1 (zh) * 2022-11-25 2024-05-30 京东方科技集团股份有限公司 目标人群跟踪方法及装置
CN115984953A (zh) * 2022-11-30 2023-04-18 神思电子技术股份有限公司 一种基于三元组损失和联合特征的目标跟踪方法及设备
CN115908474A (zh) * 2022-12-23 2023-04-04 浙江大华技术股份有限公司 目标对象停留时间的获取方法、设备以及存储介质
CN115690163B (zh) * 2023-01-04 2023-05-09 中译文娱科技(青岛)有限公司 基于影像内容的目标跟踪方法、系统及存储介质
CN115690163A (zh) * 2023-01-04 2023-02-03 中译文娱科技(青岛)有限公司 基于影像内容的目标跟踪方法、系统及存储介质
CN116597382A (zh) * 2023-05-29 2023-08-15 京东方科技集团股份有限公司 一种基于计算机视觉的群体识别方法和群体识别装置
CN116363494B (zh) * 2023-05-31 2023-08-04 睿克环境科技(中国)有限公司 一种鱼类数量监测、洄游跟踪的方法和系统
CN116363494A (zh) * 2023-05-31 2023-06-30 睿克环境科技(中国)有限公司 一种鱼类数量监测、洄游跟踪的方法和系统
CN117115423A (zh) * 2023-08-08 2023-11-24 中星智能系统技术有限公司 面向目标跟踪的多模融合目标检测方法、装置和电子设备
CN117252924A (zh) * 2023-09-27 2023-12-19 杭州海康威视系统技术有限公司 人员定位方法、装置、设备及存储介质
CN117315028A (zh) * 2023-10-12 2023-12-29 北京多维视通技术有限公司 室外火场起火点定位方法、装置、设备及介质
CN117315028B (zh) * 2023-10-12 2024-04-30 北京多维视通技术有限公司 室外火场起火点定位方法、装置、设备及介质
CN117058331B (zh) * 2023-10-13 2023-12-19 山东建筑大学 基于单个监控摄像机的室内人员三维轨迹重建方法及系统
CN117237418A (zh) * 2023-11-15 2023-12-15 成都航空职业技术学院 一种基于深度学习的运动目标检测方法和系统
CN118678225A (zh) * 2024-08-15 2024-09-20 湖州奥酷斯特智能科技有限公司 一种基于实时位置的摄像头盲区评估及切换方法及系统
CN119625026A (zh) * 2024-12-04 2025-03-14 南京邮电大学 一种基于高清阵列摄像机的机场目标检测跟踪系统及方法
CN119625026B (zh) * 2024-12-04 2025-10-31 南京邮电大学 一种基于高清阵列摄像机的机场目标检测跟踪系统及方法
CN120013997A (zh) * 2025-01-20 2025-05-16 重庆长安汽车股份有限公司 基于车端图像的目标跟踪方法、装置、系统、车辆及介质
CN119991729A (zh) * 2025-01-27 2025-05-13 中移(上海)信息通信科技有限公司 一种对象跟踪方法、装置、设备及计算机可读存储介质
CN121482690A (zh) * 2025-12-16 2026-02-06 北京泰达致远工程技术有限公司 基于特征识别的多摄像头目标跟踪方法和装置

Also Published As

Publication number Publication date
TWI795667B (zh) 2023-03-11
CN111145213B (zh) 2024-11-29
CN111145213A (zh) 2020-05-12
TW202123171A (zh) 2021-06-16

Similar Documents

Publication Publication Date Title
TWI795667B (zh) 目標跟蹤方法、裝置、系統及電腦可讀存儲介質
JP2020042816A (ja) 物体検出方法、装置、機器、記憶媒体及び車両
US10572716B2 (en) Processing uncertain content in a computer graphics system
US10854056B2 (en) Information processing system, method and computer readable medium for determining whether moving bodies appearing in first and second videos are the same or not
CN111797733A (zh) 一种基于图像的行为识别方法、装置、设备和存储介质
CN111091584A (zh) 一种目标跟踪方法、装置、设备和存储介质
CN114170556A (zh) 目标轨迹追踪方法及装置、存储介质、电子设备
WO2022002151A1 (zh) 一种移动目标行为分析的实现方法、装置及电子设备
US20160313799A1 (en) Method and apparatus for identifying operation event
CN114494358B (zh) 一种数据处理方法、电子设备及存储介质
JPWO2014021005A1 (ja) 画像処理システム、画像処理方法及びプログラム
CN112927198A (zh) 烟雾检测方法及设备
CN113012223B (zh) 目标流动监测方法、装置、计算机设备和存储介质
CN116430893A (zh) 一种无人机目标识别与目标跟踪方法、系统及计算机设备
US20150326830A1 (en) Information processing apparatus, information processing method, program, and information processing system
CN113592918A (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN119559511A (zh) 建筑信息模型的调整方法及装置
CN113129340B (zh) 操作设备的运动轨迹分析方法、装置、介质和计算设备
CN114612976B (zh) 关键点检测方法及装置、计算机可读介质和电子设备
HK40020327A (zh) 一种目标跟踪方法、装置、系统及计算机可读存储介质
CN112308935B (zh) 轨迹标定方法、装置、计算机设备和存储介质
CN113221912B (zh) 一种操作按键识别方法、装置、设备及介质
CN117793530A (zh) 一种基于5g摄像头的目标追踪监控方法及相关装置
CN111612813B (zh) 人脸追踪方法与装置
CN114897936A (zh) 基于多目标跟踪的足球视频处理方法、装置和计算机设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20900355

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20900355

Country of ref document: EP

Kind code of ref document: A1