WO2020150896A1 - 视频目标的数据关联方法、装置及存储介质 - Google Patents

视频目标的数据关联方法、装置及存储介质 Download PDF

Info

Publication number
WO2020150896A1
WO2020150896A1 PCT/CN2019/072682 CN2019072682W WO2020150896A1 WO 2020150896 A1 WO2020150896 A1 WO 2020150896A1 CN 2019072682 W CN2019072682 W CN 2019072682W WO 2020150896 A1 WO2020150896 A1 WO 2020150896A1
Authority
WO
WIPO (PCT)
Prior art keywords
trajectory
new
track
feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/072682
Other languages
English (en)
French (fr)
Inventor
李良群
湛西羊
谢维信
刘宗香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to PCT/CN2019/072682 priority Critical patent/WO2020150896A1/zh
Publication of WO2020150896A1 publication Critical patent/WO2020150896A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Definitions

  • This application relates to the field of electronic technology, and in particular to a data association method, device and storage medium for video objects.
  • Video multi-target tracking is one of the important research contents of machine vision, which mainly obtains basic motion information such as the position, posture, and trajectory of the moving target in the video.
  • video multi-target tracking has opened many research fields and application fields, involving intelligent video surveillance, virtual reality, human-computer interaction, autonomous driving, traffic control, oceanography, intelligent robots, remote sensing , Biomedicine and other fields have attracted more and more scholar and researchers to actively participate and have achieved a lot of research results.
  • the key problem of the detection-based multi-target tracking method is the data association between the online detection result received by the detector and the existing target.
  • scholars and researchers at home and abroad have proposed many types of data association methods in the past 30 years.
  • most tracking algorithms can be divided into the following two categories: generative methods and discriminative methods.
  • the tracking algorithm based on the generative method uses the appearance and movement of the target to construct a target model, and considers the similarity between the target and the observation during the tracking process for tracking association.
  • Ross et al. gradually learn the low-dimensional subspace feature representation of the target, which can effectively adapt to the changes in the appearance of the target.
  • Babu et al. proposed tracking based on the reliable feature points of the target.
  • Azab et al. used fuzzy integration to fuse multiple features in the particle filter framework.
  • Zhang et al. used a particle filter-based sparse representation of the target model to select the candidate template association with the smallest reconstruction error of the target model.
  • Zhang and Liu et al. used two-layer convolutional neural networks to train robust features for association. But based on generative association methods, they sometimes cannot distinguish the target from the background well, because the background pixels and other target pixels in the bounding box of the target are inevitably regarded as part of the target, thus making the target appearance model The presence of inaccurate information prevents it from correctly distinguishing the object from the background, which may lead to tracking failures.
  • the discriminant method is designed to better separate the target from the background. For example, Jang et al.
  • fuzzy set theory in multi-target tracking has become more and more widespread, it is pointed out that using fuzzy mathematics to model uncertain information in the tracking system can help improve tracking performance.
  • association algorithms based on intuitionistic fuzzy set theory are also More and more.
  • fuzzy orthogonal particle filter Such as fuzzy orthogonal particle filter, intuitionistic fuzzy joint probability data association filter, fuzzy Kalman filter and fuzzy coding histogram.
  • the literature proposes an object tracking algorithm based on active contours for modeling neural fuzzy networks.
  • the contour-based model is used to extract the feature vector of the object.
  • the self-built neuro-fuzzy inference network is used, and the human contour histogram in the horizontal and vertical projections is subjected to the Discrete Fourier Transform (DFT). ) Transformation.
  • DFT Discrete Fourier Transform
  • Li et al. proposed an online video multi-target tracking algorithm based on intuitionistic fuzzy sets, which uses the obtained intuitionistic fuzzy membership to replace the correlation between the target and the observation to achieve the goal and For the correlation between observations, Zhao et al. proposed a reasoning algorithm based on intuition logic, and Revathi et al. proposed a histogram fuzzy logic block matching algorithm to track multiple targets in video.
  • N is an integer greater than 1;
  • the target trajectory management is performed on the target object, and the new starting trajectory and ending trajectory of the target object in the video are counted to obtain all Said ending track set and said new track set;
  • Performing fuzzy track association according to the ending track set and the new track set includes: S1 obtains the ending track set and the new track set in the video, and determining the fuzzy credibility of the ending track set and the new track set Matrix; S2 for the final trajectory i in the final trajectory set and the new trajectory j * at the nth time in the new trajectory set: determine the final trajectory i and the new trajectory j * according to the fuzzy credibility matrix If the maximum acquaintance degree is greater than or equal to the credibility threshold, the end trajectory i is associated with the new trajectory j * , and the new trajectory j * is not associated with other end trajectories; S3 When the end track i is associated with the new track j * , if the track quality between the end track i and the new track j * is greater than or equal to the track quality threshold, it is determined that the end track i and the new track j * The new trajectory j * is the same trajectory; if the trajectory quality between the end trajectory i and the new trajectory j * is less than the trajectory
  • the trajectory management method proposed in the embodiment of the present application can realize the connection of different sub-trajectories of the same target object at different times.
  • Fig. 1-a is a schematic diagram of the implementation process of a method for data association of video targets provided by an embodiment of the application;
  • Fig. 1-b is a schematic diagram of occlusion between a target object and a target object provided by an embodiment of this application;
  • Fig. 1-c is a schematic diagram of the occlusion between the target object A and the target object B according to an embodiment of the application;
  • Figure 1-d is a block diagram of fuzzy track piece fusion provided by an embodiment of the application.
  • FIG. 2 is a schematic diagram of the structure of an electronic device provided by an embodiment of the application.
  • FIG. 3 is a schematic diagram of the hardware structure of an electronic device provided by another embodiment of the application.
  • the embodiments of the present application provide a method, device, and storage medium for data association of video targets, which are used for data association of video multi-target tracking.
  • the data association method of the video target mainly includes the following steps:
  • the target object is the target object tracked in the video for target tracking.
  • the first image feature is an image feature corresponding to the target object.
  • the observation object is an environmental object other than the target object in the video for target tracking, and is used for comparison and analysis with the target object.
  • the second image feature is the image feature corresponding to the observation object.
  • observation objects there may be multiple observation objects. For example, it is defined that there are j observation objects, where j is an integer greater than 1.
  • N feature categories are used to comprehensively define the feature similarity between the target object and the observation object.
  • the feature category can be features of different dimensions such as distance, color, and shape.
  • N can be specifically equal to 7, and the seven feature categories are: distance, color, edge, texture, shape, movement direction, and overlap area.
  • the N groups of feature similarity results are screened based on the feature similarity of the rough set, and the screened results are fused to obtain a feature fusion result.
  • neighborhood rough set is a model proposed to solve the problem that the classic rough set cannot handle continuous data.
  • the neighborhood of the model is defined according to the maximum distance from the center of the neighborhood to the boundary in a certain metric, and the attributes are reduced based on the dependence of decision attributes on conditional attributes.
  • the interference between adjacent targets is one of the factors that affect the correct association of the targets, because these adjacent targets are very close in position, they will also have relatively similar appearance characteristics due to factors such as occlusion, and errors occur during the association process. The possibility of matching is greater. Therefore, how to select features that can better distinguish between targets and targets, targets and false observations is the key to video multi-target tracking.
  • the neighborhood rough set will be used to select and merge features.
  • N feature similarities are selected to measure the similarity relationship between the target and the observation. If these features are only linearly accumulated during fusion, the reliability of the fusion result will be affected. Because not all features are well distinguished, the target can be mapped to the observation one by one. In fact, some features will also affect the accuracy of the association. For example, when the target is occluded by each other, the visual characteristics of the target are affected, but the characteristics such as the movement direction and overlap area are more robust. The linear fusion of features may result in wrong association results. In this regard, we will use the attribute reduction ability of the neighborhood rough set to select the target feature, reduce the number of features according to the dependence of the decision attribute on the universe, and realize the selection of useful features.
  • the correlation cost matrix calculation is performed according to the feature fusion result, and the correlation cost matrix calculation result is obtained.
  • the local information is the local information of the target object.
  • the embodiment of the present application uses the OSPA distance to define the local information distance measure, which further improves the accuracy of the target distance measure.
  • OSPA is a consistency measurement method for the overall performance evaluation of the target tracking system.
  • a measurement distance is defined in the system state space, which can be used to measure the error between the true track and the estimated track.
  • fuzzy clustering used in the embodiments of this application confirms the degree of uncertainty of the sample to be classified into each category, and expresses the fuzzy concept that the sample category is one and the other.
  • the set obtained by fuzzy clustering is the intuitionistic fuzzy set, and the intuitionistic fuzzy entropy is used to express the degree of uncertainty of the intuitionistic fuzzy set.
  • the principle of maximum entropy used in the embodiments of this application is a criterion for selecting the statistical characteristics of random variables that best meets the objective situation.
  • the probability distribution of random variables is difficult to determine. Generally, only various means (such as mathematical expectations, Variance, etc.) or known values under certain limited conditions (such as peak value, number of values, etc.), the distributions that conform to the measured values can be multiple or even infinite, usually, one of the distributions has the largest entropy . Selecting the distribution with the maximum entropy as the distribution of the random variable is an effective method and criterion.
  • a new maximum entropy intuitionistic fuzzy clustering method is proposed by using the principle of maximum entropy. Intuitionistic fuzzy membership is used instead of the associated probability.
  • the intuitionistic fuzzy membership in the method proposed in the embodiments of this application can be effective Instead of the degree of relevance, it can associate the target with the observation and improve the accuracy of the association.
  • the target tracking system can obtain multiple ending trajectories and multiple new starting trajectories of the target object.
  • the multiple ending trajectories and multiple new starting trajectories are collected into a ending trajectory set and a new trajectory set, and each ending trajectory and the new starting trajectory are associated with each other.
  • the target model is a tracking model corresponding to the target object, which records the tracking status of the target object in real time.
  • the target model can be updated to maintain information such as the position, color, and texture characteristics of the target object.
  • S1 obtains the final trajectory set and the new trajectory set in the video, and determines the fuzzy credibility matrix of the final trajectory set and the new trajectory set;
  • S2 for the final trajectory i in the final trajectory set and the new trajectory set The new trajectory j * at the nth moment: determine the maximum acquaintance between the end trajectory i and the new trajectory j * according to the fuzzy credibility matrix; if the maximum acquaintance is greater than or equal to the credibility threshold , The end track i is associated with the new track j * , and the new track j * is not associated with other end tracks; S3 when the end track i is associated with the new track j * , if the If the track quality between the ending track i and the new track j * is greater than or equal to the track quality threshold, it is determined that the ending track i and the new track j * are the same track; if the ending track i and the new track j * If the track quality between tracks j * is less than the track quality threshold, it is determined that the end track i and the new track
  • the solution of the present application obtains N sets of feature similarity results by calculating the similarity of image features between the target object and the observed object; then the N sets of feature similarity results are screened, and the screened results are merged, Obtain the feature fusion result; then based on the maximum entropy intuitionistic fuzzy clustering, perform the correlation cost matrix calculation according to the feature fusion result to obtain the correlation cost matrix calculation result; finally, judge the target object and the said target object according to the correlation cost matrix calculation result Whether the observation object is related or not; the above scheme has the following advantages: First, the feature attributes of the video target are diverse, and the importance of the target feature is not the same for different locations at different times.
  • the proposed solution of this application proposes to use the neighborhood rough set to pair the features Make selections to eliminate low-discrimination features and improve the accuracy of feature similarity; second, introduce the local information of the target, and use (OSPA, Optimal Sub-patten Assignment) distance to define the local information distance measure , To further improve the accuracy of target distance measurement; third, using the principle of maximum entropy, a new maximum entropy intuitionistic fuzzy clustering method is proposed, which uses intuitionistic fuzzy membership to replace the associated probability, avoiding the constraints of traditional probability and statistics methods, and realizes Fast and accurate calculation of association probability.
  • OSPA Optimal Sub-patten Assignment
  • the trajectory management method proposed in the embodiment of the present application can realize the connection of different sub-trajectories of the same target object at different times.
  • the embodiment of the application introduces the data association method of the video target through a specific formula and algorithm flow, which specifically includes:
  • the neighborhood rough set is a model proposed to solve the problem that the classic rough set cannot handle continuous data.
  • the neighborhood of the model is defined according to the maximum distance from the center of the neighborhood to the boundary in a certain metric, and the attributes are reduced based on the dependence of decision attributes on conditional attributes.
  • ⁇ (x, x i ) is the distance function.
  • the distance function in this paper is selected as the infinite norm distance, which is defined as:
  • the decision attribute D divides the universe into D U , then the upper and lower approximations of D U are defined as:
  • the similarity between the target object o i and the observation object z k is comprehensively calculated through 7 features such as distance, color, edge, texture, shape, movement direction, and overlap area, and the 7 feature similarity
  • 7 features such as distance, color, edge, texture, shape, movement direction, and overlap area
  • f 1 (o i , z k ) is the spatial distance feature similarity measurement function
  • f 2 (o i , z k ) is the geometric dimension feature similarity measurement function
  • f 3 (o i , z k ) is the direction of motion Feature similarity measurement function
  • f 4 (o i ,z k ) is the color feature similarity measurement function
  • f 5 (o i ,z k ) is the gradient direction feature similarity measurement function
  • f 6 (o i ,z k ) Is the similarity measurement function of cultural and scientific features
  • f 7 (o i , z k ) is the similarity measurement function of the overlapping area
  • (x o , y o ) is the center coordinates of the target object o i
  • Figure 1-b is a schematic diagram of the occlusion between the prediction results of different target objects in the present invention.
  • the shapes of the tracking icons of prediction result A and prediction result B are rectangles, and there is overlap between the two
  • the parameter expression of prediction result A is: [x,y ,w,d]
  • x,y represent the coordinates of the rectangular frame
  • w represents the width of the rectangular frame
  • d represents the height of the rectangular frame
  • the parameters of the prediction result B are expressed as: [x',y',w',h ′], where x′, y′ represent the coordinates of the rectangular frame
  • w′ represents the width of the rectangular frame
  • h′ represents the height of the rectangular frame
  • the shaded part between the prediction result A and the prediction result B is expressed as: [x o ,y o ,w o ,h o ]
  • its overlapping part is expressed as:
  • the area of the overlap between the prediction result A and the prediction result B is expressed as w o *h o . If the above w o and ho do not satisfy w o >0 or h o >0, no overlapping rectangle is formed between the two tracking rectangles, that is, the area of the overlapping rectangle is 0.
  • the occlusion degree between the two is defined as:
  • s( ⁇ ) represents the area of the area, and the occlusion degree satisfies 0 ⁇ w(A,B) ⁇ 1.
  • w(A,B) is greater than 0, it means that there is an occlusion between the prediction result A and the prediction result B.
  • y A and y B at the bottom of the two tracking rectangles representing the prediction result A and the prediction result B respectively that if y A > y B , it means that the prediction result B is blocked by the prediction result A, otherwise, It means that the prediction result A is blocked by the prediction result B.
  • the embodiment of the present invention uses the attribute reduction ability of the neighborhood rough set to select the image feature of the target object, reduces the number of features according to the dependence of the decision attribute on the universe, and realizes the selection of useful features.
  • the feature is an effective feature and can be fused later.
  • the threshold ⁇ cf and ⁇ are set to 0.7 and 0.1 respectively through experiments.
  • the objective function of the proposed maximum entropy intuitionistic fuzzy clustering method with local information is as follows:
  • ⁇ ik represents the observation object And cluster centers
  • the fuzzy membership between Represents the observation object And cluster centers the distance between.
  • ⁇ ik is the weight of the local information.
  • the objective optimization function is:
  • ⁇ k ⁇ [0.40.6] is usually called the difference factor.
  • the fuzzy membership degree ⁇ ik can be obtained by optimization as:
  • the membership function is extended from the traditional fuzzy set to the intuitionistic fuzzy set, and the membership function is modified by introducing the intuition index, which is defined as a new intuitionistic fuzzy membership:
  • ⁇ is a normal number.
  • the value range is [0.40.8].
  • the reference topology set takes the neighboring target objects that are occluded with the target object o i as a query, and retrieves the neighboring target objects that meet a certain degree of occlusion to form a reference topology set of the target object.
  • the reference topology set of the observation object z k can be defined:
  • the OSPA distance can be used to calculate the distance between the target object and the reference topology set of the observed object
  • the OSPA distance considers both the number of sets and the distance between sets.
  • the OSPA distance for the reference topology set of the target object o i and the observation object z k is as follows:
  • c is the penalty for unmatched
  • q h represents the number of successful pairings between the reference set of the target object and the reference topology set, which is defined as:
  • h kl is defined as:
  • the reference topology set of target object 1 is target object 2.
  • target object 1 is severely occluded by target object 2, causing it to lose most of its appearance information, but its reference topology
  • the information of the set is relatively complete, so the distance between the target object and the reference topology set of the observation object can be used Make an association.
  • ⁇ ik Considering the influence of neighboring targets on the local information weight ⁇ ik of the target object o i , ⁇ ik is defined as:
  • N i indicates the number of objects close to the target audience
  • the audience its meaning is i o of occlusion greater than a prescribed threshold value w (i, j)> ⁇ 1 near the target object o of the number j
  • N i (j) Indicates the influence factor of the neighboring target object of target object i, defined as:
  • w(i,j) represents the degree of occlusion between the target object and other target objects.
  • an embodiment of the present application provides a trajectory association method based on a fuzzy synthesis function for connecting different sub-trajectories of the same target at different times. The details are shown in Figure 1-d.
  • the similarity vector ⁇ t (i, j) is defined as follows:
  • ⁇ t (i,j) ⁇ [0,1] 7 They respectively represent the average similarity of features such as distance, color, edge, texture, shape, direction of motion, and overlap area between the end trajectory i and the new trajectory j at time t, which are defined as follows:
  • ⁇ represents the large operation and the small operation.
  • the fuzzy similarity ⁇ ij can be defined as:
  • Step 1 Use the hybrid Gaussian detection method to detect the t-th frame image
  • Step 2 Obtain the image features of the target object and the observed object in the t-th frame of image, and perform screening based on the rough set of the neighborhood;
  • the feature f n is an effective feature and can be fused later.
  • Step 3 Perform multi-feature fusion distance calculation on the selected features
  • Step 4 Calculate the reference topological set distance between the target object and the observation object
  • Step 5 Calculate the intuitionistic fuzzy membership of the target object and the observed object
  • Step 6 According to the intuitionistic fuzzy membership of the target object and the observed object, construct an association cost matrix to associate the target object.
  • the correlation cost matrix is constructed.
  • the Kalman filter is used to update the status of the associated target object; the unassociated target object is extrapolated to maintain the target object track; for the unassociated observation object, it can be directly used as the starting target point of the new trajectory .
  • Step 7. Perform fuzzy track association on the tracks in the video.
  • target trajectory management is performed on the target object, and the specific steps are as follows:
  • FIG. 2 provides an electronic device according to an embodiment of the application.
  • the electronic device can be used to implement the data association method of the video target provided by the embodiment shown in FIG. 1-a.
  • the electronic device mainly includes:
  • the acquiring unit 210 is configured to acquire the first image feature of the target object and the second image feature of the observation object respectively;
  • the similarity calculation unit 220 is configured to perform feature similarity calculations of N feature categories on the first image feature and the second image feature to obtain N sets of feature similarity results, where N is an integer greater than 1;
  • the feature fusion unit 230 is configured to screen the N groups of feature similarity results based on the feature similarity of the rough set, and fuse the screened results to obtain a feature fusion result;
  • the correlation calculation unit 240 is configured to perform correlation cost matrix calculation based on the maximum entropy intuitionistic fuzzy clustering according to the feature fusion result to obtain the correlation cost matrix calculation result;
  • the trajectory association unit 250 is configured to determine whether the target object is associated with the observation object according to the calculation result of the correlation cost matrix, and if not, perform target trajectory management on the target object, and count the newness of the target object in the video Track and end track, obtain the end track set and the new track set; perform fuzzy track association according to the end track set and the new track set, including: S1 obtains the end track set and the new track set in the video, And determine the fuzzy credibility matrix of the final trajectory set and the new trajectory set; S2 for the final trajectory i in the final trajectory set and the new trajectory j * at the nth time in the new trajectory set: according to the fuzzy The credibility matrix determines the maximum degree of acquaintance between the end trajectory i and the new trajectory j * ; if the maximum degree of acquaintance is greater than or equal to the credibility threshold, the end trajectory i and the new trajectory j * Associated, and the new track j * is not associated with other end tracks; S3 when the end track i is associated with the new track j * , if the
  • each functional module is only an example. In actual applications, the configuration requirements of the corresponding hardware or the convenience of the implementation of the software can be considered according to needs.
  • the above-mentioned function allocation is completed by different functional modules, that is, the internal structure of the electronic device is divided into different functional modules to complete all or part of the functions described above.
  • the corresponding functional modules in this embodiment may be implemented by corresponding hardware, or may be implemented by corresponding hardware executing corresponding software.
  • the various embodiments provided in this specification can all apply the above description principles, which will not be repeated hereafter.
  • An embodiment of the present application provides an electronic device. Please refer to FIG. 3.
  • the electronic device includes:
  • the processor 302 executes the computer program, it realizes the data of the video target described in the embodiment shown in FIG. 1-a. Association method.
  • the electronic device further includes:
  • At least one input device 303 and at least one output device 304 At least one input device 303 and at least one output device 304.
  • the aforementioned memory 301, processor 302, input device 303, and output device 304 are connected via a bus 305.
  • the input device 303 may specifically be a camera, a touch panel, a physical button or a mouse, etc.
  • the output device 304 may specifically be a display screen.
  • the memory 301 may be a high-speed random access memory (RAM, Random Access Memory) memory, or a non-volatile memory (non-volatile memory), such as a magnetic disk memory.
  • RAM Random Access Memory
  • non-volatile memory non-volatile memory
  • the memory 301 is used to store a set of executable program codes, and the processor 302 is coupled with the memory 301.
  • the embodiments of the present application also provide a computer-readable storage medium.
  • the computer-readable storage medium may be provided in the electronic device in each of the foregoing embodiments, and the computer-readable storage medium may be the one shown in FIG. 3 above. Shows the memory in the embodiment.
  • a computer program is stored on the computer-readable storage medium, and when the program is executed by the processor, the data association method of the video object described in the embodiment shown in FIG. 1-a is realized.
  • the computer storage medium may also be a U disk, a mobile hard disk, a read-only memory (ROM, Read-Only Memory), a RAM, a magnetic disk, or an optical disk, etc., which can store program codes.
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the modules is only a logical function division, and there may be other divisions in actual implementation, for example, multiple modules or components may be combined or It can be integrated into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or modules, and may be in electrical, mechanical or other forms.
  • modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical modules, that is, they may be located in one place, or they may be distributed on multiple network modules. Some or all of the modules can be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • each functional module in each embodiment of the present application may be integrated into one processing module, or each module may exist alone physically, or two or more modules may be integrated into one module.
  • the above-mentioned integrated modules can be implemented in the form of hardware or software functional modules.
  • the integrated module is implemented in the form of a software function module and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • the medium includes a number of instructions to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute all or part of the steps of the methods described in the various embodiments of the present application.
  • the aforementioned readable storage medium includes: U disk, mobile hard disk, ROM, RAM, magnetic disk or optical disk and other media that can store program codes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种视频目标的数据关联方法、装置及存储介质。其中，该视频目标的数据关联方法包括：获取分别目标对象的第一图像特征和观测对象的第二图像特征；对所述第一图像特征和所述第二图像特征进行N种特征类别的特征相似度计算；基于粗糙集的特征相似度对N组特征相似度结果进行筛选，并将筛选后的结果进行融合，得到特征融合结果；基于最大熵直觉模糊聚类，根据所述特征融合结果进行关联代价矩阵计算，得到关联代价矩阵计算结果；根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联；若否，则对所述目标对象进行目标轨迹管理，统计视频中目标对象的新起轨迹和终结轨迹，得到所述终结轨迹集以及所述新轨迹集；根据所述终结轨迹集以及所述新轨迹集进行模糊轨迹关联。

Description

视频目标的数据关联方法、装置及存储介质 技术领域
本申请涉及电子技术领域，尤其涉及一种视频目标的数据关联方法、装置及存储介质。
背景技术
视频多目标跟踪是机器视觉的重要研究内容之一，主要获取视频中运动目标的位置、姿态、轨迹等基本运动信息。随着数字计算技术的发展，视频多目标跟踪已经打开多个研究领域及应用领域，涉及到智能视频监控、虚拟现实、人机交互、自动驾驶、交通管制、海洋学、智能机器人、遥控传感、生物医学等领域，吸引了越来越多的学者和研究人员的积极参与，取得了大量的研究成果。但在复杂背景和目标密集遮挡的环境下，多目标跟踪过程中存在很多不确定不完备的信息，如行人的形变、光照变化、虚假观测、目标之间的相互遮挡等，导致难以用传统的概率统计方法准确描述目标与观测的关系。
目前，由于检测技术的发展，基于目标检测的视频目标跟踪算法得到了快速的发展和广泛的应用。这类方法根据检测的目标的位置、大小，标签、特征等估计目标的当前状态，不需要人工标记，并且在跟踪过程中可根据检测结果实时更新目标的状态。近年来，随着深度学习方法在视频目标检测上的应用，目标检测技术不断进步，视频多目标检测技术已经非常成熟，即使在杂波环境下，仍可获得较准确的检测结果，数据关联的准确性成为影响跟踪发正确性的主要因素，所以基于检测的多目标数据关联方法得到了广泛的研究。
基于检测的多目标跟踪方法的关键问题是检测器接收的在线检测结果和已有目标之间的数据关联。为解决数据关联问题，近三十年来，国内外的学者和研究人员提出了很多类型的数据关联方法。根据数据关联方式不同，大多数跟踪算法可以分为以下两类：生成式方法和判别式方法。基于生成式方法下的跟踪算法利用目标的外观、运动等多个特征构建目标模型，在跟踪过程中考虑目标与观测之间的相似性进行跟踪关联。Ross等人通过逐步学习目标的低维子空间特征表示，可以有效适应目标外观的变化，Babu等人提出根据目标可靠的特征点进行跟踪，Azab等人利用模糊积分融合多个特征在粒子滤波框架中进行跟踪，Zhang等人利用基于粒子滤波器的稀疏表示目标模型，选择与目标模型重建误差最小的候选模板关联，Zhang和Liu等人利用双层卷积神经网络训练鲁棒的特征进行关联。但基于生成式的关联方法，它们有时不能很好地将目标和背景区分开，因为在目标的边界框内的背景像素和其他目标像素不可避免地被认为是目标的一部分，从而使目标外观模型存在不准确信息，使其无法正确区分对象和背景，导致跟踪可能失败。判别式方法旨在更好地将目标从背景中分离出来，如Jang等人提出融合粒子滤波观测模型的误差最小的投影网络模型，Mei等人提出利用最小二乘法和贝叶斯状态估计对目标和观测关联。 但判别方法不能适应目标的外观变化，故Babenko等人提出使用多实例学习训练目标模型，Kalal等人提出基于光流和动态外观模型的监督编码规则，Tuzel等人解决多个目标的遮挡跟踪问题，并将其作为二元模式分类问题，Wu等人提出了一个区域深度学习跟踪器，通过多个子区域观察目标，并通过深度学习模型观察每个区域，与大多数仅利用二维彩色或灰色图像来在线学习被跟踪对象的外观模型的现有跟踪器相比，取得了更好的效果。另外，基于相关滤波器的方法和基于深度学习的方法已经取得了优异的表现并引起了更多的关注。
近年，随着模糊集理论在多目标跟踪的应用越来越广泛，指出利用模糊数学对跟踪系统中的不确定信息进行建模有助于提高跟踪性能，基于直觉模糊集理论的关联算法成果也越来愈多。如模糊正交粒子滤波，直觉模糊联合概率数据关联滤波，模糊卡尔曼滤波和模糊编码直方图。文献提出建模神经模糊网络基于主动轮廓的对象跟踪算法。基于轮廓的模型被用来提取对象的特征向量，为了训练和识别运动物体，利用自建的神经模糊推理网络，同时将水平和垂直投影中的人体轮廓直方图进行了离散傅里叶变换(DFT)变换。直觉模糊集理论处理不确定信息的优势愈加明显，Li等人提出了一种基于直觉模糊集的在线视频多目标跟踪算法，利用得到的直觉模糊隶属度代替目标与观测的关联度，实现目标与观测间的关联，Zhao等人提出基于直觉逻辑的推理算法，Revathi等人提出基于直方图模糊逻辑块匹配算法对视频多目标进行跟踪。
技术问题
如何有效地对视频中的多个目标对象的数据进行关联。
技术解决方案
获取分别目标对象的第一图像特征和观测对象的第二图像特征；
对所述第一图像特征和所述第二图像特征进行N种特征类别的特征相似度计算，得到N组特征相似度结果，所述N为大于1的整数；
基于粗糙集的特征相似度对所述N组特征相似度结果进行筛选，并将筛选后的结果进行融合，得到特征融合结果；
基于最大熵直觉模糊聚类，根据所述特征融合结果进行关联代价矩阵计算，得到关联代价矩阵计算结果；
根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联，若否，则对所述目标对象进行目标轨迹管理，统计视频中目标对象的新起轨迹和终结轨迹，得到所述终结轨迹集以及所述新轨迹集；
根据所述终结轨迹集以及所述新轨迹集进行模糊轨迹关联，包括：S1获取视频中的终结轨迹集以及新轨迹集，并确定所述终结轨迹集与所述新轨迹集的模糊可信度矩阵；S2对于所述终结轨迹集中的终结轨迹i以及所述新轨迹集中第n时刻的新轨迹j *：根据所述模糊可信度矩阵确定所述终结轨迹i与所述新轨迹j *之间的最大相识度；若 所述最大相识度大于或等于可信度阈值，则所述终结轨迹i与所述新轨迹j *关联，且所述新轨迹j *不与其它终结轨迹关联；S3当所述终结轨迹i与所述新轨迹j *关联时，若所述终结轨迹i与所述新轨迹j *之间的轨迹质量大于或等于轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j *为同一轨迹；若所述终结轨迹i与所述新轨迹j *之间的轨迹质量小于所述轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j *不是同一轨迹；重复步骤S2与S3，直至所述视频目标数据中所有的轨迹都完成关联。
有益效果
由于漏检或虚警的存在，模糊数据关联也只能处理短时间无观测情况的跟踪问题。当在长时间遮挡或轨迹长时间没有更新的情况下，目标轨迹会产生断批现象。为此，为解决长时间遮挡情况的目标轨迹的连续跟踪问题，本申请实施例提出了的轨迹管理方法，能够实现连接不同时刻同一目标对象的不同子轨迹。
附图说明
图1-a为本申请实施例提供的视频目标的数据关联方法的实现流程示意图；
图1-b为本申请实施例提供的目标对象与目标对象之间遮挡示意图；
图1-c为本申请实施例提供的目标对象A与目标对象B之间遮挡示意图；
图1-d为本申请实施例提供的模糊轨迹片融合框图；
图2为本申请一实施例提供的电子装置结构示意图；
图3为本申请另一实施例提供的电子装置硬件结构示意图。
本发明的最佳实施方式
实施例一
本申请实施例提供一种视频目标的数据关联方法、装置及存储介质，用于视频多目标跟踪的数据关联。
请参阅图1-a，该视频目标的数据关联方法主要包括以下步骤：
101、获取分别目标对象的第一图像特征和观测对象的第二图像特征；
该目标对象为进行目标跟踪的视频中跟踪的标的对象。第一图像特征为目标对象对应的图像特征。
该观测对象为进行目标跟踪的视频中除目标对象外的环境对象，用于与目标对象进行比对分析。第二图像特征为观测对象对应的图像特征。
具体的，在实际应用中，观测对象可以有多个，如，定义观测对象有j个，所述j为大于1的整数。
102、对所述第一图像特征和所述第二图像特征进行N种特征类别的特征相似度计算；
对所述第一图像特征和所述第二图像特征进行N种特征类别的特征相似度计算，得到N组特征相似度结果，所述N为大于1的整数。
在本申请实施例中通过N种特征类别来综合定义目标对象和观测对象之间的特征相似度。其中，特征类别可以为距离、颜色、形状等不同维度的特征。
进一步地，在实际应用中，N具体可以等于7，该7种特征类别分别为：距离、颜色、边缘、文理、形状、运动方向和重叠面积。
103、基于粗糙集的特征相似度对特征相似度结果进行筛选及融合；
基于粗糙集的特征相似度对所述N组特征相似度结果进行筛选，并将筛选后的结果进行融合，得到特征融合结果。
在本申请实施例中，引入了邻域粗糙集的概念，邻域粗糙集是为了解决经典粗糙集无法处理连续型数据问题提出的模型。该模型的邻域根据邻域中心点到边界在某一度量上的最大距离进行定义的，以决策属性对条件属性的依赖度对属性进行约简。
由于相邻目标之间的干扰性是影响目标正确关联的因素之一，因为这些相邻的目标在位置上十分接近，也会因遮挡等因素具有较为相似的外观特征，在关联过程中发生误匹配的可能性较大。因此，如何选取更能区分目标与目标、目标与虚假观测的特征，是视频多目标跟踪的关键。在本申请实施例中，将利用邻域粗糙集对特征进行选取和融合。
在本申请实施例中，选取了N个特征相似度衡量目标和观测之间的相似关系，如果在融合时仅对这些特征线性累加，会影响融合结果的可靠性。因为不是所有的特征都有良好的区分性，可以将目标与观测一一对应。事实上，有些特征还会影响关联的准确度，比如在目标相互遮挡情况时，目标的视觉特征受到影响，但运动方向和重叠面积等特征具有更好地鲁棒性，如果这时候直接将这些特征进行线性融合，可能得到错误的关联结果。对此，我们将利用邻域粗糙集的属性约简能力对目标特征进行选择，根据决策属性对论域的依赖度减少特征个数，实现对有用特征的选取。
104、基于最大熵直觉模糊聚类并根据所述特征融合结果进行关联代价矩阵计算；
基于最大熵直觉模糊聚类，根据所述特征融合结果进行关联代价矩阵计算，得到关联代价矩阵计算结果。
在本申请实施例中，引入了局部信息的最大熵直觉模糊聚类。
局部信息为目标对象的局部信息，本申请实施例利用OSPA距离定义局部信息距离测度，进一步提高目标距离测度的准确性。其中，OSPA是一种目标跟踪系统整体性能评价的一致性度量方法，在系统状态空间上定义一种测度距离，可以用来衡量真实航迹和估计航迹之间的误差大小。
传统的聚类分析是一种硬划分，它把每个待辨别的对象严格地划分到某个类中，这种分类的类别界限是分明的。而本申请实施例所使 用的模糊聚类，是确认待分类样本属于各个类别的不确定性程度，表达了样本类属亦此亦彼的模糊概念。模糊聚类所得到的集合为直觉模糊集，直觉模糊熵用于表示直觉模糊集的不确定程度。
本申请实施例中使用的最大熵原理是一种选择随机变量统计特性最符合客观情况的准则，随机量的概率分布是很难测定的，一般只能测得其各种均值(如数学期望、方差等)或已知某些限定条件下的值(如峰值、取值个数等)，符合测得这些值的分布可有多种、以至无穷多种，通常，其中有一种分布的熵最大。选用这种具有最大熵的分布作为该随机变量的分布，是一种有效的处理方法和准则。
在本申请实施例中，利用最大熵原理，提出了一种新的最大熵直觉模糊聚类方法，用直觉模糊隶属度代替关联概率，本申请实施例所提出方法中的直觉模糊隶属度可以有效地代替关联度对目标和观测进行关联，并且提高关联的准确性。
105、根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联；
根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联，若是，则更新目标模型；若否，则对所述目标对象进行目标轨迹管理。统计视频中目标对象的新起轨迹和终结轨迹，得到所述终结轨迹集以及所述新轨迹集。在实际应用中，需要对所述视频中的目标对象进行多目标跟踪，在进行多目标跟踪的过程中，目标跟踪系统可以得到目标对象的多段终结轨迹以及多段新起轨迹，本申请实施例将该多段终结轨迹以及多段新起轨迹采集为终结轨迹集以及新轨迹集，并对各个终结轨迹和新起轨迹进行轨迹关联。
该目标模型为目标对象所对应的跟踪模型，实时记录目标对象的跟踪状态。所述目标模型中可以更新维护目标对象的位置、颜色、纹理特征等信息。
106、根据所述终结轨迹集以及所述新轨迹集进行模糊轨迹关联。
S1获取视频中的终结轨迹集以及新轨迹集，并确定所述终结轨迹集与所述新轨迹集的模糊可信度矩阵；S2对于所述终结轨迹集中的终结轨迹i以及所述新轨迹集中第n时刻的新轨迹j *：根据所述模糊可信度矩阵确定所述终结轨迹i与所述新轨迹j *之间的最大相识度；若所述最大相识度大于或等于可信度阈值，则所述终结轨迹i与所述新轨迹j *关联，且所述新轨迹j *不与其它终结轨迹关联；S3当所述终结轨迹i与所述新轨迹j *关联时，若所述终结轨迹i与所述新轨迹j *之间的轨迹质量大于或等于轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j *为同一轨迹；若所述终结轨迹i与所述新轨迹j *之间的轨迹质量小于所述轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j *不是同一轨迹；重复步骤S2与S3，直至所述视频目标数据中所有的轨迹都完成关联。
由上可见，本申请方案通过目标对象与观测对象之间图像特征的相似度计算，得到N组特征相似度结果；然后对N组特征相似度结果进行筛选，并将筛选后的结果进行融合，得到特征融合结果；再基于最大熵直觉模糊聚类，根据所述特征融合结果进行关联代价矩阵计 算，得到关联代价矩阵计算结果；最后根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联；上述方案有以下优点：第一，视频目标的特征属性多样，对于不同时刻不同地点，目标特征的重要性并不一样，对此，本申请方案提出利用邻域粗糙集对特征进行选择，剔除区分度低的特征，提高特征相似度的准确性；第二，引入目标的局部信息，并利用(OSPA，Optimal Sub-patten Assignment，最优次模式分配)距离定义局部信息距离测度，进一步提高目标距离测度的准确性；第三，利用最大熵原理，提出了一种新的最大熵直觉模糊聚类方法，用直觉模糊隶属度代替关联概率，避免传统概率统计方法的约束，实现关联概率的快速精确计算。
由于漏检或虚警的存在，模糊数据关联也只能处理短时间无观测情况的跟踪问题。当在长时间遮挡或轨迹长时间没有更新的情况下，目标轨迹会产生断批现象。为此，为解决长时间遮挡情况的目标轨迹的连续跟踪问题，本申请实施例提出了的轨迹管理方法，能够实现连接不同时刻同一目标对象的不同子轨迹。
本发明的实施方式
实施例二
本申请实施例通过具体的公式以及算法流程介绍视频目标的数据关联方法，具体包括：
对本申请实施例所使用到的一些参数概念进行定义，包括：
领域粗糙集
邻域粗糙集是为了解决经典粗糙集无法处理连续型数据问题提出的模型。该模型的邻域根据邻域中心点到边界在某一度量上的最大距离进行定义的，以决策属性对条件属性的依赖度对属性进行约简。
假设在实数空间上定义的有限非空集合U＝{x 1,x 2,…,x n}，D为决策属性，对任意x i∈U，它的δ邻域定义为：
δ(x i)＝{x|x∈U,Δ(x,x i)≤δ}          (1)
其中，Δ(x,x i)为距离函数，本文的距离函数选用为无穷范数距离，定义为：
Δ(x,x i)＝|x-x i|         (2)
决策属性D将论域划分的集合为D U，则D U的上近似、下近似定义为：
Figure PCTCN2019072682-appb-000001
Figure PCTCN2019072682-appb-000002
给定一个信息系统IS＝(U,D,V)，其中U是论域，V是属性值的集合，D是决策属性，
Figure PCTCN2019072682-appb-000003
决策属性D将论域划分的集合为D U，定义决策属性D对论域U的依赖度为：
Figure PCTCN2019072682-appb-000004
其中|·|表示个数。当决策属性D对论域的依赖度越大，表明该决策属性的边界域越小，其决策属性越能将论域区分，反之依赖度低的条件属性在分类时粗糙性和不确定更大，不利于决策。
特征相似度
在本申请实施例中，通过距离、颜色、边缘、文理、形状、运动方向和重叠面积等7个特征来综合计算目标对象o i与观测对象z k之间的相似度，7个特征相似度函数定义如下：
Figure PCTCN2019072682-appb-000005
Figure PCTCN2019072682-appb-000006
Figure PCTCN2019072682-appb-000007
Figure PCTCN2019072682-appb-000008
Figure PCTCN2019072682-appb-000009
Figure PCTCN2019072682-appb-000010
Figure PCTCN2019072682-appb-000011
其中，f 1(o i,z k)为空间距离特征相似性度量函数，f 2(o i,z k)为几何尺寸特征相似性度量函数，f 3(o i,z k)为运动方向特征相似性度量函数，f 4(o i,z k)为颜色特征相似性度量函数，f 5(o i,z k)为梯度方向特征相似性 度量函数，f 6(o i,z k)为文理特征相似性度量函数，f 7(o i,z k)为重叠面积相似性度量函数；(x o,y o)为目标对象o i的中心坐标，(x z,y z)为观测对象z k的中心坐标，h o为目标对象o i的图像高度，
Figure PCTCN2019072682-appb-000012
为空间距离方差常量，h z为观测对象z k的图像高度，
Figure PCTCN2019072682-appb-000013
为几何尺寸方差常量，(x' o,y' o)为上一时刻目标对象o i的中心坐标，
Figure PCTCN2019072682-appb-000014
为上一时刻目标对象o i的速度在图像坐标轴上的投影，
Figure PCTCN2019072682-appb-000015
为运动方向方差常量，ρ(·)表示求巴氏系数，H r(·)表示颜色直方图，
Figure PCTCN2019072682-appb-000016
为颜色直方图方差常量，H g(·)表示分块梯度方向直方图特征，
Figure PCTCN2019072682-appb-000017
为梯度方向方差常量，H l(·)表示文理特征直方图，
Figure PCTCN2019072682-appb-000018
为纹理特征方差常量，w(o i,z k)表示目标对象o i与观测对象z k之间的遮挡度，
Figure PCTCN2019072682-appb-000019
为重叠面积方差常量。
对于w(o i,z k)的定义如下：图1-b为本发明不同目标对象的预测结果之间遮挡示意图。如图1-b所示，在当前视频帧中，预测结果A和预测结果B的跟踪图标形状均为矩形，且二者之间有重叠，且预测结果A的参数表述为：[x,y,w,d]，其中，x,y表示矩形框的坐标，w表示矩形框宽度，d表示矩形框的高度，且预测结果B的参数表述为：[x′,y′,w′,h′]，其中，x′,y′表示矩形框的坐标，w′表示矩形框宽度，h′表示矩形框的高度，预测结果A和预测结果B之间阴影部分表示为：[x o,y o,w o,h o]，且其重叠部分表示为：
Figure PCTCN2019072682-appb-000020
由此可知，预测结果A和预测结果B之间重叠部分的面积表示为w o*h o。若上述的w o、h o不满足w o>0或者h o>0，则两跟踪矩形框之间不构成重叠矩形，也即重叠矩形面积为0。
假设预测结果A与预测结果B发生如图2所示的遮挡，且两跟踪矩形框之间重叠的阴影部分表示遮挡区域，则定义二者之间的遮挡度为：
Figure PCTCN2019072682-appb-000021
其中，s(·)表示区域面积，且遮挡度满足0≤w(A,B)≤1。当w(A,B)大于0，则说明预测结果A与预测结果B之间发生遮挡。且进一步由分别代表预测结果A与预测结果B的两跟踪矩形框底部的纵向图像坐标值y A与y B可知，若y A>y B，则说明预测结果B被预测结果A遮挡，反之，则说明预测结果A被预测结果B遮挡。
特征筛选
本发明实施例利用邻域粗糙集的属性约简能力对目标对象的图像特征进行选择，根据决策属性对论域的依赖度减少特征个数，实现对有用特征的选取。对于特征f n(n＝1,2,...7)的选择方法具体如下：
1)计算目标对象o i和所有观测对象z对于特征f n的相似度，将其作为论域U n。
2)决策属性D n的下近似定义为
Figure PCTCN2019072682-appb-000022
为所有相似度f n大于τ cf的观测对象的集合
Figure PCTCN2019072682-appb-000023
然后利用式(5)计算特征f n的决策属性对论域U n的依赖度γ n。
3)当特征的依赖度γ n≥τ cf时，特征为有效特征，可以进行后面的融合。
决策属性对论域的依赖度越大，表明该条件属性更有利于决策属性进行决策，决策D的下近似越大，则边界域越小，该特征能够更好地将目标对象对应的观测对象和其他观测对象中区分开来。本文中阈值τ cf和δ经过试验分别设置为0.7和0.1。
通过邻域粗糙集剔除掉一些不具有区分性的特征后，再对剩下的特征进行融合。本文采用相似度融合的方法进行多特征融合。假设目标对象o i与观测对象z k由n个特征描述，第i种特征的相似度为f i(o i,z k)，则该特征的权值和融合方式如下：
Figure PCTCN2019072682-appb-000024
Figure PCTCN2019072682-appb-000025
引入局部信息的最大熵直觉模糊聚类
假设t-1时刻的目标对象的集合为
Figure PCTCN2019072682-appb-000026
根据Kalman滤波器可以预测其在t时刻目标对象的集合为
Figure PCTCN2019072682-appb-000027
t时刻的观测对象为
Figure PCTCN2019072682-appb-000028
以目标对象的预测位置作为聚类中心，提出的加入局部信息的最大熵直觉模糊聚类方法的目标函数如下：
Figure PCTCN2019072682-appb-000029
其中，μ ik表示观测对象
Figure PCTCN2019072682-appb-000030
和聚类中心
Figure PCTCN2019072682-appb-000031
之间的模糊隶属度，
Figure PCTCN2019072682-appb-000032
表示观测对象
Figure PCTCN2019072682-appb-000033
和聚类中心
Figure PCTCN2019072682-appb-000034
之间的距离。
Figure PCTCN2019072682-appb-000035
表示观测对象与聚类中心之间的局部信息距离测度，ω ik为局部信息的权值。其中，
目标优化函数为：
Figure PCTCN2019072682-appb-000036
其中α k∈[0.40.6]通常被称为差异因子。
利用拉格朗日乘子法，优化可得模糊隶属度μ ik为：
Figure PCTCN2019072682-appb-000037
为了结合直觉模糊特性，将隶属度函数由传统的模糊集扩展为直觉模糊集，通过引入直觉指数来修正隶属度函数，定义成新的直觉模糊隶属度：
Figure PCTCN2019072682-appb-000038
其中，
Figure PCTCN2019072682-appb-000039
为新的直觉模糊隶属度，
Figure PCTCN2019072682-appb-000040
表示直觉指数π ik上隐含的隶属度比重，π ik由式(14)给出。相应的直觉指数表示为：
Figure PCTCN2019072682-appb-000041
其中，φ为一个正常数。取值范围为[0.40.8]。
对直觉模糊隶属度进行归一化，得到最终的直觉模糊隶属度：
Figure PCTCN2019072682-appb-000042
局部信息距离测度的近似计算
根据提出的模糊聚类方法，现在我们的主要问题就是解决距离
Figure PCTCN2019072682-appb-000043
和局部信息距离测度
Figure PCTCN2019072682-appb-000044
的计算。根据前面式(6)定义的特征相似度，目标对象和观测对象之间的距离用特征融合的相似度衡量。t时刻的观测对象
Figure PCTCN2019072682-appb-000045
和聚类中心
Figure PCTCN2019072682-appb-000046
之间的距离
Figure PCTCN2019072682-appb-000047
可以定义为：
Figure PCTCN2019072682-appb-000048
为了引入目标对象的局部信息，定义如下的目标对象o i的参考拓扑集：
Figure PCTCN2019072682-appb-000049
其中w(o i,o j)为目标对象o i与目标对象o j之间的重叠比例。参考拓扑集以与目标对象o i发生遮挡的邻近目标对象作为查询，并检索与其满足一定遮挡度的邻近目标对象形成该目标对象的参考拓扑集。同理，可以定义观测对象z k的参考拓扑集：
Figure PCTCN2019072682-appb-000050
其中，
Figure PCTCN2019072682-appb-000051
和
Figure PCTCN2019072682-appb-000052
分别表示目标对象和观测对象的参考拓扑集合的元素个数。
于是，可以利用OSPA距离计算目标对象与观测对象的参考拓扑集的距离
Figure PCTCN2019072682-appb-000053
OSPA距离同时考虑了集合的数目和集合之间的距离两个因素，对于目标对象o i和观测对象z k的参考拓扑集的OSPA距离如下：
Figure PCTCN2019072682-appb-000054
其中 c是对未配对上的惩罚项，q h数目表示目标对象参考集与参考拓扑集成功配对数目，定义为：
Figure PCTCN2019072682-appb-000055
其中h kl定义为：
Figure PCTCN2019072682-appb-000056
当两个参考拓扑集中的
Figure PCTCN2019072682-appb-000057
和
Figure PCTCN2019072682-appb-000058
质心距离最小，且符合||(x o,y o)-(x z,y z)|| 2≤T时，两个拓扑集中的元素配对成功。
故
Figure PCTCN2019072682-appb-000059
表示配对的数目和不配对数目之和，
Figure PCTCN2019072682-appb-000060
表示配 对不成功的数目，
Figure PCTCN2019072682-appb-000061
为参考拓扑集上
Figure PCTCN2019072682-appb-000062
元素质心之间的距离，定义为：
Figure PCTCN2019072682-appb-000063
其中
Figure PCTCN2019072682-appb-000064
和
Figure PCTCN2019072682-appb-000065
分别表示目标对象o i的参考拓扑集
Figure PCTCN2019072682-appb-000066
上第l个元素的质心坐标和观测对象z k的参考拓扑集
Figure PCTCN2019072682-appb-000067
上第r个元素的质心坐标，
Figure PCTCN2019072682-appb-000068
为空间距离方差常量，
Figure PCTCN2019072682-appb-000069
为重叠面积方差常量。
如图1-c所示，目标对象1的参考拓扑集为目标对象2，在第33帧时，目标对象1因被目标对象2严重遮挡，导致它失去大部分外观信息，但它的参考拓扑集的信息保存较为完整，所以可以利用目标对象与观测对象的参考拓扑集之间的距离
Figure PCTCN2019072682-appb-000070
进行关联。
考虑相邻目标对目标对象o i局部信息权值ω ik的影响，ω ik定义为：
Figure PCTCN2019072682-appb-000071
其中N i表示目标对象附近的目标对象个数，其含义为与目标对象o i的遮挡度大于指定阈值w(i,j)>τ 1的邻近目标对象o j个数，N i(j)表示目标对象i的邻近目标对象对其的影响因子，定义为：
Figure PCTCN2019072682-appb-000072
其中w(i,j)表示目标对象与其他目标对象的遮挡度，当目标对象与其他邻近目标对象超过遮挡度特定阈值τ 2(0<τ 1<τ 2)时，表示该目标对象受到邻近目标对象较严重的遮挡的影响，在本文中将τ 1、τ 2设置为τ 1＝0.1，τ 2＝0.6。
模糊轨迹关联
当在长时间遮挡或轨迹长时间没有更新的情况下，目标轨迹会产生断批现象。为此，为解决长时间遮挡情况的目标轨迹的连续跟踪问题，本申请实施例给出了一种基于模糊综合函数的轨迹关联方法，用于连接不同时刻同一目标的不同子轨迹。具体如图1-d所示。
首先，基于模糊综合函数的可信度矩阵构建
假设第t帧，
Figure PCTCN2019072682-appb-000073
表示已终结轨迹集，
Figure PCTCN2019072682-appb-000074
表示新轨迹集，其中，
Figure PCTCN2019072682-appb-000075
和
Figure PCTCN2019072682-appb-000076
分别表示已终结轨迹数和新轨迹数，l 0,i表示轨迹i终结的时刻，l 1,j表示新轨迹j的起始时间，如果l 1,j＝t，则新轨迹
Figure PCTCN2019072682-appb-000077
为一个新的为被关联的观测对象。设U t＝{μ ij}为
Figure PCTCN2019072682-appb-000078
可信度矩阵,μ ij表示轨迹i和新轨迹j的模糊综合相似度。
为了计算相似度μ ij，距离、颜色、边缘、文理、形状、运动方向和重叠面积等7个特征被引入来综合计算轨迹和目标对象的相似度。距离特征相似度f 1(i,j)、颜色特征相似度f 2(i,j)、边缘特征相似度f 3(i,j)、文理特征相似度f 4(i,j)、形状特征相似度f 5(i,j)、运动方向特征相似度f 6(i,j)和重叠面积特征相似度f 7(i,j)分别定义如下：
Figure PCTCN2019072682-appb-000079
其中，(x i,y i)为目标对象i的中心坐标，(x j,y j)为目标对象j的中心坐标，h i为目标对象j的图像高度，
Figure PCTCN2019072682-appb-000080
为空间距离方差常量，h j为目标对象j的图像高度，
Figure PCTCN2019072682-appb-000081
为几何尺寸方差常量，(x′ i,y′ i)为上一时刻目标对象i的中心坐标，
Figure PCTCN2019072682-appb-000082
为上一时刻目标对象i的速度在图像坐标轴上的投影，
Figure PCTCN2019072682-appb-000083
为运动方向方差常量，ρ(·)表示求巴氏系数，H r(·)表示颜色直方图，
Figure PCTCN2019072682-appb-000084
为运动方向方差常量，H g(·)表示分块梯度方向直方图特征，
Figure PCTCN2019072682-appb-000085
为梯度方向方差常量，H l(·)表示文理特征直方图，
Figure PCTCN2019072682-appb-000086
为纹理特征方差常量，w(i,j)表示目标对象i与观测对象j之间的遮挡度，
Figure PCTCN2019072682-appb-000087
为重叠面积方差常量。
根据式(17-21)定义的相似度，相似度矢量Λ t(i,j)定义如下：
Figure PCTCN2019072682-appb-000088
其中，Λ t(i,j)∈[0,1] 7,
Figure PCTCN2019072682-appb-000089
分别表示在第t时刻，终结轨迹i和新轨迹j的距离、颜色、边缘、文理、形状、运动方向和重叠面积等特征的平均相似度，分别定义如下：
Figure PCTCN2019072682-appb-000090
Figure PCTCN2019072682-appb-000091
Figure PCTCN2019072682-appb-000092
Figure PCTCN2019072682-appb-000093
Figure PCTCN2019072682-appb-000094
Figure PCTCN2019072682-appb-000095
Figure PCTCN2019072682-appb-000096
κ＝t-l 1,j+3
其中
Figure PCTCN2019072682-appb-000097
和
Figure PCTCN2019072682-appb-000098
表示在第m时刻终结轨迹i和第n时刻新轨迹j之间的距离、颜色、边缘、文理、形状、运动方向和重叠面积等特征的相似度。
基于上述相似度定义，基于模糊综合函数的相似度模型定义如下：
Figure PCTCN2019072682-appb-000099
其中∧表示取大操作,表示取小操作。于是模糊相似度μ ij可以定义为：
Figure PCTCN2019072682-appb-000100
其次，关联规则
为了解决复杂环境下的多目标关联，定义终结轨迹i和第n时刻新轨迹j之间最大相似度和轨迹质量
Figure PCTCN2019072682-appb-000101
如下：
Figure PCTCN2019072682-appb-000102
Figure PCTCN2019072682-appb-000103
如果
Figure PCTCN2019072682-appb-000104
则终结轨迹i与新航迹j *关联，同时新轨迹j *不再与其它终结轨迹进行关联，其中，ε表示可信度阈值，本专利中0.5≤ε≤1。
如果
Figure PCTCN2019072682-appb-000105
则认为终结轨迹i与新轨迹j *为同一轨迹，同时，采用线性插值的方法连接终结轨迹i与新轨迹j *，并将新轨迹的轨迹号(ID)变成终结轨迹的轨迹号(ID)。最后，终结轨迹i被恢复成已存在轨迹i。
以下通过步骤流程对本申请实施例中的视频目标的数据关联方法进行说明，包括：
步骤一、利用混合高斯检测方法对第t帧图像进行检测；
利用混合高斯检测方法对第t帧图像进行检测，得到观测对象集
Figure PCTCN2019072682-appb-000106
并假设当前有目标对象集
Figure PCTCN2019072682-appb-000107
本申请实施例需要对目标对象的状态预测，根据目标对象的前一帧状态
Figure PCTCN2019072682-appb-000108
利用卡尔曼滤波方法预测下一帧目标对象的位置，得到目标对象的预测状态
Figure PCTCN2019072682-appb-000109
步骤二、获取第t帧图像中目标对象和观测对象的图像特征，并进行根据邻域粗糙集进行筛选；
根据邻域粗糙集进行筛选筛选具体为：
a)计算目标对象
Figure PCTCN2019072682-appb-000110
和所有观测对象
Figure PCTCN2019072682-appb-000111
对于特征f n的相似度，将其作为论域U n；
b)决策属性D n的下近似定义为
Figure PCTCN2019072682-appb-000112
为所有相似度f n大于τ cf的观测对象的集合
Figure PCTCN2019072682-appb-000113
然后利用公式(5)计算特征f n的决策属性对论域U n的依赖度γ n；
c)当特征f n的依赖度γ n≥τ cf时，特征f n为有效特征，可以进行后面的融合。
步骤三、对筛选后的特征进行多特征融合距离的计算；
根据上一步计算的特征相似度f n，利用式公(10)计算目标对象的集合
Figure PCTCN2019072682-appb-000114
和观测对象的集合
Figure PCTCN2019072682-appb-000115
的多特征融合的相似度
Figure PCTCN2019072682-appb-000116
利用式(17)求目标对象与观测对象的多特征融合距离
Figure PCTCN2019072682-appb-000117
步骤四、计算目标对象和观测对象之间的参考拓扑集距离；
根据上述得到的多特征融合距离
Figure PCTCN2019072682-appb-000118
分别计算目标对象集合
Figure PCTCN2019072682-appb-000119
和观测对象集合
Figure PCTCN2019072682-appb-000120
的参考拓扑集，利用公式(20)求目标对象的参考拓扑集和观测对象的参考拓扑集之间的距离
Figure PCTCN2019072682-appb-000121
步骤五、计算目标对象与观测对象的直觉模糊隶属度；
根据目标对象和观测对象之间的参考拓扑集距离，以及公式(16)求得计算归一化后目标对象与观测对象的直觉模糊隶属度
Figure PCTCN2019072682-appb-000122
步骤六、根据目标对象与观测对象的直觉模糊隶属度，构建关联代价矩阵对目标对象进行关联。
根据目标对象与观测对象的直觉模糊隶属度，构建关联代价矩阵。
对于t时刻的目标对象O t和观测对象Z t，计算每一对
Figure PCTCN2019072682-appb-000123
的直觉模糊隶属度
Figure PCTCN2019072682-appb-000124
来构建关联代价矩阵S：
Figure PCTCN2019072682-appb-000125
本文中τ a设置为τ a＝0.6。利用得到的关联代价矩阵S，依照最大关联度对视频帧的目标对象和观测对象进行关联，其具体步骤如下：
a)从关联代价矩阵S找到最大的隶属度值
Figure PCTCN2019072682-appb-000126
当s pq≥τ a时，当将其所在的行和列对应的目标对象p和观测对象q关联，同时将该行该列的其他元素置0。
b)重复前一步骤，直到s pq<τ a时，找到所有满足条件的关联对后，停止关联。
若目标对象关联成功，则利用Kalman滤波对已关联目标对象进行状态更新；对未关联目标对象进行外推预测，以维持目标对象航迹；对于未关联观测对象可直接作为新轨迹起始目标点。
步骤七、对视频中的轨迹进行模糊轨迹关联。
若目标对象关联不成功，对所述目标对象进行目标轨迹管理，其具体步骤如下：
a)假设第k帧，
Figure PCTCN2019072682-appb-000127
表示已终结轨迹集，
Figure PCTCN2019072682-appb-000128
表示新轨迹集，利用(26-36)计算终结轨迹和新轨迹之间的模糊可信度矩阵设
Figure PCTCN2019072682-appb-000129
b)根据可信度矩阵U k，利用公式(37)得到最大可信度的终结轨迹i和新轨迹j *，如果
Figure PCTCN2019072682-appb-000130
则终结轨迹i与新轨迹j *关联，同时新轨迹j *不再与其它终结轨迹进行关联；
c)利用公式(38)计算终结轨迹i与新航迹j *的轨迹质量
Figure PCTCN2019072682-appb-000131
如果
Figure PCTCN2019072682-appb-000132
则认为终结轨迹i与新轨迹j *为同一轨迹，同时，采用线性插值的方法连接终结轨迹i与新轨迹j *，并将新轨迹的轨迹号(ID)变成终结轨迹的轨迹号(ID)。最后，终结轨迹i被恢复成已存在轨迹i。
d)重复步骤b)-c)，直到关联完为止。
在终结轨迹集
Figure PCTCN2019072682-appb-000133
中，对超过70帧没有更新的终结轨迹予以剔除，不再进行更新。
实施例三
请参阅图2，为本申请实施例提供一种电子装置。该电子装置可用于实现上述图1-a所示实施例提供的视频目标的数据关联方法。如图2所示，该电子装置主要包括：
获取单元210，用于获取分别目标对象的第一图像特征和观测对象的第二图像特征；
相似度计算单元220，用于对所述第一图像特征和所述第二图像特征进行N种特征类别的特征相似度计算，得到N组特征相似度结果，所述N为大于1的整数；
特征融合单元230，用于基于粗糙集的特征相似度对所述N组特征相似度结果进行筛选，并将筛选后的结果进行融合，得到特征融合结果；
关联计算单元240，用于基于最大熵直觉模糊聚类，根据所述特征融合结果进行关联代价矩阵计算，得到关联代价矩阵计算结果；
轨迹关联单元250，用于根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联，若否，则对所述目标对象进行目标轨迹管理，统计视频中目标对象的新起轨迹和终结轨迹，得到所述终结轨迹集以及所述新轨迹集；根据所述终结轨迹集以及所述新轨迹集进行模糊轨迹关联，包括：S1获取视频中的终结轨迹集以及新轨迹集，并确定所述终结轨迹集与所述新轨迹集的模糊可信度矩阵；S2对于所述终结轨迹集中的终结轨迹i以及所述新轨迹集中第n时刻的新轨迹j *：根据所述模糊可信度矩阵确定所述终结轨迹i与所述新轨迹j *之间的最大相识度；若所述最大相识度大于或等于可信度阈值，则所述终结轨迹i与所述新轨迹j *关联，且所述新轨迹j *不与其它终 结轨迹关联；S3当所述终结轨迹i与所述新轨迹j *关联时，若所述终结轨迹i与所述新轨迹j *之间的轨迹质量大于或等于轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j *为同一轨迹；若所述终结轨迹i与所述新轨迹j *之间的轨迹质量小于所述轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j *不是同一轨迹；重复步骤S2与S3，直至所述视频目标数据中所有的轨迹都完成关联。
需要说明的是，以上图2示例的电子装置的实施方式中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，例如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成，即将电子装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。而且，在实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成。本说明书提供的各个实施例都可应用上述描述原则，以下不再赘述。
本实施例提供的电子装置中各功能模块实现各自功能的具体过程，请参见上述图1-a所示实施例中描述的具体内容，此处不再赘述。
实施例四
本申请实施例提供一种电子装置，请参阅图3，该电子装置包括：
存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序，处理器302执行该计算机程序时，实现前述图1-a所示实施例中描述的视频目标的数据关联方法。
进一步的，该电子装置还包括：
至少一个输入设备303以及至少一个输出设备304。
上述存储器301、处理器302、输入设备303以及输出设备304，通过总线305连接。
其中，输入设备303具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备304具体可为显示屏。
存储器301可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器301用于存储一组可执行程序代码，处理器302与存储器301耦合。
进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述图3所示实施例中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1-a所示实施例中描述的视频目标的数据关联方法。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分， 实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本申请所提供的视频目标的数据关联方法、装置及存储介质的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (9)

  1. 一种视频目标的数据关联方法，其特征在于，包括：
    获取分别目标对象的第一图像特征和观测对象的第二图像特征；
    对所述第一图像特征和所述第二图像特征进行N种特征类别的特征相似度计算，得到N组特征相似度结果，所述N为大于1的整数；
    基于粗糙集的特征相似度对所述N组特征相似度结果进行筛选，并将筛选后的结果进行融合，得到特征融合结果；
    基于最大熵直觉模糊聚类，根据所述特征融合结果进行关联代价矩阵计算，得到关联代价矩阵计算结果；
    根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联，若否，则对所述目标对象进行目标轨迹管理，统计视频中目标对象的新起轨迹和终结轨迹，得到所述终结轨迹集以及所述新轨迹集；
    根据所述终结轨迹集以及所述新轨迹集进行模糊轨迹关联，包括：S1获取视频中的终结轨迹集以及新轨迹集，并确定所述终结轨迹集与所述新轨迹集的模糊可信度矩阵；S2对于所述终结轨迹集中的终结轨迹i以及所述新轨迹集中第n时刻的新轨迹j *：根据所述模糊可信度矩阵确定所述终结轨迹i与所述新轨迹j *之间的最大相识度；若所述最大相识度大于或等于可信度阈值，则所述终结轨迹i与所述新轨迹j *关联，且所述新轨迹j *不与其它终结轨迹关联；S3当所述终结轨迹i与所述新轨迹j *关联时，若所述终结轨迹i与所述新轨迹j *之间的轨迹质量大于或等于轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j *为同一轨迹；若所述终结轨迹i与所述新轨迹j *之间的轨迹质量小于所述轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j *不是同一轨迹；重复步骤S2与S3，直至所述视频目标数据中所有的轨迹都完成关联。
  2. 根据权利要求1所述的方法，其特征在于，所述确定所述终结轨迹集与所述新轨迹集的模糊可信度矩阵，包括：
    在视频的第t帧，
    Figure PCTCN2019072682-appb-100001
    表示已终结轨迹集，
    Figure PCTCN2019072682-appb-100002
    表示新轨迹集，其中，
    Figure PCTCN2019072682-appb-100003
    和
    Figure PCTCN2019072682-appb-100004
    分别表示已终结轨迹数和新轨迹数，l 0,i表示轨迹i终结的时刻，l 1,j表示新轨迹j的起始时间，如果l 1,j＝t，则新轨迹
    Figure PCTCN2019072682-appb-100005
    为一个新的为被关联的观测轨迹；则
    Figure PCTCN2019072682-appb-100006
    的可信度矩阵为：U t＝{μ ij}；其中，μ ij表示轨迹i和新轨迹j的模糊综合相似度。
  3. 根据权利要求2所述的方法，其特征在于，
    所述根据所述模糊可信度矩阵确定所述终结轨迹i与所述新轨迹j *之间的最大相识度，包括：
    函数
    Figure PCTCN2019072682-appb-100007
    分别表示在第t时刻，终结轨迹i和新轨迹j的距离、颜色、边缘、文理、形状、运动 方向和重叠面积等特征的平均相似度，具体分别为：
    Figure PCTCN2019072682-appb-100008
    Figure PCTCN2019072682-appb-100009
    Figure PCTCN2019072682-appb-100010
    Figure PCTCN2019072682-appb-100011
    Figure PCTCN2019072682-appb-100012
    Figure PCTCN2019072682-appb-100013
    Figure PCTCN2019072682-appb-100014
    其中
    Figure PCTCN2019072682-appb-100015
    和
    Figure PCTCN2019072682-appb-100016
    表示在第m时刻终结轨迹i和第n时刻新轨迹j之间的距离、颜色、边缘、文理、形状、运动方向和重叠面积等特征的相似度，κ＝t-l 1,j+3；
    根据以下公式确定轨迹i和新轨迹j的模糊综合相似度μ ij；
    Figure PCTCN2019072682-appb-100017
    根据以下公式确定所述终结轨迹i与所述新轨迹j *之间的最大相识度：
    Figure PCTCN2019072682-appb-100018
  4. 根据权利要求3所述的方法，其特征在于，所述若所述终结轨迹i与所述新轨迹j *之间的轨迹质量大于或等于轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j *为同一轨迹之前，包括：
    根据以下公式确定所述终结轨迹i与所述新轨迹j *之间的轨迹质
    Figure PCTCN2019072682-appb-100019
  5. 根据权利要求3所述的方法，其特征在于，所述若所述最大相识度大于或等于可信度阈值，则所述终结轨迹i与所述新轨迹j *关 联，包括：
    如果
    Figure PCTCN2019072682-appb-100020
    则终结轨迹i与新航迹j *关联，其中，ε表示可信度阈值，ε的取值范围：0.5≤ε≤1。
  6. 根据权利要求4所述的方法，其特征在于，若所述终结轨迹i与所述新轨迹j *之间的轨迹质量大于或等于轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j *为同一轨迹，包括：
    如果
    Figure PCTCN2019072682-appb-100021
    则认为终结轨迹i与新轨迹j *为同一轨迹，同时，采用线性插值的方法连接终结轨迹i与新轨迹j *，并将新轨迹的轨迹号变成终结轨迹的轨迹号，且终结轨迹i被恢复成已存在轨迹i。
  7. 一种电子装置，其特征在于，包括：
    获取单元，用于获取分别目标对象的第一图像特征和观测对象的第二图像特征；
    相似度计算单元，用于对所述第一图像特征和所述第二图像特征进行N种特征类别的特征相似度计算，得到N组特征相似度结果，所述N为大于1的整数；
    特征融合单元，用于基于粗糙集的特征相似度对所述N组特征相似度结果进行筛选，并将筛选后的结果进行融合，得到特征融合结果；
    关联计算单元，用于基于最大熵直觉模糊聚类，根据所述特征融合结果进行关联代价矩阵计算，得到关联代价矩阵计算结果；
    轨迹关联单元，用于根据所述关联代价矩阵计算结果判断所述目标对象与所述观测对象是否关联，若否，则对所述目标对象进行目标轨迹管理，统计视频中目标对象的新起轨迹和终结轨迹，得到所述终结轨迹集以及所述新轨迹集；根据所述终结轨迹集以及所述新轨迹集进行模糊轨迹关联，包括：S1获取视频中的终结轨迹集以及新轨迹集，并确定所述终结轨迹集与所述新轨迹集的模糊可信度矩阵；S2对于所述终结轨迹集中的终结轨迹i以及所述新轨迹集中第n时刻的新轨迹j *：根据所述模糊可信度矩阵确定所述终结轨迹i与所述新轨迹j *之间的最大相识度；若所述最大相识度大于或等于可信度阈值，则所述终结轨迹i与所述新轨迹j *关联，且所述新轨迹j *不与其它终结轨迹关联；S3当所述终结轨迹i与所述新轨迹j *关联时，若所述终结轨迹i与所述新轨迹j *之间的轨迹质量大于或等于轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j *为同一轨迹；若所述终结轨迹i与所述新轨迹j *之间的轨迹质量小于所述轨迹质量阈值，则确定所述终结轨迹i与所述新轨迹j *不是同一轨迹；重复步骤S2与S3，直至所述视频目标数据中所有的轨迹都完成关联。
  8. 一种电子装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至6中的任意一项所述方法。
  9. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至6中的任意一项所述方法。
PCT/CN2019/072682 2019-01-22 2019-01-22 视频目标的数据关联方法、装置及存储介质 Ceased WO2020150896A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/072682 WO2020150896A1 (zh) 2019-01-22 2019-01-22 视频目标的数据关联方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/072682 WO2020150896A1 (zh) 2019-01-22 2019-01-22 视频目标的数据关联方法、装置及存储介质

Publications (1)

Publication Number Publication Date
WO2020150896A1 true WO2020150896A1 (zh) 2020-07-30

Family

ID=71735955

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/072682 Ceased WO2020150896A1 (zh) 2019-01-22 2019-01-22 视频目标的数据关联方法、装置及存储介质

Country Status (1)

Country Link
WO (1) WO2020150896A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465869A (zh) * 2020-11-30 2021-03-09 杭州海康威视数字技术股份有限公司 一种轨迹关联方法、装置、电子设备及存储介质
CN112651386A (zh) * 2020-10-30 2021-04-13 杭州海康威视系统技术有限公司 一种身份信息的确定方法、装置及设备
CN112765399A (zh) * 2020-12-25 2021-05-07 联想(北京)有限公司 一种视频数据处理方法及电子设备
CN112818173A (zh) * 2021-01-21 2021-05-18 浙江大华技术股份有限公司 关联对象的识别方法、装置及计算机可读存储介质
CN113177470A (zh) * 2021-04-28 2021-07-27 华中科技大学 行人轨迹预测方法、装置、设备及存储介质
CN113627229A (zh) * 2021-05-31 2021-11-09 中国兵器工业计算机应用技术研究所 目标检测方法、系统、设备以及计算机存储介质
CN113674317A (zh) * 2021-08-10 2021-11-19 深圳市捷顺科技实业股份有限公司 一种高位视频的车辆跟踪方法及装置
CN114004876A (zh) * 2021-09-14 2022-02-01 浙江大华技术股份有限公司 一种尺寸标定方法、尺寸标定装置和计算机可读存储介质
CN114171211A (zh) * 2021-12-14 2022-03-11 平安国际智慧城市科技股份有限公司 一种轨迹追踪方法、装置、计算机设备及存储介质
CN114485607A (zh) * 2021-12-02 2022-05-13 陕西欧卡电子智能科技有限公司 一种运动轨迹的确定方法、作业设备、装置、存储介质
CN114814777A (zh) * 2022-06-27 2022-07-29 中国人民解放军32035部队 一种多雷达密集目标的图形匹配关联方法及系统
CN115705780A (zh) * 2021-08-13 2023-02-17 通用汽车环球科技运作有限责任公司 关联被感知和映射的车道边缘以进行定位
CN115908545A (zh) * 2021-11-17 2023-04-04 上海高德威智能交通系统有限公司 一种目标轨迹的生成方法、装置、电子设备及介质
CN116128932A (zh) * 2023-04-18 2023-05-16 无锡学院 一种多目标跟踪方法
CN116228814A (zh) * 2023-01-13 2023-06-06 湖北星纪时代科技有限公司 目标追踪的数据关联方法、电子设备及存储介质
CN116269501A (zh) * 2023-03-17 2023-06-23 中国科学院苏州生物医学工程技术研究所 基于模糊熵的超声成像方法、装置、计算机设备及介质
CN116386085A (zh) * 2023-03-09 2023-07-04 阿维塔科技(重庆)有限公司 一种特征集合扩展方法及介质
CN116721270A (zh) * 2023-08-10 2023-09-08 泰安汉阳电子科技有限公司 一种用于智能水表的数据处理方法
CN116912523A (zh) * 2023-03-03 2023-10-20 中国移动通信有限公司研究院 一种图像相似性检测方法和模型训练方法
CN117933758A (zh) * 2024-02-01 2024-04-26 广东电网有限责任公司广州供电局 一种用电数据约简方法、装置、设备及可读存储介质
CN118505757A (zh) * 2024-07-18 2024-08-16 北京尚优力达科技有限公司 一种低帧率视频流多目标跟踪方法及装置
CN119719832A (zh) * 2025-02-26 2025-03-28 中南大学 一种基于移动目标轨迹的运动模式挖掘方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955947A (zh) * 2014-03-21 2014-07-30 南京邮电大学 一种基于连续最小能量与表观模型的多目标关联跟踪方法
CN107516321A (zh) * 2017-07-04 2017-12-26 深圳大学 一种视频多目标跟踪方法及装置
CN107545582A (zh) * 2017-07-04 2018-01-05 深圳大学 基于模糊逻辑的视频多目标跟踪方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955947A (zh) * 2014-03-21 2014-07-30 南京邮电大学 一种基于连续最小能量与表观模型的多目标关联跟踪方法
CN107516321A (zh) * 2017-07-04 2017-12-26 深圳大学 一种视频多目标跟踪方法及装置
CN107545582A (zh) * 2017-07-04 2018-01-05 深圳大学 基于模糊逻辑的视频多目标跟踪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI, JUN ET AL.: "Online Multiple Target Tracking Algorithm Based on Fuzzy Spatio-Temporal Cues", ACTA ELECTRONICA SINICA, vol. 45, no. 3, 31 March 2017 (2017-03-31), XP055678763, DOI: 20190817172418A *
ZHAN, XIYANG ET AL.: "Online Multi-Object Tracking via maximum entropy Intuitionistic Fuzzy Data Association", 2018 14TH IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING (ICSP), 16 August 2018 (2018-08-16), XP033524355, DOI: 20190817172037 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651386A (zh) * 2020-10-30 2021-04-13 杭州海康威视系统技术有限公司 一种身份信息的确定方法、装置及设备
CN112651386B (zh) * 2020-10-30 2024-02-27 杭州海康威视系统技术有限公司 一种身份信息的确定方法、装置及设备
CN112465869B (zh) * 2020-11-30 2023-09-05 杭州海康威视数字技术股份有限公司 一种轨迹关联方法、装置、电子设备及存储介质
CN112465869A (zh) * 2020-11-30 2021-03-09 杭州海康威视数字技术股份有限公司 一种轨迹关联方法、装置、电子设备及存储介质
CN112765399A (zh) * 2020-12-25 2021-05-07 联想(北京)有限公司 一种视频数据处理方法及电子设备
CN112818173A (zh) * 2021-01-21 2021-05-18 浙江大华技术股份有限公司 关联对象的识别方法、装置及计算机可读存储介质
CN113177470A (zh) * 2021-04-28 2021-07-27 华中科技大学 行人轨迹预测方法、装置、设备及存储介质
CN113627229B (zh) * 2021-05-31 2023-08-25 中国兵器工业计算机应用技术研究所 目标检测方法、系统、设备以及计算机存储介质
CN113627229A (zh) * 2021-05-31 2021-11-09 中国兵器工业计算机应用技术研究所 目标检测方法、系统、设备以及计算机存储介质
CN113674317A (zh) * 2021-08-10 2021-11-19 深圳市捷顺科技实业股份有限公司 一种高位视频的车辆跟踪方法及装置
CN113674317B (zh) * 2021-08-10 2024-04-26 深圳市捷顺科技实业股份有限公司 一种高位视频的车辆跟踪方法及装置
CN115705780A (zh) * 2021-08-13 2023-02-17 通用汽车环球科技运作有限责任公司 关联被感知和映射的车道边缘以进行定位
CN115705780B (zh) * 2021-08-13 2025-03-25 通用汽车环球科技运作有限责任公司 关联被感知和映射的车道边缘以进行定位
CN114004876A (zh) * 2021-09-14 2022-02-01 浙江大华技术股份有限公司 一种尺寸标定方法、尺寸标定装置和计算机可读存储介质
CN115908545A (zh) * 2021-11-17 2023-04-04 上海高德威智能交通系统有限公司 一种目标轨迹的生成方法、装置、电子设备及介质
CN114485607B (zh) * 2021-12-02 2023-11-10 陕西欧卡电子智能科技有限公司 一种运动轨迹的确定方法、作业设备、装置、存储介质
CN114485607A (zh) * 2021-12-02 2022-05-13 陕西欧卡电子智能科技有限公司 一种运动轨迹的确定方法、作业设备、装置、存储介质
CN114171211A (zh) * 2021-12-14 2022-03-11 平安国际智慧城市科技股份有限公司 一种轨迹追踪方法、装置、计算机设备及存储介质
CN114814777A (zh) * 2022-06-27 2022-07-29 中国人民解放军32035部队 一种多雷达密集目标的图形匹配关联方法及系统
CN116228814A (zh) * 2023-01-13 2023-06-06 湖北星纪时代科技有限公司 目标追踪的数据关联方法、电子设备及存储介质
CN116912523A (zh) * 2023-03-03 2023-10-20 中国移动通信有限公司研究院 一种图像相似性检测方法和模型训练方法
CN116386085A (zh) * 2023-03-09 2023-07-04 阿维塔科技(重庆)有限公司 一种特征集合扩展方法及介质
CN116269501A (zh) * 2023-03-17 2023-06-23 中国科学院苏州生物医学工程技术研究所 基于模糊熵的超声成像方法、装置、计算机设备及介质
CN116128932A (zh) * 2023-04-18 2023-05-16 无锡学院 一种多目标跟踪方法
CN116721270B (zh) * 2023-08-10 2023-10-20 泰安汉阳电子科技有限公司 一种用于智能水表的数据处理方法
CN116721270A (zh) * 2023-08-10 2023-09-08 泰安汉阳电子科技有限公司 一种用于智能水表的数据处理方法
CN117933758A (zh) * 2024-02-01 2024-04-26 广东电网有限责任公司广州供电局 一种用电数据约简方法、装置、设备及可读存储介质
CN118505757A (zh) * 2024-07-18 2024-08-16 北京尚优力达科技有限公司 一种低帧率视频流多目标跟踪方法及装置
CN119719832A (zh) * 2025-02-26 2025-03-28 中南大学 一种基于移动目标轨迹的运动模式挖掘方法及相关设备

Similar Documents

Publication Publication Date Title
WO2020150896A1 (zh) 视频目标的数据关联方法、装置及存储介质
CN109859245B (zh) 视频目标的多目标跟踪方法、装置及存储介质
Liu et al. Overview and methods of correlation filter algorithms in object tracking
Hu et al. Single and multiple object tracking using log-Euclidean Riemannian subspace and block-division appearance model
Hsiao et al. Occlusion reasoning for object detectionunder arbitrary viewpoint
Choi et al. A general framework for tracking multiple people from a moving camera
CN108447078B (zh) 基于视觉显著性的干扰感知跟踪算法
CN101800890B (zh) 一种高速公路监控场景下多车辆视频跟踪方法
CN109829405A (zh) 视频目标的数据关联方法、装置及存储介质
CN103632382B (zh) 一种基于压缩感知的实时多尺度目标跟踪方法
CN107423686B (zh) 视频多目标模糊数据关联方法及装置
CN112052802B (zh) 一种基于机器视觉的前方车辆行为识别方法
Hou et al. Human tracking over camera networks: a review
CN107145862A (zh) 一种基于霍夫森林的多特征匹配多目标跟踪方法
WO2017185688A1 (zh) 一种在线目标跟踪方法及装置
WO2018227491A1 (zh) 视频多目标模糊数据关联方法及装置
CN109146925B (zh) 一种动态场景下显著性目标检测方法
Chang et al. Fast Random‐Forest‐Based Human Pose Estimation Using a Multi‐scale and Cascade Approach
Ming et al. Monocular depth-ordering reasoning with occlusion edge detection and couple layers inference
Chan et al. A 3-D-point-cloud system for human-pose estimation
CN106447698A (zh) 一种基于距离传感器的多行人跟踪方法和系统
CN120195652A (zh) 基于毫米波雷达的轻量化ai人员感知方法及系统
WO2025060970A1 (zh) 一种遥感影像变化检测方法
Gu et al. STMT: Spatio-temporal memory transformer for multi-object tracking: S. Gu et al.
Baumgartner et al. Tracking people and their objects

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19911920

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 11.11.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19911920

Country of ref document: EP

Kind code of ref document: A1