WO2023273010A1 - 高空抛物检测方法和装置、设备，及计算机存储介质 - Google Patents

高空抛物检测方法和装置、设备，及计算机存储介质 Download PDF

Info

Publication number
WO2023273010A1
WO2023273010A1 PCT/CN2021/123509 CN2021123509W WO2023273010A1 WO 2023273010 A1 WO2023273010 A1 WO 2023273010A1 CN 2021123509 W CN2021123509 W CN 2021123509W WO 2023273010 A1 WO2023273010 A1 WO 2023273010A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projectile
parabolic
tested
position coordinates
Prior art date
Application number
PCT/CN2021/123509
Other languages
English (en)
French (fr)
Inventor
蔡官熊
方宝乐
刘逸哲
曾星宇
赵瑞
Original Assignee
深圳市商汤科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市商汤科技有限公司 filed Critical 深圳市商汤科技有限公司
Publication of WO2023273010A1 publication Critical patent/WO2023273010A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • High-altitude parabolic detection is an important technology in the intelligent video surveillance system. By analyzing the monitoring video of the building floor, it detects the dropped objects, so as to arm the floors of high-rise buildings in the city and prevent possible high-altitude incidents. Real-time alarm for parabolic events.
  • the traditional high-altitude parabolic detection method can no longer meet the high requirements of high-altitude parabolic detection in terms of speed and accuracy.
  • the foreground binarization process can be performed on the image to be tested, and the non-throwing object image can be filtered based on the ratio of the number of pixels of the foreground moving object in the binarized image, and the throwing object with the object to be tested can be screened out.
  • Object images thereby improving the accuracy and speed of high-altitude detection processing.
  • the determining the coordinate subset of the drop to be measured in any drop image based on the preset clustering algorithm and the initial position coordinate set includes: based on the preset clustering algorithm and the The initial coordinate set classifies the foreground moving objects corresponding to any of the throwing object images, and obtains at least one moving object and a coordinate subset corresponding to any moving object; determines the number of pixels corresponding to any moving object; A target moving object whose number of pixels is greater than a preset number threshold is determined as the projected object to be detected, and a coordinate subset of the target moving object is determined as a coordinate subset of the projected object to be detected.
  • the images of each droplet at least include a first image with a first droplet and a second image with a second droplet, and the first image and the second image are adjacent in acquisition time.
  • Two frames of images of dropped objects before and after; said obtaining the associated position coordinates of said dropped objects to be measured according to the acquisition time and position coordinates of each image of dropped objects includes: according to said first image and said second The acquisition time of the image, the position coordinates of the first projectile and the position coordinates of the second projectile determine the similarity parameter between the first projectile and the second projectile; Perform matching processing on the first drop and the second drop according to the similarity parameter and the budget target matching algorithm to obtain a matching result; obtain the first drop or the second drop according to the matching result Describe the associated position coordinates of the second throwing object.
  • the associated position coordinates at least include the third position coordinates in the third image and the fourth position coordinates in the fourth image of the projectile to be measured respectively, and the third image and the fourth image
  • the preset falling condition is that the difference in abscissa between the third position coordinate and the fourth position coordinate is greater than a preset threshold.
  • the start frame to the end frame corresponding to the high-altitude parabolic event are determined based on the parabolic trajectory segment, and the complete parabolic trajectory of the high-altitude parabolic event is restored based on the position information of the projectile to be measured in the initial frame to the end frame.
  • the acquisition part is configured to acquire the image of the projectile with the projectile to be tested from the image to be tested;
  • the generating part is configured to generate a complete parabolic trajectory of the high-altitude projectile based on the parabolic trajectory segment.
  • Fig. 11 is a schematic diagram of the composition and structure of a high-altitude parabolic detection device proposed by an embodiment of the present disclosure.
  • this disclosure proposes a robust single-frame plus multi-frame post-processing method, which can not only filter single frames with disturbing objects, find out single-frame images with objects to be tested, and remove single-frame false detections, Moreover, based on the target matching algorithm, the location-related information of the projectiles to be tested on multiple frames can be obtained for trajectory judgment and complete trajectory restoration, and the detection of high-altitude parabolic events can be completed quickly and accurately, which further improves the efficiency and accuracy of high-altitude parabolic detection.
  • the high-altitude parabolic detection method proposed in the embodiment of the present disclosure is applied to high-altitude parabolic detection equipment.
  • the following describes the exemplary application of the high-altitude parabolic detection equipment proposed by the embodiments of the present disclosure.
  • the high-altitude parabolic detection equipment proposed by the embodiments of the present disclosure can be implemented as mobile terminals, notebook computers, tablet computers, desktop computers, servers, and various industrial equipment, etc. .
  • the position coordinates of the projectile to be detected in any projectile image may be continuously determined, wherein the projectile to be detected
  • the position coordinates of can be characterized by the position coordinates of the center point of the drop.
  • a clustering method can be introduced to determine the position coordinates of each projectile to be measured in the projectile image.
  • the projectile to be detected may correspond to a set of associated location coordinates.
  • the mathematical morphology open operation method can be used to perform image denoising processing on the foreground binary image, and remove isolated small points, burrs and small bridges of moving objects in the image to obtain a denoised binary image.
  • the structural element SE can be selected, such as:
  • the first drop may refer to a drop in the first image; if there are multiple drop in the first image, the first drop A projectile may refer to multiple different projectiles in the first image; correspondingly, there may be one or more second projectiles.
  • the distance difference (x 1- x 2 ) is greater than the preset distance threshold T m , it can be determined that the first dropped object and the second dropped object in two consecutive frames of dropped object images are not the same Throwing objects; when the distance difference (x 1- x 2 ) is less than or equal to the preset distance threshold T m , it can be determined that there is a certain distance between the first and second throwing objects in two consecutive frames of throwing object images. It may be the same throwing object, then the similarity parameter between the first throwing object and the second throwing object can be constructed based on the position coordinates of the first throwing object and the second throwing object ,as follows:
  • the distance calculation can be performed based on the position coordinates of any pair of dropped objects between the two frames of parabolic images, and then the two frames can be determined. Similarity parameter between two dropped objects.
  • the parabolic event corresponding to the projectile to be measured is not a true high-altitude parabolic event, it may be similar to a person passing an object by hand, or lifting an object over his head, such as an event where a person stands at a window To eat an apple, pick up the apple with your hand, put it on your mouth, bite your hand and then put it down. Therefore, the angle between the fitted line and the vertical direction of the motion trajectory segment can be calculated. Throwing objects, and one of the judging factors of whether the motion track segment of the dropped object to be tested is the parabolic track segment of the high-altitude parabolic event.
  • a real high-altitude parabolic event must have a certain height range. Since there is a certain height range, the length of the trajectory of the projectile to be measured must also exceed a certain length range. Therefore, it is possible to determine the length of the trajectory segment of the projectile to be measured, and the length of the trajectory segment can also be used as whether the projectile to be measured is a high-altitude projectile, and whether the segment of the trajectory of the projectile to be measured is One of the factors for judging the parabolic trajectory segment of a high-altitude parabolic event.
  • the projectile in a falling state and the parabolic trajectory is a parabolic state, that is to say, the coordinate x value of the projectile to be measured in the current frame when falling should be It is larger than the coordinate x value of the last frame, the last two frames, or even the start frame.
  • the trajectory segment corresponding to the projectile is not a parabolic trajectory segment of a high-altitude parabolic event; or in the case that the drop percentage corresponding to the trajectory segment is greater than the preset percentage threshold, it is determined that the projectile to be tested is not a projectile from a high altitude, and the subject to be tested
  • the trajectory segment corresponding to the falling object is not the parabolic trajectory segment of the high-altitude parabolic event.
  • the start frame to the end frame corresponding to the high-altitude parabolic event are determined based on the event detection, and the complete parabolic trajectory of the high-altitude parabolic event is calculated based on the position information of the projected drop from the start frame to the end frame reduction.
  • FIG. 10 is a schematic diagram of the composition and structure of the high-altitude parabolic detection device proposed by the embodiment of the present disclosure.
  • the high-altitude parabolic detection device 10 includes an acquisition part 11 , the determining part 12 and the generating part 13.
  • the generating part 13 is configured to generate a motion trajectory segment of the projectile to be measured based on the associated position coordinates
  • the acquisition part 11 is configured to, for any image to be tested, generate a binary image corresponding to any image to be tested; wherein, the binary image includes the foreground motion of the first pixel value The object and the background non-moving object of the second pixel value; and in response to the pixel ratio of the foreground moving object in the binary image being greater than a preset ratio threshold, it is determined that the The drop is to be detected, and any image to be tested is determined as the image of the drop.
  • the determining part 12 is configured to, for any projectile image, acquire a set of initial position coordinates of the foreground moving object corresponding to the any projectile image in the corresponding binary image; Assume that the clustering algorithm and the set of initial position coordinates determine the coordinate subset of the drop to be measured in any image of the drop; and calculate the coordinate average corresponding to the subset of coordinates of the drop to be measured value, and determine the average value of the coordinates as the position coordinates of the projectile to be measured.
  • each droplet image includes at least a first image where a first droplet exists and a second image where a second droplet exists, and the first image and the second image are acquisition time phases.
  • the acquiring part 11 is configured to, according to the acquisition time of the first image and the second image, the position coordinates of the first dropped object, and the second dropped object The position coordinates of the falling object, determining the similarity parameter between the first falling object and the second falling object;
  • this disclosure proposes a robust single-frame plus multi-frame post-processing method, which can not only filter single frames with disturbing objects, find out single-frame images with objects to be tested, and remove single-frame false detections, Moreover, based on the target matching algorithm, the location-related information of the projectiles to be tested on multiple frames can be obtained for trajectory judgment and complete trajectory restoration, and the detection of high-altitude parabolic events can be completed quickly and accurately, which further improves the efficiency and accuracy of high-altitude parabolic detection.
  • the program instructions corresponding to a high-altitude parabolic detection method in this embodiment can be stored on a storage medium such as an optical disc, a hard disk, and a USB flash drive.
  • a storage medium such as an optical disc, a hard disk, and a USB flash drive.
  • the embodiments of the present disclosure may be provided as methods, systems, or computer program products. Accordingly, the present disclosure may take the form of a hardware embodiment, a software embodiment, or an embodiment combining software and hardware aspects. Furthermore, the present disclosure may take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, optical storage, etc.) having computer-usable program code embodied therein.
  • a computer-usable storage media including but not limited to disk storage, optical storage, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种高空抛物检测方法和装置、设备，及计算机存储介质，包括：从待测图像中获取存在待测抛落物的抛落物图像，并确定各抛落物图像中待测抛落物的位置坐标；根据各抛落物图像的采集时间和各位置坐标，获取待测抛落物的关联位置坐标，并基于关联位置坐标生成待测抛落物的运动轨迹片段；响应于运动轨迹片段满足预设高空抛物条件，将待测抛落物确定为高空抛落物，并将运动轨迹片段确定为高空抛物事件的抛物轨迹片段；基于抛物轨迹片段生成高空抛落物的完整抛物轨迹。

Description

高空抛物检测方法和装置、设备，及计算机存储介质
相关申请的交叉引用
本公开基于申请号为202110729527.8、申请日为2021年06月29日、申请名称为“高空抛物检测方法和装置、设备及计算机存储介质”的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本公开作为参考。
技术领域
本公开涉及计算机视觉领域，尤其涉及一种高空抛物检测方法和装置、设备，计算机存储介质。
背景技术
近年来，随着城镇化率的提升，高楼越来越多，高空抛物带来的危险也越来越被重视。高空抛物检测作为智能视频监控系统中的一项重要技术，通过对建筑物楼面监控视频进行分析，检测抛落物，以实现在对城市高层建筑物的楼面进行布防，对可能出现的高空抛物事件进行实时报警。目前，伴随着高空抛物检测在社会安全方面的重要地位，传统的高空抛物检测方法已无法满足高空抛物检测在速度和精度上的高要求。
发明内容
本公开实施例提供提供一种高空抛物检测方法和装置、设备，及计算机存储介质。
本公开的技术方案是这样实现的：
本公开实施例提供一种高空抛物检测方法，所述方法包括：
从待测图像中获取存在待测抛落物的抛落物图像，并确定各抛落物图像中待测抛落物的位置坐标；根据各抛落物图像的采集时间和各位置坐标，获取所述待测抛落物的关联位置坐标，并基于所述关联位置坐标生成所述待测抛落物的运动轨迹片段；响应于所述运动轨迹片段满足预设高空抛物条件，将所述待测抛落物确定为高空抛落物，并将所述运动轨迹片段确定为高空抛物事件的抛物轨迹片段；基于所述抛物轨迹片段生成所述高空抛落物的完整抛物轨迹。
这样，不仅可以对存在干扰物的单帧进行过滤，找出存在待测抛落物的单帧抛落物图像，去除单帧误检，而且结合多帧上的待测抛落物的位置关联信息进行轨迹判断和复原，有效完成高空抛物事件检测，进一步提高了高空抛物检测的效率和精度。
上述方法中，所述从待测图像中获取存在待测抛落物的抛落物图像，包括：对于任一待测图像，生成所述任一待测图像对应的二值图像；其中，所述二值图像包括第一像素值的前景运动物体和第二像素值的背景非运动物体；响应于所述前景运动物体在所述二值图像中的像素占比大于第一预设占比阈值，确定所述任一待测图像中存在所述待测抛落物，并确定所述任一待测图像为所述抛落物图像。
上述方法中，所述生成所述任一待测图像对应的二值图像，包括：将所述任一待测图像输入高斯混合模型，得到所述任一待测图像对应的初始二值图像；对所述初始二值图像进行图像去噪处理，得到所述任一待测图像对应的去噪后二值图像；对所述去噪后二值图像进行图像修补处理，得到所述任一待测图像对应的所述二值图像。
这样，可以通过对待测图像进行前景二值化处理，并基于前景运动物体在二值化图像中的像素数目占比对非抛落物图像进行过滤，筛选出存在待测抛落物的抛落物图像，从而提高高空检测处理的精度和速度。
上述方法中，所述确定各抛落物图像中的待测抛落物的位置坐标，包括：对于任一抛 落物图像，获取所述任一抛落物图像对应的前景运动物体在对应二值图像中的初始位置坐标集合；基于预设聚类算法和所述初始位置坐标集合确定所述任一抛落物图像中所述待测抛落物的坐标子集；计算所述待测抛落物的坐标子集对应的坐标平均值，并将所述坐标平均值确定为所述待测抛落物的所述位置坐标。
上述方法中，所述基于预设聚类算法和所述初始位置坐标集合确定任一抛落物图像中所述待测抛落物的坐标子集，包括：基于预设聚类算法和所述初始坐标集合对所述任一抛落物图像对应的前景运动物体进行分类处理，得到至少一个运动物体和任一运动物体对应的坐标子集；确定任一运动物体对应的像素数目；将所述像素数目大于预设数目阈值的目标运动物体确定为所述待测抛落物，将所述目标运动物体的坐标子集确定为所述待测抛落物的坐标子集。
这样，通过密度聚类算法，取像素数目大于预设阈值的类簇作为待测抛落物位置，能够对图像中面积过小的非抛落物的其他干扰物进行有效过滤，提高高空抛物检测的精度。
上述方法中，所述各抛落物图像至少包括存在第一抛落物的第一图像和存在第二抛落物的第二图像，所述第一图像和第二图像为采集时间相邻的前后两帧抛落物图像；所述根据各抛落物图像的采集时间和各位置坐标，获取所述待测抛落物的关联位置坐标，包括：根据所述第一图像和所述第二图像的采集时间、所述第一抛落物的位置坐标和所述第二抛落物的位置坐标，确定所述第一抛落物和所述第二抛落物之间的相似度参数；根据所述相似度参数和预算目标匹配算法对所述第一抛落物和所述第二抛落物进行匹配处理，得到匹配结果；根据所述匹配结果获取所述第一抛落物或所述第二抛落物的关联位置坐标。
这样，通过图像采集时间和待测抛落物的位置坐标进行前后帧待测抛落物的跟踪匹配，能够获得待测抛落物在多帧抛落物图像上的关联信息，以生成用于进行轨迹复原的待测抛落物的轨迹片段。
上述方法中，所述基于所述关联位置坐标生成所述待测抛落物的运动轨迹片段之后，且响应于所述运动轨迹片段满足预设高空抛物条件之前，所述方法还包括：确定所述运动轨迹片段对应的拟合后直线与竖直方向的夹角、所述运动轨迹片段的长度、所述关联位置坐标中满足预设下落条件的位置坐标对应的下落百分比；响应于所述夹角小于预设角度阈值、所述长度大于预设长度阈值且所述下落百分比大于预设百分比阈值，确定所述运动轨迹片段满足所述预设高空抛物条件。
上述方法中，所述关联位置坐标中至少包含所述待测抛落物分别在第三图像中的第三位置坐标和第四图像中的第四位置坐标，所述第三图像和第四图像为采集时间相邻的前后两帧抛落物图像，所述预设下落条件为所述第三位置坐标与所述第四位置坐标之间的横坐标差值大于预设阈值。
这样，在进行轨迹复原之前可以对生成的待测抛落物的轨迹片段进行判断，过滤掉不属于高空抛物事件的轨迹片段，筛选出满足高空抛物条件的高空抛物轨迹片段，以快速且准确的进行高空抛物轨迹的恢复。
上述方法中，基于所述抛物轨迹片段生成所述高空抛落物的完整抛物轨迹，包括：基于所述抛物轨迹片段确定所述高空抛物事件的起始抛落物图像至结束抛落物图像；对所述起始抛落物图像至结束抛落物图像中的各抛落物图像中，所述待测抛落物的各关联位置坐标按照图像采集时间进行插值处理，得到所述完整抛物轨迹。
这样，基于抛物轨迹片段确定出高空抛物事件对应的起始帧至结束帧，并基于起始帧至结束帧中待测抛落物的位置信息对高空抛物事件的完整抛物轨迹进行还原。
上述方法中，获取初始图像，并基于预设多边形轮廓从所述初始图像中确定目标检测区域；基于所述目标检测区域生成最小检测边框，并基于所述最小检测边框对所述初始图像进行图像分割处理，得到所述待测图像。
这样，可以降低对抛落物误检的负面影响，且减轻图像后处理任务量，进一步加快高 空抛物检测处理的速度。
本公开实施例提供一种高空抛物检测装置，包括：
获取部分，配置为从待测图像中获取存在待测抛落物的抛落物图像，；
确定部分，配置为确定各抛落物图像中待测抛落物的位置坐标；
所述获取部分，还配置为根据各抛落物图像的采集时间和各位置坐标，获取所述待测抛落物的关联位置坐标；
生成部分，配置为基于所述关联位置坐标生成所述待测抛落物的运动轨迹片段；
所述确定部分，配置为响应于所述运动轨迹片段满足预设高空抛物条件，将所述待测抛落物确定为高空抛落物，并将所述运动轨迹片段确定为高空抛物事件的抛物轨迹片段；
所述生成部分，配置为基于所述抛物轨迹片段生成所述高空抛落物的完整抛物轨迹。
本公开实施例提供一种高空抛物检测设备，所述高空抛物检测设备包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如上所述的高空抛物检测方法。
本公开实施例提供一种计算机可读存储介质，其上存储有程序，应用于高空抛物检测设备中，所述程序被处理器执行时，实现如上所述的高空抛物检测方法。
本公开提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在电子设备中运行，被所述电子设备中的处理器执行的情况下，实现如上所述的高空抛物检测方法。
本公开提供一种计算机程序产品，当其在计算机上运行时，使得计算机执行如上所述的高空抛物检测方法。
本公开实施例提出的技术方案，高空抛物检测设备可以从待测图像中获取存在待测抛落物的抛落物图像，并确定各抛落物图像中待测抛落物的位置坐标；根据各抛落物图像的采集时间和各位置坐标，获取待测抛落物的关联位置坐标，并基于关联位置坐标生成待测抛落物的运动轨迹片段；响应于运动轨迹片段满足预设高空抛物条件，将待测抛落物确定为高空抛落物，并将运动轨迹片段确定为高空抛物事件的抛物轨迹片段；基于抛物轨迹片段生成高空抛落物的完整抛物轨迹。如此，本公开提出了鲁棒的单帧加多帧的后处理方法，不仅可以对存在干扰物的单帧进行过滤，找出存在待测抛落物的单帧图像，去除单帧误检，而且可以基于目标匹配算法，获得多帧上的待测抛落物的位置关联信息进行轨迹判断和完整轨迹复原，快速且准确的完成高空抛物事件检测，进一步提高了高空抛物检测的效率和精度。
附图说明
图1为本公开实施例提出的高空抛物检测方法的实现流程示意图一；
图2为本公开实施例提出的高空抛物检测方法的实现流程示意图二；
图3为运动轨迹片段的示意图；
图4为本公开实施例提出的高空抛物检测方法的实现流程示意图三；
图5为本公开实施例提出的高空抛物检测方法的实现流程示意图四；
图6为本公开实施例提出的高空抛物检测方法的实现流程示意图五；
图7为本公开实施例提出的高空抛物检测方法的实现流程示意图六；
图8为本公开实施例提出的高空抛物检测方法的实现流程示意图七；
图9为本公开实施例提出的高空抛物检测方法的实现流程示意图八；
图10为本公开实施例提出的高空抛物检测装置的组成结构示意图；
图11为本公开实施例提出的高空抛物检测设备的组成结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出 创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
近年来，随着城镇化率的提升，高楼越来越多，高空抛物带来的危险也越来越被重视。高空抛物检测作为智能视频监控系统中的一项重要技术，通过对建筑物楼面监控视频进行分析，检测抛落物，以实现在对城市高层建筑物的楼面进行布防，对可能出现的高空抛物事件进行实时报警。
具体的，高空抛物检测依赖于对图像中运动物体的检测，相关技术中常利用帧间差分法、背景差分法或者光流法进行运动物体的检测。
其中，帧间差分法依据的原则是：当视频中存在移动物体的时候，相邻帧(或相邻三帧)之间在灰度上会有差别，求取两帧图像灰度差的绝对值，则静止的物体在差值图像上表现出来全是0，而移动物体特别是移动物体的轮廓处由于存在灰度变化为非0，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能，即相邻帧间差分法直接对相邻的两帧图像做差分运算，并取差分运算的绝对值构成移动物体。
虽然该帧间差分法可以得到运动目标的外轮廓、方法简单且运算复杂度小，但是存在摄像头必须固定、鲁棒相差以及精度较低的缺陷，一般仅适用于简单的实时运动检测。
其中，背景差分法其基本原理是将图像序列中的当前帧和已经确定好或实时获取的背景参考模型(背景图像)做减法，找不同，计算出与背景图像像素差异超过一定阈值的区域确定为运动区域，从而来确定运动位置、轮廓、大小等特征。
该背景差分法可以得到运动目标的整个区域，优势是速度快、准确，但鲁棒性较差、摄像头必须固定，并且难以利用帧间信息、图像后处理比较困难，尤其光照弱或雨雪天气受影响较大。
其中，光流法依据的原则是：利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性，根据上一帧与当前帧之间的对应关系，计算得到相邻帧之间物体的运动信息。如应用光流约束方程的算法、传统的(Lucas Kanade，KL)算法。
虽然在它能检测运动目标的整个区域，适用于摄像机静止和运动情况、鲁棒性好、精度高，但大多数的光流计算方法计算量巨大，结构复杂，导致计算耗时较高，产品化及实际使用需要克服的问题较多。
可见，目前在海量视频数据下，传统的高空抛物检测方法已难以满足高空抛物检测在速度和精度上的高要求。鉴于此，如何保障高空抛物检测在速度和精度上的高要求是亟待解决的问题，是本公开实施例所要讨论的内容，下面将结合以下具体实施例进行阐述。
本公开实施例提供一种高空抛物检测方法和装置、设备，及计算机存储介质，通过从待测图像中获取存在待测抛落物的抛落物图像，并确定各抛落物图像中待测抛落物的位置坐标；根据各抛落物图像的采集时间和各位置坐标，获取待测抛落物的关联位置坐标，并基于关联位置坐标生成待测抛落物的运动轨迹片段；响应于运动轨迹片段满足预设高空抛物条件，将待测抛落物确定为高空抛落物，并将运动轨迹片段确定为高空抛物事件的抛物轨迹片段；基于抛物轨迹片段生成高空抛落物的完整抛物轨迹。如此，本公开提出了鲁棒 的单帧加多帧的后处理方法，不仅可以对存在干扰物的单帧进行过滤，找出存在待测抛落物的单帧图像，去除单帧误检，而且可以基于目标匹配算法，获得多帧上的待测抛落物的位置关联信息进行轨迹判断和完整轨迹复原，快速且准确的完成高空抛物事件检测，进一步提高了高空抛物检测的效率和精度。
本公开实施例提出的高空抛物检测方法应用于高空抛物检测设备中。下面说明本公开实施例提出的高空抛物检测设备的示例性应用，本公开实施例提出的高空抛物检测设备可以实施为手机终端、笔记本电脑，平板电脑，台式计算机，服务器、以及各种工业设备等。
下面，将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
本公开一实施例提供了一种高空抛物检测方法，图1为本公开实施例提出的高空抛物检测方法的实现流程示意图一，如图1所示，在本公开的实施例中，执行高空抛物检测的方法可以包括以下步骤：
S100、从待测图像中获取存在待测抛落物的抛落物图像，并确定各抛落物图像中待测抛落物的位置坐标。
应理解，在本公开实施例中，可以是对历史发生的事件进行高空抛物检测处理，也可以是对当前发生的事件实时进行高空抛物检测处理。
在一些实施例中，待测图像指需要进行抛落物检测的图像。其中，该图像可以是实时采集的，也可以是本地存储的。
在一些实施例中，基于不同配置的图像采集监控设备，上述待测图像可以是RGB彩色图像，也可以是灰度图像，或者还可以是其他传感器影像数据(如红外影像)。
其中，高空抛物检测设备可以配置图像采集监控设备，如摄像头，可以通过该摄像头实时采集获得待测图像；或者，将摄像头历史采集的一段视频存储在本地，可以从本地读取并分析视频流，拿到待测图像。
其中，图2为本公开实施例提出的高空抛物检测方法的实现流程示意图二，如图2所示，获取待测图像的方法可以包括以下步骤：
S101、获取初始图像，并基于预设多边形轮廓从初始图像中确定目标检测区域。
应理解，对于任何图像采集监控设备，其能够采集的图像范围内可能包括目标监控对象(如楼宇)以及楼下的绿化或者固定设备，例如灯杆和数目。其中，尤其树木等绿化设施会对运动物体的检测结果带来一定的影响，其影响可表现为落叶容易被判断为高空抛落物，且对图像后处理带来额外的处理任务，减慢高空抛物检测处理的速度。
因此，在本公开实施例中，可以对每个图像采集监控设备的监控画面进行分析，标定出没有遮挡物的区域作为目标监控对象(如楼宇)的监控区域，进而在进行图像后续分析时，仅针对该监控区域进行分析，忽略其他非监控区域的图像内容，加快高空抛物检测处理的速度。
在一些实施例中，初始图像指通过图像采集监控设备实时采集的监控范围内的图像，或者本地历史存储的监控范围内的视频。
在本公开实施例中，可以先人工确定出一多边形轮廓C即预设多边形轮廓，然后通过该预设多边形轮廓从初始图像中标定出感兴趣的区域R作为目标检测区域，忽略掉初始图像中其他存在干扰的图像内容。
这里，高空抛物检测设备可以基于预设多边形轮廓对初始图像进行二值化处理，将预设多边形轮廓对应的目标检测区域的图像像素先设置为1，目标检测区域以外的图像像素设置为0，然后将该二值化图像与初始图像进行像素点乘，使得目标检测区域的图像保留原始像素值，而该区域以外的图像像素全为0，以此便确定出初始图像中存在的目标检测区域。
可见，除了选中的目标检测区域以外，其他区域像素均为0，得到的目标检测区域能 够最大的覆盖目标监控对象(如楼宇)，即最大的覆盖抛落物的潜在运动轨迹，同时也避开了树木、天空、灯杆以及一些其他干扰物的影响。
S102、基于目标检测区域生成最小检测边框，并基于最小检测边框对初始图像进行图像分割处理，得到待测图像。
应理解，为了最大的覆盖抛落物的潜在运动轨迹，实际情况下的目标抛落物可能为不规则的多边形，那么在模型输入之前，需要先对目标抛落物区域进行规则化。其中，可以生成该目标抛落物区域对应的Bounding box最小检测框。
其中，可以取目标抛落物区域的边缘位置坐标生成一最小检测框。可以是取目标抛落物区域的最左边边缘坐标r_1、最右边边缘坐标r_2、最上边边缘坐标k_1以及最下边边缘坐标k_2，进而生成最小边框(r_1，k，r_2，k_2)。
在本公开实施例的一实施方式中，可以基于该最小检测框对初始图像进行图像分割处理，即图像画面裁剪，进而获得待测图像。
可见，在本公开实施例中，基于S101a-S101b可以降低对抛落物误检的负面影响，且减轻图像后处理任务量，进一步加快高空抛物检测处理的速度。
可以理解的是，高空抛物的场景其实是有很多的，诸如白天、黑夜、下雨等不同的自然条件影响抛落物的检测精度，同时还有一些自然的物体，如摇摆的树叶、飞行的鸟，活动的人等都会对抛落物的准确检测造成影响。因此为了克服检测过程中其他非抛落运动物体对高空抛物检测造成的检测误差，在本公开实施例中，可以先对非抛落物的干扰图像或者异常图像进行过滤，获得存在抛落物、且噪声较小的图像，降低高空抛物检测的误检率。
应理解，待测图像中存在噪声过多的图像或者异常图像，如鸟从镜头前飞过或者树叶掉落，这类图像对抛落物检测造成的误检负面影响加大，那么该类待测图像在进行高空抛落检测处理中的作用不大，且会拖慢高空检测处理的速度。
因此，在本公开实施例中，可以对获得的待测图像进行过滤，将确定为噪声过大的待测图像或者存在异常的待测图像进行过滤，从待测图像中筛选出当存在待测抛落物的抛落物图像。
在本公开实施例中，待测抛落物可以是一个，也可以是多个，也就是说，待测图像中可以只存在一个抛落物，也可以同时存在多个不同的抛落物。
在一些实施例中，对于确定出的存在待测抛落物的任一抛落物图像，可以继续确定出任一抛落物图像中待测抛落物的位置坐标，其中，待测抛落物的位置坐标可以通过抛落物的中心点位置坐标来表征。这里可以引入聚类方法对各待测抛落物在抛落物图像中的各位置坐标进行确定。
S110、根据各抛落物图像的采集时间和各位置坐标，获取待测抛落物的关联位置坐标，并基于关联位置坐标生成待测抛落物的运动轨迹片段。
在本公开实施例中，可以基于多帧后处理方法生成抛落物的轨迹片段，其中，可以基于各存在待测抛落物的抛落物图像中，待测抛落物的位置坐标进行对应的运动轨迹片段的生成。
需要说明的是，在本公开实施例中，运动轨迹片段可以由存在待测抛落物的采集时间连续多帧抛落物图像中，待测抛落物的关联位置坐标相连构成。
在一些实施例中，可以采用预设目标匹配算法按照抛落物图像的采集时间先后顺序，依次对前后相邻两帧抛物图像中的待测抛落物进行跟踪匹配，以获得待测抛落物在采集时间连续的多帧抛落物图像上的位置关联信息，即关联位置坐标，并基于待测抛落物在这连续关联的多帧待测图像中的位置坐标进行相连，也就是多关联位置坐标进行相连，进而生成对应的抛落物轨迹片段。
在一些实施例中，待测抛落物可以对应一组关联位置坐标。
在另一些实施例中，由于存在抛落物在抛落中途被某些物体在短时间段被遮挡，即该 短时间段之前以及时间段之后采集的待测图像上存在待测抛落物，对应的待测图像也被确定为属于抛落物图像，但该时间段之内采集的待测图像上不存在待测抛落物，对应的待测图像也被确定为不属于抛落物图像。那么在抛落物存在遮挡的情况下，可能基于预设目标匹配算法得到待测抛落物的两组关联位置坐标，一组是遮挡之前的、另外一组是遮挡之后的。
可见，在基于关联位置坐标生成待测抛落物的运动轨迹片段时，可能生成待测抛落物的一条运动轨迹片段，也可能生成待测抛落物的多条轨迹片段。
在一些实施例中，在抛落物图像中存在一个待测抛落物的情况下，可以生成该待测抛落物对应的一条运动轨迹片段；在抛落物图像中存在多个待测抛落物的情况下，可以生成多个待测抛落物对应的多条运动轨迹片段。
其中，图3为运动轨迹片段的示意图，如图3所示，以连续5帧(第i帧到第i+4帧)抛物图像为例，包括第一抛落物001的轨迹片段A、第二抛落物002的轨迹片段B1和B2、第三抛落物003的轨迹片段C、第四抛落物004的轨迹片段D。可见，每帧抛物图像中存在多个待测抛落物，并且同一待测抛落物可能对应多条运动轨迹片段。
S120、响应于运动轨迹片段满足预设高空抛物条件，将待测抛落物确定为高空抛落物，并将运动轨迹片段确定为高空抛物事件的抛物轨迹片段。
S130、基于抛物轨迹片段生成高空抛落物的完整抛物轨迹。
可以理解的是，现实场景中可能存在某些待测抛落物并不是高空抛落物，也就是对应的抛物事件并不是真正意义上的高空抛物事件，如图3中的第三抛落物和第四抛落物，可能是类似于人通过手递出物体，或者将物体举过头顶，例如事件人站在窗口吃苹果，手拿起苹果放在嘴边咬一口手又放下，因此，可以对待测抛落物的运动轨迹片段进行判断，以确定其待测抛落物是否为高空抛落物，该运动轨迹片段是否为高空抛物事件的抛物轨迹片段。
在本公开实施例中，可以预先设置高空抛物条件，该高空抛物条件可以是高空抛物各项阈值条件，如运动轨迹片段在直线拟合后与竖直方向的夹角阈值，或者运动轨迹片段的长度阈值，或者运动轨迹片段对应的下落百分比阈值等，本公开对此不做具体限定。
在一些实施例中，在待测抛落物的运动轨迹片段满足对应的各项阈值条件的情况下，可以确定该待测抛落物为高空抛落物，且该待测抛落物的运动轨迹片段为高空抛物事件的抛物轨迹片段。
在本公开实施例中，确定出待测抛落物为高空抛落物，对应的运动轨迹片段为高空抛物事件的抛物轨迹片段之后，可以基于该抛物轨迹片段进行高空抛物事件的轨迹还原，进而生成完整抛物轨迹。
本公开实施例提出了一种高空抛物检测方法，可以从待测图像中获取存在待测抛落物的抛落物图像，并确定各抛落物图像中待测抛落物的位置坐标；根据各抛落物图像的采集时间和各位置坐标，获取待测抛落物的关联位置坐标，并基于关联位置坐标生成待测抛落物的运动轨迹片段；响应于运动轨迹片段满足预设高空抛物条件，将待测抛落物确定为高空抛落物，并将运动轨迹片段确定为高空抛物事件的抛物轨迹片段；基于抛物轨迹片段生成高空抛落物的完整抛物轨迹。如此，本公开提出了鲁棒的单帧加多帧的后处理方法，不仅可以对存在干扰物的单帧进行过滤，找出存在待测抛落物的单帧图像，去除单帧误检，而且可以基于目标匹配算法，获得多帧上的待测抛落物的位置关联信息进行轨迹判断和完整轨迹复原，快速且准确的完成高空抛物事件检测，进一步提高了高空抛物检测的效率和精度。
图4为本公开实施例提出的高空抛物检测方法的实现流程示意图三，如图4所示，在本公开的实施例中，从待测图像中获取存在待测抛落物的抛落物图像的方法可以包括以下步骤：
S103、对于任一待测图像，生成任一待测图像对应的二值图像；其中，二值图像包括第一像素值的前景运动物体和第二像素值的背景非运动物体。
在本公开实施例中，可以采用单帧二值化的方法对待测图像是否存在抛落物进行判断，以确定出存在待测抛落物的抛落物图像。
其中，对于任一待测图像，可以先将该待测图像转换为二值图像，即图像中仅包含第一像素值和第二像素值的灰度图像。例如待测图像对应的二值图像包括像素值0和像素值255。
在本公开实施例的一实施方式中，为了区分图像中的运动物体和非运动物体，可以选择将图像中像素值大于或者等于临界像素灰度值区域确定为运动物体存在的区域，并将该区域在二值图像中的像素值设置为第一像素值，反之选择将图像中像素值小于临界像素灰度值区域确定为非运动物体所在的区域，并将该区域在二值图像中的像素值设置为第二像素值，便获得任一光流图像对应的二值图像。
这里，二值图像中的第一像素值可以为255，表征前景运动物体，第二像素值可以为0，表征背景非像素物体。
其中，图5为本公开实施例提出的高空抛物检测方法的实现流程示意图四，如图5所示，生成任一待测图像对应的二值图像的方法可以包括以下步骤：
S103a、将任一待测图像输入高斯混合模型，得到任一待测图像对应的初始二值图像。
S103b、对初始二值图像进行图像去噪处理，得到任一待测图像对应的去噪后二值图像。
S103c、对去噪后二值图像进行图像修补处理，得到任一待测图像对应的二值图像。
在本公开实施例中，二值图像为前景二值图像。
在本公开实施例中，对于任一待测图像，在进行当前待测图像至二值图像的转换时，可以先基于背高斯混合模型对待测图像进行前景检测处理，获得待测图像对应的前景二值图像。
在一些实施例中，为了更加准确的确定出运动物体在二值图像中的形态，可以通过对基于高斯混合模型获得的前景二值图像进行图像去噪处理和图像修补处理，进而获得运动物体形态更加准确的前景二值图像
其中，可以使用数学形态学开运算方法对前景二值图像进行图像去噪处理，去除图像中运动物体的孤立的小点、毛刺和小桥，得到去噪后二值图像。这里，可以选取结构元SE，如：
Figure PCTCN2021123509-appb-000001
利用该结构元SE对对背景提取算法得到的二值图像进行去噪，去除孤立的小点、毛刺和小桥，得到去噪后的二值图像。进一步的，仍然采用上述结构元，对去噪后二值图像基于数学形态学闭运算进行图像修补处理，对图像中运动物体填平小孔、弥合小裂缝等，从而获得新的前景二值图像。
S104、响应于前景运动物体在二值图像中的像素占比大于预设占比阈值，确定任一待测图像中存在待测抛落物，并确定任一待测图像为抛落物图像。
在本公开实施例中，对于任一待测图像，在获得该待测图像对应的二值图像之后，该二值图像中前景运动物体所占的像素数目便可以用于表征待测图像中存在运动物体的概率，那么可以进一步基于前景运动物体在二值图像中像素数目占比对当前待测图像中是否存在抛落物进行判断。
考虑到图像中存在的面积过小的非抛落物，例如树叶，对高空抛物检测带来的负面影响，可以设置抛落物在二值图像中像素数目的预设占比阈值，即在二值图像中存在像素数目占整幅图像的比值超过指定阈值的物体，该待测图像中可能存在潜在的抛落物。此时，可以基于前景运动物体在二值图像中的像素数目占比与预设占比阈值的比较结果对待测图像中是否存在待测抛落物进行判断，以及确定待测图像是否为存在抛落物的抛落图图像。
其中，在前景运动物体在二值图像中的像素数目占比大于预设占比阈值的情况下，便可以确定待测图像中存在至少一个待测抛落物；反之在前景运动物体在二值图像中的像素数目占比小于或者等于预设占比阈值的情况下，便可以确定待测图像中不存在待测抛落物。
基于上述操作，便可以将待测图像中存在待测抛落物的图像筛选出来，并作为进行后续高空抛物检测处理的抛落物图像。
可见，在本公开实施例中，可以通过对待测图像进行前景二值化处理，并基于前景运动物体在二值化图像中的像素数目占比对非抛落物图像进行过滤，筛选出存在待测抛落物的抛落物图像，从而提高高空检测处理的精度和速度。
图6为本公开实施例提出的高空抛物检测方法的实现流程示意图五，如图6所示，在本公开的实施例中，确定各抛落物图像中的待测抛落物的位置坐标的方法可以包括以下步骤：
S105、对于任一抛落物图像，获取前景运动物体在二值图像中的初始位置坐标集合。
S106、基于预设聚类算法和初始位置坐标集合确定任一抛落物图像中待测抛落物的坐标子集。
S107、计算待测抛落物的坐标子集对应的坐标平均值，并将坐标平均值确定为待测抛落物的位置坐标。
在本公开实施例中，对于任一存在抛落物的待测图像，即抛落物图像，可以引入聚类算法确定该抛落物图像中待测抛落物的位置坐标。
在本公开实施例的一实施方式中，在判定当前待测图像存在待测抛落物的情况下，可以获取其二值图像中的前景运动物体的全部像素位置坐标，构成一位置坐标的二维数组，即初始位置坐标集合。
应理解，当前抛落物图像中的运动物体可能不止一个，包括抛落物、飘落的树叶等，并且抛落物也并不是只有一个。为了确定出抛落物的位置，在本公开的实施例中，可以通过密度聚类算法确定出抛落物的位置，如不限制于密度聚类算法(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)。
其中，可以应用密度聚类算法先对存在抛落物的抛落物图像中，存在的全部运动物体先进行初步分类。其中，可以基于前景运动物体的位置坐标为聚类参数，将前景运动物体聚成至少一类，如抛落物聚成一类，树叶聚成一类，并从中确定出待测抛落物对应的类簇。
在本公开实施例的一实施方式中，对于任一抛落物图像，可以获取二值图像中的前景运动物体的初始位置坐标集合，并基于预设密度聚类算法对初始位置坐标集合对任一抛落图像中存在的前景运动物体进行分类处理，从而获得至少一类运动物体和每一类运动物体对应的坐标子集，从而实现了基于密度聚类算法对抛落物图像中的运动物体进行分类。
可以理解的是，任一抛落物图像中，抛落物的面积往往大于非抛落物的面积，在公开实施例中，可以预先设定抛落物对应的面积阈值，从而将任一抛落物图像中，面积大于预设面积阈值的运动物体确定为待测抛落物，该运动物体对应的坐标子集为待测抛落物的坐标子集。
在一些实施例中，可以通过运动物体对应的类簇中的像素点数目表征运动物体的面积，在运动物体包含的像素数目大于预设数目阈值的情况下，该运动物体便确定为待测抛落物，以及将该运动物体的坐标子集确定为待测抛落物的坐标子集。
在另一些实施例中，在运动物体这包含的像素数目小于或者等于预设数目阈值的情况 下，该运动物体便确定不是待测抛落物，以及该运动物体的坐标子集不是待测抛落物的坐标子集。
这里，在完成任一抛落物图像中待测抛落物的确定并得到待测抛落物对应的坐标子集之后，可以基于待测抛落物的坐标子集作均值运算，将确定出的坐标均值作为待测抛落物物体的位置坐标。
可见，在本公开实施例中，通过密度聚类算法，取像素数目大于预设阈值的类簇作为待测抛落物位置，能够对图像中面积过小的非抛落物的其他干扰物进行有效过滤，提高高空抛物检测的精度。
图7为本公开实施例提出的高空抛物检测方法的实现流程示意图六，如图7所示，在本公开的实施例中，根据各抛落物图像的采集时间和各位置坐标，获取待测抛落物的关联位置坐标的方法可以包括以下步骤：
S111、根据第一图像和第二图像的采集时间、第一抛落物的位置坐标和第二抛落物的位置坐标，确定第一抛落物和第二抛落物之间的相似度参数。
S112、根据相似度参数和预算目标匹配算法对第一抛落物和第二抛落物进行匹配处理，得到匹配结果。
S113、根据匹配结果获取第一抛落物或第二抛落物的关联位置坐标。
在本公开实施例中，以前后连续两帧抛落图图像为例，如各抛落物图像至少包括第一图像和第二图像，第一图像中存在第一抛落物，第二图像中存在第二抛落物，第一图像和第二图像为采集时间相邻的前后两帧抛落物图像，进而获得待测抛落物在连续多帧抛落物图像上的关联位置坐标可以通过以下方式实现：
在一些实施例中，在第一图像存在一个抛落物的情况下，第一抛落物可以指第一图像中一个抛落物，在第一图像存在多个抛落物的情况下，第一抛落物可以指第一图像中的多个不同的抛落物；对应的，第二抛落物也可以是一个，也可以是多个。
可以理解的是，对于同一抛落物体，其在当前抛落图像上的位置会尽量在连续上一帧对应位置的下方或者两个位置是重合的。对应的，如果在不知道两帧抛物图像中的抛落物体是否为同一抛落物时，如果抛落物在前后两帧图像中的位置相距的距离越近，说明两个位置对应的抛落物体相似度较高，可能是相同的抛落物。
在本公开实施例中，可以基于当前帧中待测抛落物体的位置坐标和相邻前一帧抛落图像中抛落物体的位置坐标计算距离，并基于距离确定两帧图像中的抛落物体的相似度。这里，每一帧抛落物图像中可能存在多个待测抛落物，那么需要基于两帧抛物图像之间的任意两两抛落物体的位置坐标进行距离计算，进而确定两两抛落物体之间的相似度。
例如，在不确定第一抛落物与第二抛落物是否为同一个抛落物体之前，可以基于第一图像中第一抛落物体的位置坐标(x_1,y_1)和第二图像中第二抛落物体的位置坐标(x_2,y_2)构建相邻帧目标之间的相似度参数S(x,y)。
在一些实施例中，可以基于坐标计算距离差值，如在x坐标轴方向上的坐标x差值，(x 1-x 2)，然后基于(x 1-x 2)确定相似度参数S(x,y)。其中，可以预先设置距离阈值T m，并基于抛落物体在连续两帧上的距离差值与预设距离阈值的比较结果确定相似度参数S(x,y)。这里，在距离差值(x 1-x 2)大于预设距离阈值T m的情况下，可以确定连续两帧抛落物图像中的第一抛落物体与第二抛落物体并不是同一个抛落物；在距离差值(x 1-x 2)小于或者等于预设距离阈值T m时，可以确定连续两帧抛落物图像中的第一抛落物体与第二抛落物体存在一定的相似度，可能是同一个抛落物，那么可以基于第一抛落物体的位置坐标与第二抛落物体的位置坐标构建第一抛落物体与第二抛落物体之间的相似度参数，如下：
Figure PCTCN2021123509-appb-000002
其中，公式(2)中，x＝x 2-x 1，y＝y 2-y 1，K 1和K 2分别为相似度在坐标x轴上的权重值和在坐标y轴上的权重值，即确定相似度参数时更加着重参考x方向上的位置或者着重参考y轴方向上的位置。
在一些实施例中，在采集时间连续的两帧抛物图像上均存在多个抛落物体时，可以基于两帧抛物图像之间的任意两两抛落物体的位置坐标进行距离计算，进而确定两两抛落物体之间的相似度参数。
在一些实施例中，可以两两抛落物体之间的相似度参数构建二分图模型，即第一图像中的各抛落物体为一组顶点即第一子集，第二图像中的各抛落物体为一组顶点即第二子集，相似度函数作为两个子集中的两两顶点之间的边，每条边的两端分别关联第一子集中的一个顶点和第二子集中的一个顶点。
其中，在基于连续两帧抛物图像中抛落物体两两之间的相似度参数构建二分图模型之后，可以通过最大匹配方法，如匈牙利算法进行多目标匹配，进而确定出前一帧中的待测抛落物在当前帧中是否能够匹配到，在能够匹配到的情况下，也就是在第二图像中匹配得到第一抛落物体，那么将第一抛落物体在第二图像中的位置坐标确定为第一抛落物体的关联位置坐标；另外，在不能匹配到的情况下，也就是在第二图像中匹配不到第一抛落物体，可能是第二图像中存在新的抛落物体，即第一抛落物体的运动轨迹截止于第二图像或者第二图像中第一抛落物体存在遮挡，此时，可以将第二抛落物体的位置坐标确定为第二抛落物体的关联位置坐标。
在本公开实施例中，按照图像采集时间顺序依次对相邻前后两帧抛物图像执行待测抛落物体的跟踪匹配，进而便可以待测抛落物体的关联位置坐标，可以进一步对该关联位置坐标按照图像采集时间顺序进行相连，便获得待测抛落物体的运动轨迹片段。
通过图像采集时间和待测抛落物的位置坐标进行前后帧待测抛落物的跟踪匹配，能够获得待测抛落物在多帧抛落物图像上的关联信息，以生成用于进行轨迹复原的待测抛落物的轨迹片段。
图8为本公开实施例提出的高空抛物检测方法的实现流程示意图七，如图七所示，在本公开的实施例中，所述基于关联位置坐标生成待测抛落物的运动轨迹片段之后，且响应于运动轨迹片段满足预设高空抛物条件之前，执行高空抛物检测的方法还可以包括以下步骤：
S140、确定运动轨迹片段对应的拟合后直线与竖直方向的夹角、运动轨迹片段的长度、关联位置坐标中满足预设下落条件的位置坐标对应的下落百分比。
应理解，待测抛落物的运动轨迹并不满足一定的函数规则，但又存在一定的规律性，在本公开实施例中，可以引入直线拟合方法对抛落物的运动轨迹片段进行直线拟合处理，得到运。
在一实施方式中，由于待测抛落物对应的抛物事件并不是真正意义上的高空抛物事件，可能是类似于人通过手递出物体，或者将物体举过头顶，例如事件人站在窗口吃苹果，手拿起苹果放在嘴边咬一口手又放下，因此，可以计算运动轨迹片段的拟合后直线与竖直方向的夹角，该夹角可以作为对待测抛落物是否为高空抛落物，以及待测抛落物的运动轨迹片段是否为高空抛物事件的抛物轨迹片段的判断因素之一。
在另一实施例中，应理解真正的高空抛物事件是要有一定的高度范围的，由于存在一定的高度范围，那么待测抛落物的运动轨迹的长度也是需超过一定的长度范围。因此，可以确定出待测抛落物的运动轨迹片段的长度，该运动轨迹片段的长度也可以作为对待测抛落物是否为高空抛落物，以及待测抛落物的运动轨迹片段是否为高空抛物事件的抛物轨迹片段的判断因素之一。
其中，可以使用运动轨迹片段中包含的图像即抛物图像的帧数来表征运动轨迹片段的长度。
在另一实施例中，应理解真正的高空抛物事件中，抛落物是呈下落状态且抛物轨迹是抛物线状态，也就是说待测抛落物在下落时的当前帧中的坐标x值应该是比上一帧、上两帧，甚至于开始帧的坐标x值更大。因此，可以确定待测抛落物的轨迹下落百分比，也就是待测运动物体的运动轨迹片段对应的关联位置坐标中满足预设下落条件的坐标x值大于上一帧坐标x值的位置坐标占整个运动轨迹片段中关联位置坐标的百分比，该运动轨迹片段的下落百分比也可以作为对待测抛落物是否为高空抛落物，以及待测抛落物的运动轨迹片段是否为高空抛物事件的抛物轨迹片段的判断因素之一。
这里，以待测抛落物的运动轨迹片段中至少包含采集时间相邻的前后两帧连续的抛落物图像，即第三图像和第四图像为例，对应的，其待测抛落物的关联位置坐标中至少包含待测抛落物在第三图像中的第三位置坐标和待测抛落物在第四图像中的第四位置坐标。预设下落条件即第三位置坐标与所述第四位置坐标之间的横坐标差值大于预设阈值。
S150、响应于夹角小于预设角度阈值、长度大于预设长度阈值且下落百分比大于预设百分比阈值，确定运动轨迹片段满足预设高空抛物条件。
在本公开实施例的一实施方式中，预先设置高空抛物事件的夹角阈值、轨迹长度阈值以及下落百分比阈值，将待测抛落物的运动轨迹片段对应的拟合后直线与竖直方向的夹角和预设角度阈值进行比较、将待测抛落物的运动轨迹片段长度与预设长度阈值进行比较、以及将运动轨迹片段对应的下落百分比与预设百分比阈值进行比较，同时结合三个判断因素的比较结果判断待测抛落物是否为高空抛落物，换言之，确定待测抛落物对应的轨迹片段是否为高空抛物事件的抛物轨迹片段。
其中，在运动轨迹片段的拟合后直线与竖直方向的夹角小于预设夹角阈值、运动轨迹片段的长度大于预设长度阈值、以及运动轨迹片段对应的下落百分比大于预设百分比阈值，即三个判断因素同时满足对应的预设阈值条件的情况下，确定待测抛落物为高空抛落物，该待测抛落物对应的运动轨迹片段为高空抛物事件的抛物轨迹片段。
在本公开的另一实施例中，三个判断因素中的至少一个判断因素不满足对应的预设阈值条件的情况下，确定待测抛落物并不是真正意义上的高空抛落物。
其中，在待测抛落物的运动轨迹片段的拟合后直线与竖直方向的夹角大于或者等于预设夹角阈值的情况下，确定待测抛落物不是高空抛落物，该待测抛落物对应的运动轨迹片段不是高空抛物事件的抛物轨迹片段；或者，在运动轨迹片段的长度小于预设长度阈值的情况下，确定待测抛落物不是高空抛落物，该待测抛落物对应的运动轨迹片段不是高空抛物事件的抛物轨迹片段；或者在运动轨迹片段对应的下落百分比大于预设百分比阈值的情况下，确定待测抛落物不是高空抛落物，该待测抛落物对应的运动轨迹片段不是高空抛物事件的抛物轨迹片段。
或者，在运动轨迹片段的拟合后直线与竖直方向的夹角大于或者等于预设角度阈值且运动轨迹片段的长度小于预设长度阈值的情况下，确定待测抛落物不是高空抛落物，该待测抛落物对应的运动轨迹片段不是高空抛物事件的抛物轨迹片段；或者在运动轨迹片段的拟合后直线与竖直方向的夹角大于或者等于预设角度阈值且运动轨迹片段对应的下落百分比大于预设百分比阈值的情况下，确定待测抛落物不是高空抛落物，该待测抛落物对应的运动轨迹片段不是高空抛物事件的抛物轨迹片段；或者在运动轨迹片段的长度小于预设长度阈值且运动轨迹片段对应的下落百分比大于预设百分比阈值的情况下，确定待测抛落物不是高空抛落物，该待测抛落物对应的运动轨迹片段不是高空抛物事件的抛物轨迹片段。
可见，在本公开实施例中，在进行轨迹复原之前可以对生成的待测抛落物的轨迹片段进行判断，过滤掉不属于高空抛物事件的轨迹片段，筛选出满足高空抛物条件的高空抛物轨迹片段，以快速且准确的进行高空抛物轨迹的恢复。
图9为本公开实施例提出的高空抛物检测方法的实现流程示意图八，如图八所示，在本公开的实施例中，基于所述抛物轨迹片段生成所述高空抛落物的完整抛物轨迹的方法还 可以包括以下步骤：
S131、基于抛物轨迹片段确定高空抛物事件的起始抛落物图像至结束抛落物图像。
S132、对起始抛落物图像至结束抛落物图像中的各抛落物图像中，待测抛落物的各关联位置坐标按照图像采集时间进行插值处理，得到完整抛物轨迹。
在本公开实施例中，可以基于抛物图像之间的帧间隔值对上述得到的属于高空抛物事件的抛物轨迹片段进行抛物事件检测，确定出同一高空抛物事件对应的起始帧和结束帧，即起始抛落物图像至结束抛落物图像。
在一些实施例中，可以预先设置不同高空抛物事件之间的帧间隔阈值，依次对抛物轨迹片段中的抛物图像进行与前一帧抛物图像之间的帧间隔值的确定，以确定前后两帧抛物图像是否属于同一高空抛物事件，从而更新抛物事件的起始帧与结束帧。
示例性的，以前后两帧抛物图像第一图像与第二图像为例进行说明。
其中，可以在确定第一图像属于第一高空抛物事件，且将第一图像确定为该第一高空抛物事件对应的结束帧之后，计算当前第二图像与第一图像的帧间隔值。在该帧间隔值小于或者等于预设帧间隔阈值的情况下，确定第二图像与第一图像属于同一高空抛物事件，那么将第一高空抛物事件的结束帧更新为第二图像；对应的，在该帧间隔值大于预设帧间隔阈值的情况下，确定第二图像与第一图像不属于同一高空抛物事件，那么表明第一高空抛物事件的结束帧为第一图像，而第二图像属于新的抛物事件即第二高空抛物事件，此时可以将第二图像确定为新的第二高空抛物事件的起始帧。
可以理解的是，一条抛物轨迹片段中的各帧抛物图像很大程度上属于同一个高空抛物事件，由于可能存在待测抛落物可能具有多条满足高空抛物条件的抛物轨迹片段，需要基于帧间隔值确定出属于同一高空抛物事件的多条轨迹片段，进而更新该高空抛物事件对应的起始帧至结束帧。
例如，在基于第一抛落物体的第一抛物轨迹片段确定出高空抛物事件的起始帧至结束帧之后，可以继续确定下一抛物轨迹片段是否为第一抛落物体的抛物轨迹片段，可以计算下一抛物轨迹片段的开始抛物图像与第一抛物轨迹片段的结束抛物图像的结束帧之间的帧间隔值，如果帧间隔值大于预设间隔阈值，那么两个抛物轨迹片段为不同高空抛物事件；如果帧间隔值小于预设间隔阈值，那么两个抛物轨迹片段为同一个高空抛物事件，可以基于下一个抛物轨迹片段继续更新高空抛物事件的结束帧，直至确定出一个完整的高空抛物事件的起始抛物图像至结束抛物图像，即确定出一个完整的高空抛物事件发生的区间。
例如，确定高空抛物事件区间的逻辑代码如下所示，初始化高空抛物事件开始帧下标d s＝0、结束帧下标d e＝0，记δ e为高空抛物事件间的帧间隔阈值，同时初始化starts＝[],ends＝[]，用来记录每个高空抛物事件的开始和结束帧。
Figure PCTCN2021123509-appb-000003
Figure PCTCN2021123509-appb-000004
基于上述逻辑代码，便可以返回每个高空抛物事件的区间，即开始帧至结束帧列表starts，ends。
这里，基于抛物轨迹片段中抛物图像的时间先后顺序循环上述高空抛物事件的确定过程，便可以确定出不同高空抛物事件对应的开始帧和结束帧。
在本公开实施例中，确定出高空抛落物体对应的高空抛物事件发生的区间之后，可以对高空抛物事件的起始抛物图像至结束抛物图像中的每一帧抛物图像中抛物物体的位置坐标，按照时间顺序进行坐标点的插值处理，将抛落物体在高空抛物事件区间上各抛物图像中的位置坐标映射在一张平面图像上，并进行连接，从而形成高空抛物物体对应的高空抛物事件的完整抛物轨迹。
在本公开实施例中，基于事件检测确定出高空抛物事件对应的起始帧至结束帧，并基于起始帧至结束帧中待测抛落物的位置信息对高空抛物事件的完整抛物轨迹进行还原。
基于上述实施例，在本公开的在一实施例中，图10为本公开实施例提出的高空抛物检测装置的组成结构示意图，如图10所示，所述高空抛物检测装置10包括获取部分11、确定部分12以及生成部分13。
获取部分11，配置为从待测图像中获取存在待测抛落物的抛落物图像，；
确定部分12，配置为确定各抛落物图像中待测抛落物的位置坐标；
所述获取部分11，还配置为根据各抛落物图像的采集时间和各位置坐标，获取所述待测抛落物的关联位置坐标；
生成部分13，配置为基于所述关联位置坐标生成所述待测抛落物的运动轨迹片段；
所述确定部分12，还配置为响应于所述运动轨迹片段满足预设高空抛物条件，将所述待测抛落物确定为高空抛落物，并将所述运动轨迹片段确定为高空抛物事件的抛物轨迹片段；
所述生成部分13，还配置为基于所述抛物轨迹片段生成所述高空抛落物的完整抛物轨迹。
在一些实施例中，所述获取部分11，配置为对于任一待测图像，生成所述任一待测图像对应的二值图像；其中，所述二值图像包括第一像素值的前景运动物体和第二像素值的背景非运动物体；以及响应于所述前景运动物体在所述二值图像中的像素占比大于预设占比阈值，确定所述任一待测图像中存在所述待测抛落物，并确定所述任一待测图像为所述抛落物图像。
在一些实施例中，所述获取部分11，配置为将所述任一待测图像输入高斯混合模型，得到所述任一待测图像对应的初始二值图像；以及对所述初始二值图像进行图像去噪处理，得到所述任一待测图像对应的去噪后二值图像；以及对所述去噪后二值图像进行图像修补处理，得到所述任一待测图像对应的所述二值图像。
在一些实施例中，所述确定部分12，配置为对于任一抛落物图像，获取所述任一抛落物图像对应前景运动物体在对应二值图像中的初始位置坐标集合；以及基于预设聚类算法和所述初始位置坐标集合确定所述任一抛落物图像中所述待测抛落物的坐标子集；以及计算所述待测抛落物的坐标子集对应的坐标平均值，并将所述坐标平均值确定为所述待测抛落物的所述位置坐标。
在一些实施例中，所述确定部分12，配置为基于预设聚类算法和所述初始坐标集合对所述任一抛落物图像对应的前景运动物体进行分类处理，得到至少一个运动物体和任一运动物体对应的坐标子集；以及确定任一运动物体对应的像素数目；以及将所述像素数目大于预设数目阈值的目标运动物体确定为所述待测抛落物，将所述目标运动物体的坐标子集 确定为所述待测抛落物的坐标子集。
在一些实施例中，所述各抛落物图像至少包括存在第一抛落物的第一图像和存在第二抛落物的第二图像，所述第一图像和第二图像为采集时间相邻的前后两帧抛落物图像；所述获取部分11，配置为根据所述第一图像和所述第二图像的采集时间、所述第一抛落物的位置坐标和所述第二抛落物的位置坐标，确定所述第一抛落物和所述第二抛落物之间的相似度参数；
以及根据所述相似度参数和预算目标匹配算法对所述第一抛落物和所述第二抛落物进行匹配处理，得到匹配结果；以及根据所述匹配结果获取所述第一抛落物或所述第二抛落物的关联位置坐标。
在一些实施例中，所述确定部分12，还配置为基于所述关联位置坐标生成所述待测抛落物的运动轨迹片段之后，且响应于所述运动轨迹片段满足预设高空抛物条件之前，确定所述运动轨迹片段对应的拟合后直线与竖直方向的夹角、所述运动轨迹片段的长度、所述关联位置坐标中满足预设下落条件的位置坐标对应的下落百分比；以及响应于所述夹角小于预设角度阈值、所述长度大于预设长度阈值且所述下落百分比大于预设百分比阈值，确定所述运动轨迹片段满足所述预设高空抛物条件。
在一些实施例中，所述关联位置坐标中至少包含所述待测抛落物分别在第三图像中的第三位置坐标和第四图像中的第四位置坐标，所述第三图像和第四图像为采集时间相邻的前后两帧抛落物图像，所述预设下落条件为所述第三位置坐标与所述第四位置坐标之间的横坐标差值大于预设阈值。
在一些实施例中，所述生成部分13，配置为基于所述抛物轨迹片段确定所述高空抛物事件的起始抛落物图像至结束抛落物图像；以及对所述起始抛落物图像至结束抛落物图像中的各抛落物图像中，所述待测抛落物的各关联位置坐标按照图像采集时间进行插值处理，得到所述完整抛物轨迹。
在一些实施例中，所述获取部分11，还配置为获取初始图像，并基于预设多边形轮廓从所述初始图像中确定目标检测区域；以及基于所述目标检测区域生成最小检测边框，并基于所述最小检测边框对所述初始图像进行图像分割处理，得到所述待测图像。
在本公开的实施例中，进一步地，图11为本公开实施例提出的高空抛物检测设备的组成结构示意图，如图11所示，本公开实施例提出的高空抛物检测设备20还可以包括处理器21、存储有处理器21可执行指令的存储器22，进一步地，活体检测设备20还可以包括通信接口23，和用于连接处理器21、存储器22以及通信接口23的总线24。
在本公开的实施例中，上述处理器21可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field Prog RAMmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。活体检测设备20还可以包括存储器22，该存储器22可以与处理器21连接，其中，存储器22用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器22可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在本公开的实施例中，总线24用于连接通信接口23、处理器21以及存储器22以及这些器件之间的相互通信。
在本公开的实施例中，存储器22，用于存储指令和数据。
进一步地，在本公开的实施例中，上述处理器21，用于从待测图像中获取存在待测抛落物的抛落物图像，并确定各抛落物图像中待测抛落物的位置坐标；根据各抛落物图像的 采集时间和各位置坐标，获取所述待测抛落物的关联位置坐标，并基于所述关联位置坐标生成所述待测抛落物的运动轨迹片段；响应于所述运动轨迹片段满足预设高空抛物条件，将所述待测抛落物确定为高空抛落物，并将所述运动轨迹片段确定为高空抛物事件的抛物轨迹片段；基于所述抛物轨迹片段生成所述高空抛落物的完整抛物轨迹。
在实际应用中，上述存储器22可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器21提供指令和数据。
另外，在本实施例中的各功能模块可以集成在一个推荐单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台高空抛物检测设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本公开实施例提供了一种高空抛物检测设备，该高空抛物检测设备通过从待测图像中获取存在待测抛落物的抛落物图像，并确定各抛落物图像中待测抛落物的位置坐标；根据各抛落物图像的采集时间和各位置坐标，获取待测抛落物的关联位置坐标，并基于关联位置坐标生成待测抛落物的运动轨迹片段；响应于运动轨迹片段满足预设高空抛物条件，将待测抛落物确定为高空抛落物，并将运动轨迹片段确定为高空抛物事件的抛物轨迹片段；基于抛物轨迹片段生成高空抛落物的完整抛物轨迹。如此，本公开提出了鲁棒的单帧加多帧的后处理方法，不仅可以对存在干扰物的单帧进行过滤，找出存在待测抛落物的单帧图像，去除单帧误检，而且可以基于目标匹配算法，获得多帧上的待测抛落物的位置关联信息进行轨迹判断和完整轨迹复原，快速且准确的完成高空抛物事件检测，进一步提高了高空抛物检测的效率和精度。
本公开实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的高空抛物检测方法。
具体来讲，本实施例中的一种高空抛物检测方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种高空抛物检测方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
从待测图像中获取存在待测抛落物的抛落物图像，并确定各抛落物图像中待测抛落物的位置坐标；
根据各抛落物图像的采集时间和各位置坐标，获取所述待测抛落物的关联位置坐标，并基于所述关联位置坐标生成所述待测抛落物的运动轨迹片段；
响应于所述运动轨迹片段满足预设高空抛物条件，将所述待测抛落物确定为高空抛落物，并将所述运动轨迹片段确定为高空抛物事件的抛物轨迹片段；
基于所述抛物轨迹片段生成所述高空抛落物的完整抛物轨迹。
相应地，本公开实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令用于实现本公开实施例提出的高空抛物检测方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程高空抛物检测设备的处理器以产生一个机器，使得通过计算机或其他可编程高空抛物检测设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程高空抛物检测设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程高空抛物检测设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。
工业实用性
本公开实施例中，通过从待测图像中获取存在待测抛落物的抛落物图像，并确定各抛落物图像中待测抛落物的位置坐标；根据各抛落物图像的采集时间和各位置坐标，获取待测抛落物的关联位置坐标，并基于关联位置坐标生成待测抛落物的运动轨迹片段；响应于运动轨迹片段满足预设高空抛物条件，将待测抛落物确定为高空抛落物，并将运动轨迹片段确定为高空抛物事件的抛物轨迹片段；基于抛物轨迹片段生成高空抛落物的完整抛物轨迹。上述方案进一步提高了高空抛物检测的效率和精度。

Claims (24)

  1. 一种高空抛物检测方法，所述方法包括：
    从待测图像中获取存在待测抛落物的抛落物图像，并确定各抛落物图像中待测抛落物的位置坐标；
    根据各抛落物图像的采集时间和各位置坐标，获取所述待测抛落物的关联位置坐标，并基于所述关联位置坐标生成所述待测抛落物的运动轨迹片段；
    响应于所述运动轨迹片段满足预设高空抛物条件，将所述待测抛落物确定为高空抛落物，并将所述运动轨迹片段确定为高空抛物事件的抛物轨迹片段；
    基于所述抛物轨迹片段生成所述高空抛落物的完整抛物轨迹。
  2. 根据权利要求1所述的方法，其中，所述从待测图像中获取存在待测抛落物的抛落物图像，包括：
    对于任一待测图像，生成所述任一待测图像对应的二值图像；其中，所述二值图像包括第一像素值的前景运动物体和第二像素值的背景非运动物体；
    响应于所述前景运动物体在所述二值图像中的像素占比大于预设占比阈值，确定所述任一待测图像中存在所述待测抛落物，并确定所述任一待测图像为所述抛落物图像。
  3. 根据权利要求2所述的方法，其中，所述生成所述任一待测图像对应的二值图像，包括：
    将所述任一待测图像输入高斯混合模型，得到所述任一待测图像对应的初始二值图像；
    对所述初始二值图像进行图像去噪处理，得到所述任一待测图像对应的去噪后二值图像；
    对所述去噪后二值图像进行图像修补处理，得到所述任一待测图像对应的所述二值图像。
  4. 根据权利要求2所述的方法，其中，所述确定各抛落物图像中的待测抛落物的位置坐标，包括：
    对于任一抛落物图像，获取所述任一抛落物图像对应的前景运动物体在对应二值图像中的初始位置坐标集合；
    基于预设聚类算法和所述初始位置坐标集合确定所述任一抛落物图像中所述待测抛落物的坐标子集；
    计算所述待测抛落物的坐标子集对应的坐标平均值，并将所述坐标平均值确定为所述待测抛落物的所述位置坐标。
  5. 根据权利要求4所述的方法，其中，所述基于预设聚类算法和所述初始位置坐标集合确定任一抛落物图像中所述待测抛落物的坐标子集，包括：
    基于预设聚类算法和所述初始坐标集合对所述任一抛落物图像对应的前景运动物体进行分类处理，得到至少一个运动物体和任一运动物体对应的坐标子集；
    确定任一运动物体对应的像素数目；
    将所述像素数目大于预设数目阈值的目标运动物体确定为所述待测抛落物，将所述目标运动物体的坐标子集确定为所述待测抛落物的坐标子集。
  6. 根据权利要求1所述的方法，其中，所述各抛落物图像至少包括存在第一抛落物的第一图像和存在第二抛落物的第二图像，所述第一图像和第二图像为采集时间相邻的前后两帧抛落物图像；
    所述根据各抛落物图像的采集时间和各位置坐标，获取所述待测抛落物的关联位置坐标，包括：
    根据所述第一图像和所述第二图像的采集时间、所述第一抛落物的位置坐标和所述第 二抛落物的位置坐标，确定所述第一抛落物和所述第二抛落物之间的相似度参数；
    根据所述相似度参数和预算目标匹配算法对所述第一抛落物和所述第二抛落物进行匹配处理，得到匹配结果；
    根据所述匹配结果获取所述第一抛落物或所述第二抛落物的关联位置坐标。
  7. 根据权利要求1所述的方法，其中，所述基于所述关联位置坐标生成所述待测抛落物的运动轨迹片段之后，且响应于所述运动轨迹片段满足预设高空抛物条件之前，所述方法还包括：
    确定所述运动轨迹片段对应的拟合后直线与竖直方向的夹角、所述运动轨迹片段的长度、所述关联位置坐标中满足预设下落条件的位置坐标对应的下落百分比；
    响应于所述夹角小于预设角度阈值、所述长度大于预设长度阈值且所述下落百分比大于预设百分比阈值，确定所述运动轨迹片段满足所述预设高空抛物条件。
  8. 根据权利要求7所述的方法，其中，所述关联位置坐标中至少包含所述待测抛落物分别在第三图像中的第三位置坐标和第四图像中的第四位置坐标，所述第三图像和第四图像为采集时间相邻的前后两帧抛落物图像，所述预设下落条件为所述第三位置坐标与所述第四位置坐标之间的横坐标差值大于预设阈值。
  9. 根据权利要求1所述的方法，其中，所述基于所述抛物轨迹片段生成所述高空抛落物的完整抛物轨迹，包括：
    基于所述抛物轨迹片段确定所述高空抛物事件的起始抛落物图像至结束抛落物图像；
    对所述起始抛落物图像至结束抛落物图像中的各抛落物图像中，所述待测抛落物的各关联位置坐标按照图像采集时间进行插值处理，得到所述完整抛物轨迹。
  10. 根据权利要求1-9任一项所述的方法，其中，所述方法还包括：
    获取初始图像，并基于预设多边形轮廓从所述初始图像中确定目标检测区域；
    基于所述目标检测区域生成最小检测边框，并基于所述最小检测边框对所述初始图像进行图像分割处理，得到所述待测图像。
  11. 一种高空抛物检测装置，所述高空抛物检测装置包括：
    获取部分，配置为从待测图像中获取存在待测抛落物的抛落物图像，；
    确定部分，配置为确定各抛落物图像中待测抛落物的位置坐标；
    所述获取部分，还配置为根据各抛落物图像的采集时间和各位置坐标，获取所述待测抛落物的关联位置坐标；
    生成部分，配置为基于所述关联位置坐标生成所述待测抛落物的运动轨迹片段；
    所述确定部分，还配置为响应于所述运动轨迹片段满足预设高空抛物条件，将所述待测抛落物确定为高空抛落物，并将所述运动轨迹片段确定为高空抛物事件的抛物轨迹片段；
    所述生成部分，还配置为基于所述抛物轨迹片段生成所述高空抛落物的完整抛物轨迹。
  12. 根据权利要求11所述的高空抛物检测装置，其中，
    所述获取部分，配置为对于任一待测图像，生成所述任一待测图像对应的二值图像；其中，所述二值图像包括第一像素值的前景运动物体和第二像素值的背景非运动物体；以及响应于所述前景运动物体在所述二值图像中的像素占比大于预设占比阈值，确定所述任一待测图像中存在所述待测抛落物，并确定所述任一待测图像为所述抛落物图像。
  13. 根据权利要求12所述的高空抛物检测装置，其中，
    所述获取部分，配置为将所述任一待测图像输入高斯混合模型，得到所述任一待测图像对应的初始二值图像；以及对所述初始二值图像进行图像去噪处理，得到所述任一待测图像对应的去噪后二值图像；以及对所述去噪后二值图像进行图像修补处理，得到所述任一待测图像对应的所述二值图像。
  14. 根据权利要求12所述的高空抛物检测装置，其中，
    所述确定部分，配置为对于任一抛落物图像，获取所述任一抛落物图像对应前景运动 物体在对应二值图像中的初始位置坐标集合；以及基于预设聚类算法和所述初始位置坐标集合确定所述任一抛落物图像中所述待测抛落物的坐标子集；以及计算所述待测抛落物的坐标子集对应的坐标平均值，并将所述坐标平均值确定为所述待测抛落物的所述位置坐标。
  15. 根据权利要求14所述的高空抛物检测装置，其中，
    所述确定部分12，配置为基于预设聚类算法和所述初始坐标集合对所述任一抛落物图像对应的前景运动物体进行分类处理，得到至少一个运动物体和任一运动物体对应的坐标子集；以及确定任一运动物体对应的像素数目；以及将所述像素数目大于预设数目阈值的目标运动物体确定为所述待测抛落物，将所述目标运动物体的坐标子集确定为所述待测抛落物的坐标子集。
  16. 根据权利要求11所述的高空抛物检测装置，其中，所述各抛落物图像至少包括存在第一抛落物的第一图像和存在第二抛落物的第二图像，所述第一图像和第二图像为采集时间相邻的前后两帧抛落物图像，
    所述获取部分，配置为根据所述第一图像和所述第二图像的采集时间、所述第一抛落物的位置坐标和所述第二抛落物的位置坐标，确定所述第一抛落物和所述第二抛落物之间的相似度参数；以及根据所述相似度参数和预算目标匹配算法对所述第一抛落物和所述第二抛落物进行匹配处理，得到匹配结果；以及根据所述匹配结果获取所述第一抛落物或所述第二抛落物的关联位置坐标。
  17. 根据权利要求11所述的高空抛物检测装置，其中，
    所述确定部分，还配置为基于所述关联位置坐标生成所述待测抛落物的运动轨迹片段之后，且响应于所述运动轨迹片段满足预设高空抛物条件之前，确定所述运动轨迹片段对应的拟合后直线与竖直方向的夹角、所述运动轨迹片段的长度、所述关联位置坐标中满足预设下落条件的位置坐标对应的下落百分比；以及响应于所述夹角小于预设角度阈值、所述长度大于预设长度阈值且所述下落百分比大于预设百分比阈值，确定所述运动轨迹片段满足所述预设高空抛物条件。
  18. 根据权利要求17所述的高空抛物检测装置，其中，所述关联位置坐标中至少包含所述待测抛落物分别在第三图像中的第三位置坐标和第四图像中的第四位置坐标，所述第三图像和第四图像为采集时间相邻的前后两帧抛落物图像，所述预设下落条件为所述第三位置坐标与所述第四位置坐标之间的横坐标差值大于预设阈值。
  19. 根据权利要求11所述的高空抛物检测装置，其中，
    所述生成部分，配置为基于所述抛物轨迹片段确定所述高空抛物事件的起始抛落物图像至结束抛落物图像；以及对所述起始抛落物图像至结束抛落物图像中的各抛落物图像中，所述待测抛落物的各关联位置坐标按照图像采集时间进行插值处理，得到所述完整抛物轨迹。
  20. 根据权利要求11至19任一项所述的高空抛物检测装置，其中，
    所述获取部分，还配置为获取初始图像，并基于预设多边形轮廓从所述初始图像中确定目标检测区域；以及基于所述目标检测区域生成最小检测边框，并基于所述最小检测边框对所述初始图像进行图像分割处理，得到所述待测图像。
  21. 一种高空抛物检测设备，所述高空抛物检测设备包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如权利要求1至10任一项所述的高空抛物检测方法。
  22. 一种计算机可读存储介质，其上存储有程序，应用于高空抛物检测设备中，所述程序被处理器执行时，实现如权利要求1至10任一项所述的高空抛物检测方法。
  23. 一种计算机程序，包括计算机可读代码，在所述计算机可读代码在电子设备中运行，被所述电子设备中的处理器执行的情况下，实现权利要求1至10任一项所述的高空抛物检测方法。
  24. 一种计算机程序产品，当其在计算机上运行时，使得计算机执行如权利要求1至10任一项所述的高空抛物检测方法。
PCT/CN2021/123509 2021-06-29 2021-10-13 高空抛物检测方法和装置、设备，及计算机存储介质 WO2023273010A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110729527.8 2021-06-29
CN202110729527.8A CN113409360A (zh) 2021-06-29 2021-06-29 高空抛物检测方法和装置、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
WO2023273010A1 true WO2023273010A1 (zh) 2023-01-05

Family

ID=77680174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/123509 WO2023273010A1 (zh) 2021-06-29 2021-10-13 高空抛物检测方法和装置、设备，及计算机存储介质

Country Status (2)

Country Link
CN (1) CN113409360A (zh)
WO (1) WO2023273010A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309709A (zh) * 2023-03-03 2023-06-23 成都众视通科技有限公司 一种高空抛物的检测方法和系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409360A (zh) * 2021-06-29 2021-09-17 深圳市商汤科技有限公司 高空抛物检测方法和装置、设备及计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193307A1 (en) * 2016-01-05 2017-07-06 The Mitre Corporation Camera surveillance planning and tracking system
CN111553274A (zh) * 2020-04-28 2020-08-18 青岛聚好联科技有限公司 一种基于轨迹分析的高空抛物检测方法及装置
CN111898511A (zh) * 2020-07-23 2020-11-06 北京以萨技术股份有限公司 基于深度学习的高空抛物检测方法、装置及介质
CN111931599A (zh) * 2020-07-20 2020-11-13 浙江大华技术股份有限公司 高空抛物检测方法、设备及存储介质
CN112016414A (zh) * 2020-08-14 2020-12-01 熵康(深圳)科技有限公司 一种检测高空抛物事件的方法、装置及楼面智能监控系统
CN112257557A (zh) * 2020-10-20 2021-01-22 中国电子科技集团公司第五十八研究所 一种基于机器视觉的高空抛物检测识别方法及系统
CN112884801A (zh) * 2021-02-02 2021-06-01 普联技术有限公司 高空抛物检测方法、装置、设备和存储介质
CN113409360A (zh) * 2021-06-29 2021-09-17 深圳市商汤科技有限公司 高空抛物检测方法和装置、设备及计算机存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309811B (zh) * 2018-08-31 2021-02-19 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测系统与方法
JP2019050007A (ja) * 2018-11-01 2019-03-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体
CN110415269B (zh) * 2019-07-19 2023-03-31 浙江大学 一种动静态背景下的目标跟踪算法
CN111260693B (zh) * 2020-01-20 2023-07-28 北京中科晶上科技股份有限公司 一种高空抛物的检测方法
CN111383244B (zh) * 2020-02-28 2023-09-01 浙江大华技术股份有限公司 一种目标检测跟踪方法
CN111488799B (zh) * 2020-03-13 2020-12-15 安徽小眯当家信息技术有限公司 一种基于图像识别的坠落物识别方法及系统
CN111401311A (zh) * 2020-04-09 2020-07-10 苏州海赛人工智能有限公司 一种基于图像检测的高空抛物识别方法
CN112132863A (zh) * 2020-09-21 2020-12-25 深圳市研超科技有限公司 一种高空抛物检测流程及分析方法
CN112800953A (zh) * 2021-01-27 2021-05-14 南京航空航天大学 一种基于计算机视觉的高空抛物检测、跟踪以及告警的系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193307A1 (en) * 2016-01-05 2017-07-06 The Mitre Corporation Camera surveillance planning and tracking system
CN111553274A (zh) * 2020-04-28 2020-08-18 青岛聚好联科技有限公司 一种基于轨迹分析的高空抛物检测方法及装置
CN111931599A (zh) * 2020-07-20 2020-11-13 浙江大华技术股份有限公司 高空抛物检测方法、设备及存储介质
CN111898511A (zh) * 2020-07-23 2020-11-06 北京以萨技术股份有限公司 基于深度学习的高空抛物检测方法、装置及介质
CN112016414A (zh) * 2020-08-14 2020-12-01 熵康(深圳)科技有限公司 一种检测高空抛物事件的方法、装置及楼面智能监控系统
CN112257557A (zh) * 2020-10-20 2021-01-22 中国电子科技集团公司第五十八研究所 一种基于机器视觉的高空抛物检测识别方法及系统
CN112884801A (zh) * 2021-02-02 2021-06-01 普联技术有限公司 高空抛物检测方法、装置、设备和存储介质
CN113409360A (zh) * 2021-06-29 2021-09-17 深圳市商汤科技有限公司 高空抛物检测方法和装置、设备及计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309709A (zh) * 2023-03-03 2023-06-23 成都众视通科技有限公司 一种高空抛物的检测方法和系统
CN116309709B (zh) * 2023-03-03 2024-02-27 成都众视通科技有限公司 一种高空抛物的检测方法和系统

Also Published As

Publication number Publication date
CN113409360A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN104303193B (zh) 基于聚类的目标分类
US9754160B2 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
WO2023273011A9 (zh) 高空抛物检测方法和装置、设备，及计算机存储介质
US9323991B2 (en) Method and system for video-based vehicle tracking adaptable to traffic conditions
Zhao et al. A people counting system based on face detection and tracking in a video
CN108052917B (zh) 一种基于新旧时相变化发现的违章建筑自动识别的方法
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN106600625A (zh) 检测小型生物的图像处理方法及装置
Tian et al. Real-time detection of abandoned and removed objects in complex environments
WO2023273010A1 (zh) 高空抛物检测方法和装置、设备，及计算机存储介质
CN114119676B (zh) 基于多特征信息融合的目标检测跟踪识别方法和系统
CN104978567B (zh) 基于场景分类的车辆检测方法
CN109711256B (zh) 一种低空复杂背景无人机目标检测方法
WO2022078182A1 (zh) 抛出位置获取方法、装置、计算机设备及存储介质
CN108198208B (zh) 一种基于目标跟踪的移动侦测方法
CN110874592A (zh) 一种基于总有界变分的森林火灾烟雾图像检测方法
CN114639075B (zh) 一种高空抛物坠物的识别方法、系统及计算机可读介质
Panda et al. A new Wronskian change detection model based codebook background subtraction for visual surveillance applications
Sharma et al. Automatic vehicle detection using spatial time frame and object based classification
CN113657250A (zh) 一种基于监控视频的火焰检测方法及系统
KR20200060868A (ko) 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
Michael et al. Fast change detection for camera-based surveillance systems
CN115719362A (zh) 一种高空抛物检测方法、系统、设备及存储介质
CN107067411B (zh) 一种结合密集特征的Mean-shift跟踪方法
CN113297949A (zh) 高空抛物检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21947937

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE