WO2023159985A1 - 一种基于视频检测技术的分拣中心异常行为的识别方法 - Google Patents
一种基于视频检测技术的分拣中心异常行为的识别方法 Download PDFInfo
- Publication number
- WO2023159985A1 WO2023159985A1 PCT/CN2022/126958 CN2022126958W WO2023159985A1 WO 2023159985 A1 WO2023159985 A1 WO 2023159985A1 CN 2022126958 W CN2022126958 W CN 2022126958W WO 2023159985 A1 WO2023159985 A1 WO 2023159985A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- foreground
- refers
- matrix
- express
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Definitions
- the invention relates to a method for identifying abnormal behavior of a sorting center based on video detection technology, and belongs to the technical fields of logistics management and video detection.
- the express mail sorting center has a huge circulation volume, and its staff is small, so it is often difficult to complete the inspection of express mail sorting exceptions while completing the sorting and forwarding of express mail. In most cases, user feedback or data census is needed to discover the retention problem caused by abnormal sorting, which seriously affects the user experience.
- a set of targeted video detection system can be designed.
- the technical problem to be solved by the present invention is that, aiming at the pain points existing in the actual production process of the logistics sorting center in the prior art, a variety of video detection methods applicable to the specific environment of the sorting center are proposed in a targeted manner.
- the filtering, dehazing, background extraction and motion recognition that need to be solved in the software have been professionally improved.
- the technical solution adopted by the present invention is: an automatic identification method of sorting center operation specifications based on video detection technology, which includes two parts: scene environment parameter adaptation and video real-time detection.
- scene environment parameter adaptation needs to preload some video frames to analyze the scene environment before the real-time video detection officially starts, and set some parameters in the video detection process, including the ambient atmospheric light matrix based on point light sources, Window size ⁇ and enhancement coefficient k for adaptive detail enhancement filtering, and a global background thresholding matrix based on scene smoothness.
- sunlight in the environment can be regarded as a kind of parallel light, so in the area covered by the camera, the atmospheric light conditions in each area are consistent, but in a relatively closed indoor environment, the light is often provided by lamps and lanterns.
- the indoor lighting of the sorting center can be regarded as a composite light environment of multiple point light sources. In this case, a single atmospheric light constant is not enough to describe the lighting environment of the entire scene, so it is necessary to calculate a global lighting matrix to replace the original atmospheric light constant.
- the calculation principle of the global illumination matrix is to adjust the light environment matrix in the entire screen according to the influence of the local light intensity characteristics of the dark channel map on the surrounding light environment.
- each image group includes 9 image blocks.
- a i,j max(Divide)where(i,j)in Divide.
- A is the final image lighting matrix.
- J C (x) refers to the value of the pixel point x of the image J on the C channel component.
- Feature k Quantile 0.99 (B x )-avg(B x ), x ⁇ (k), where ⁇ (k) is the kth division window of B, Quantile p (U) refers to the p-quantile of the set U, and avg(U) refers to the mean of the set U.
- the present invention proposes a background threshold calculation method based on scene smoothness.
- the present invention proposes a rapid prospect classification method based on the irregularity of the human body for the distinction between express mail and personnel.
- the foreground image is obtained by background subtraction, and the circumscribed matrix of the foreground object is obtained.
- the foreground type is judged, and the specific discriminant formula is as follows:
- the present invention provides a certain redundancy in the judgment of motion, and proposes a motion static judgment method based on a motion index.
- M when M is 1, it means that the person is in the moving state, and when it is 0, it means that the person is in the state of keeping in place.
- H is the height of the camera
- D(x, y) refers to the horizontal distance between the coordinate pixel point and the camera in the scene environment, which is the default value
- SP is the constant of the moving pace of the person, generally taking 0.5 times the step length, which is 0.7 meters .
- the present invention proposes a continuous frame object recognition method based on the rate of change of the inscribed matrix and the circumscribed matrix.
- the system In the continuous frames captured by the camera, when a foreground object is detected, the system will mark it, find the size of its external matrix m C ⁇ n C , m C ⁇ n C , find its inscribed matrix, and find its The coordinates C(x,y) of the midpoint of the inscribed matrix.
- the present invention divides the sorting cycle of the express into four stages: to be sorted-sorting-transmitting-stacking.
- F t refers to the background information of the foreground at time t in continuous time.
- the special lens of the conveyor belt is used for video detection, and it is judged that it is in the conveying state.
- the invention proposes a recognition method based on the boundary membership degree.
- u(x, y) refers to the degree of membership of the coordinate to the region
- x u refers to the abscissa of the point
- x c refers to the abscissa of the center point of the viewing area.
- len(long) refers to the length of the viewing area
- len(width) refers to the width of the viewing area.
- F when u(F cx , F cy ) ⁇ 1, it indicates that it enters the surrounding area, and F cx refers to the abscissa of the inscribed matrix of the express foreground.
- the situation of the express on the conveyor belt is particularly worthy of attention.
- the express may be blocked due to accumulation, or may be stuck due to shape problems, or may fall from the non-collecting basket due to inertia.
- the present invention proposes a series of identification methods.
- F t (C x ,C y ) F t+1 (C x ,C y ) is satisfied, and it is determined that a stuck position occurs abnormally.
- F Disappear ( ⁇ ) refers to the position of the foreground before disappearing in consecutive frames
- p k refers to the coordinates of the intersection point of the conveyor belt and the collection basket in the picture captured by the lens.
- the present invention proposes a detection method for abnormal missing parts under a wide-angle lens.
- the present invention has better anti-interference ability and denoising ability.
- the video detection capability of the present invention is more targeted, and only for the express sorting center environment, the video detection accuracy of the present invention is higher and the calculation is faster.
- the present invention conducts an in-depth analysis of many conditions of the express delivery sorting center, and can make judgments on various movement conditions of the express delivery in the whole scene, which does not exist in the prior art.
- Fig. 1 is a flowchart of the present invention.
- Fig. 2 is a flow chart of illumination matrix processing in the present invention.
- Fig. 3 is a flowchart of adaptive high-enhancement filtering in the present invention.
- Fig. 4 is a flow chart of background threshold matrix calculation in the present invention.
- a method for identifying abnormal behaviors of a sorting center based on video detection technology proposed in this embodiment includes two parts, scene debugging and on-site detection, in the specific implementation process, and its specific process is shown in Figure 1 .
- scene debugging In the process of scene debugging, it is divided into two parts: scene content debugging and daily parameter debugging.
- the daily parameter debugging part is to capture images by the camera before starting work every day.
- the first is the acquisition of the illumination matrix.
- the illumination matrix For details, please refer to Figure 2 in the accompanying drawing.
- Dark i,j min(J C (i,j)), 0 ⁇ i ⁇ m,0 ⁇ j ⁇ nC ⁇ R,G,B ⁇ , Where J C (x) refers to the value of the pixel in the image J at coordinates (i, j) on the C channel component.
- each image group includes 9 image blocks.
- Feature k Quantile 0.99 (B x )-avg(B x ), x ⁇ (k), where ⁇ (k) is the kth division of B Window, Quantile p (U) refers to the p quantile of the set U, and avg(U) refers to the average of the set U.
- the last is the extraction of the background threshold matrix.
- the daily parameter debugging is completed.
- the foreground is first obtained according to the background subtraction, and then the atmospheric light matrix is brought into the prior dark channel formula to dehaze the image.
- the foreground type is judged, and the specific discriminant formula is as follows:
- the status flow is: pending sorting - sorting - conveying - stacking.
- F Disappear ( ⁇ ) refers to the position of the foreground before it disappears in consecutive frames
- p k refers to the coordinates of the intersection of the conveyor belt and the collection basket in the picture captured by the lens.
- F t (C x ,C y ) F t+1 (C x ,C y ) is satisfied, and it is determined that a stuck position occurs abnormally.
- F Disappear ( ⁇ ) refers to the position of the foreground before disappearing in consecutive frames
- p k refers to the coordinates of the intersection point of the conveyor belt and the collection basket in the picture captured by the lens.
- the present invention proposes a recognition method, the steps are as follows;
- the present invention also proposes some processing methods for intermediate steps.
- u(x, y) refers to the degree of membership of the coordinate to the region
- x u refers to the abscissa of the point
- x c refers to the abscissa of the center point of the viewing area.
- len(long) refers to the length of the viewing area
- len(width) refers to the width of the viewing area.
- F when u(F cx , F cy ) ⁇ 1, it indicates that it enters the surrounding area, and F cx refers to the abscissa of the inscribed matrix of the express foreground.
Abstract
本发明公开了一种基于视频检测技术的分拣中心异常行为的自动识别方法。并针对分拣中心环境下的室内光源环境和前景类型的单调性，设计了更具有针对性的视频检测方法。同时，针对分拣中心的主体检测对象快件和分拣人员的活动进行了针对性检测，根据分拣中心异常行为的特征，提出了一系列用于检测异常情况的方法。
Description
本发明涉及一种基于视频检测技术的分拣中心异常行为的识别方法，属于物流管理和视频检测技术领域。
快件分拣中心的流通量极大，而其工作人员较少，往往难以在完成对快件的分拣转发之余完成对快件分拣异常的检查。大部分情况下，需要用户反馈或者数据普查才能够发现因为分拣异常而造成的滞留问题，这严重影响了用户的体验。
通过对摄像头采集到的连续图景进行检测，可以获取其中的关键物体的运动情况，结合摄像头所处的具体工作场景，可以设计出一套具有针对性的视频检测系统。
发明内容
本发明所要解决的技术问题是，针对现有技术中物流分拣中心在实际生产过程中存在的痛点，针对性地提出了多种基于分拣中心特定环境所适用的视频检测方法，对视频检测中所需要解决的滤波、去雾、背景提取和运动识别进行了专业性改进。
为实现上述目的，本发明采用的技术方案为：一种基于视频检测技术的分拣中心操作规范的自动识别方法，该方法包括场景环境参数自适应和视频实时检测两个部分。其中，场景环境参数自适应在视频实时检测正式开始前，需要预载入部分视频帧对场景环境进行分析，并对视频检测过程中的一些参数进行设置，包括基于点光源的环境大气光矩阵，自适应细节增强滤波的窗口大小σ和增强系数k，以及基于场景平滑度的全局背景阈值矩阵。
在摄像头所采集到的图像当中，存在着较多的噪点，这些噪点不会影响到人眼识别，但会对计算机智能处理图像造成较大的干扰，常用的去雾手段如基于先验性暗通道等手段，可以通过计算大气光常数代入公式处理图像以达到去雾降噪的效果。
而通常环境下的太阳光可以认作是一种平行光，因此在摄像头所覆盖区域内，其各区域内的大气光情况都是一致的，但在较为封闭的室内环境下，光照往往由灯具提供，由于灯具的质量和位置影响，分拣中心的室内光照可以看作是多个点光源的复合光环境。在这种情况下，单一的大气光常数已经不足以描述整个场景的光照环境，因此需要计算全局的光照矩阵以替代原有的大气光常数。
全局光照矩阵的计算原理是根据暗原色图的局部光亮强度特征对周围光环境的影响，调整整个画面内的光环境矩阵。
首先，系统对输入的大小为m×n图像进行类型转换，求其暗原色图，暗原色图Dark
i,j＝min(J
C(i,j))，0≤i<m,0≤j<nC∈{R,G,B}，其中J
C(i,j)指图像J在坐标(i,j)处像素在C通道分量上的值。
其次，设定步长step为
窗口大小为
从图像的左上角开始，逐步向右按步长平移，获得15个图像块。并对列按同理平移，从图像里获得15×15个图像块，计算各个图像块的亮度特征Divide
p,q＝max(Dark
i,j),(i,j)∈Ω(p,q),0≤p<15,0≤q<15，其中，Ω(p,q)为所划分的第p行第q列的图像块，(i,j)∈Ω(p,q)指属于该图像块的像素的坐标。
然后，对前一步获得的图像块进行组合，设新窗口为(3，3)，对矩阵Divide
i,j做非覆盖平移分割，得到一组5×5的图像组，每个图像组包括9个图像块。并计算每一个图像组的特征值，得到图像组特征矩阵为
其中，
Divide
t,s指第t行， 第s列的图像组所包含的图像块，
指该图像组中，从左至右，从上至下第i个图像块。
通过这一系列数据清洗和过滤，得到了图像亮度的三级特征，紧接着，我们从图像组特征开始，逐级向下对亮度特征进行规约。
首先根据Var的情况对Divide做出修正，当该图像组的特征值大于平均特征值时，用该图像组内各图像块特征的最大值来代替组内的所有值。当该图像组的平均值小于平均特征值时，同该图像组内各图像块的平均特征值来代替组内的所有值。修正公式为：
在完成对图像块特征的修正后，由于大部分像素都有多个图像块覆盖其上，因此我们取覆盖像素的图像块特征的最大值作为该点的大气光常数，有A
i,j＝max(Divide)where(i,j)in Divide。A为最终的图像光照矩阵。
由于快递分拣中心的环境比较复杂，对于精细行为和物体的识别要求也随之提高，直接获取的图像由于边缘钝化的问题，在细节表现上往往存在一定问题，虽然更加符合肉眼视觉，但不利于机器处理。因此，我们需要对摄像头采集到的图像做进一步处理，以强化其细节特征。
在这里，我们采用了自适应的高增强滤波，在这个过程中，首先我们需要确定该场景滤波的窗口大小，我们首先给定一个较小的窗口，然后不断扩展这个窗口大小，同时计算一系列的特征参数。
首先，对输入的图像J，有其暗原色图B
x＝0.59×J
R(x)+0.3×J
G(x)+0.11×J
B(x)。其中，J
C(x)指图像J的像素点x在C通道分量上的值。
其次，我们设初始窗口大小为3×3，并以此对整个图像做非覆盖平移分割，将整个图像划分为
个窗口，并获得窗口集合U，有Feature
k＝ Quantile
0.99(B
x)-avg(B
x),x∈Ω(k)，其中，Ω(k)为B的第k个划分窗口，Quantile
p(U)指集合U的p分位数，avg(U)指集合U的平均数。
当75％以上的Feature
k<Quantile
0.75(B
x)-Quantile
0.25(B
x)
1.5，扩大窗口为1.3倍，并不断计算其特征值，直到寻找到满足条件的最大窗口大小σ×σ。
然后，根据所确定的最大窗口的特征值，求增强系数
最后，对输入的图像J，做拉普拉斯变换得到边缘特征矩阵
并得到滤波图像公式
在获取到图像之后，需要进一步获取捕捉到的物体信息。由于摄像头的位置固定，因此背景可以确定，通过背景减法可以很轻松的获取前景。当所获取的图像信息和背景有出入时，变化部分就是捕捉到的物体，为了减少噪声，提高信息有效性，当变化满足一定阈值时，才认定为存在物体。由于场景环境存在着一定的差异性，在不同的位置有着不同的阈值，基于此，本发明提出了一种基于场景平滑度的背景阈值计算方法。
在工作场所启用前，对环境进行背景采取，获得背景图,生成其对应的灰度图B，并生成零矩阵S＝zeros(m,n)。
对m×n的背景图，设定窗口大小为
step为
对图像进行平移取块，计算得到每个窗口的场景平滑度。
由于窗口之间存在重合，因此对于每一个像素点的平滑度而言，求其所属的所有窗口的场景平滑度之和，即S(x)＝S(x)+smooth,x∈B
Ω(k)，其中， B
Ω(k)指灰度图B所划分出的第k个窗口所在区域，mean()指中位数，avg()指平均值。
最后，建立各像素点背景阈值
在获得各像素点的背景阈值之后，就需要对前景进行提取分类。由于在快件分拣中心，环境中的物体类型较为简单，只有车辆、人员和快件三类。由于车辆的体积较大，可以从前景面积上简单分类。因此本发明针对快件和人员的区别，提出了一种基于人体不规则性的快速前景分类法。
首先通过背景减法求得前景图，并求前景物体的外接矩阵。
然后对外接矩阵所涵盖的图像，做二值处理，其中背景为0，前景为1，得到m×n的二值图像P。
对于图像P，存在着一组同心像素圈C
k,
对于这组同心像素圈，计算其前景分布有：
根据前景分布D
k，判断该前景类型，其具体判别公式如下：
至此，我们完成了对图像的处理和物体信息的捕捉，接下来，我们就要根据捕捉到的物体，获取其运动信息。
在获取运动信息时，由于人体在局部范围可能存在着晃动和转体，以及其他带动躯干的原地行为，如果仅以位移为标准判断其运动和静止状态，会存在很大的出入。因此，本发明对运动的判断给出了一定的冗余，提出了一种基于移动指标的运动静止判别方式。
对于给定的一组帧序列，以及在该组帧序列中连续存在的某个人员前景
首先计算移动指标
其中，M为1时，代表该人员处于移动状态，为0时，代表该人员处于原地保持状态。
指在给定的前景F
P在第k帧图像中的像素横坐标，一般取所属区域的底部中间位置。H为摄像头的高度，D(x,y)指该坐标像素点在现场环境中与摄像头的水平距离，为预设值，SP为人员移动的步伐常数，一般取0.5倍步长也就是0.7米。
同时，由于物体会不断的运动，如何在一组连续的帧中，标注出属于同一物体的前景，也是一个问题，由于分拣中心环境的单调性，以及目标前景轮廓的规则性和移动的低速性，本发明提出了一种基于内接矩阵和外接矩阵变化率的连续帧物体识别方法。
在摄像头捕捉到的连续帧中，当检测到前景物体时，系统对其进行标注，求其外界矩阵的大小m
C×n
C,m
C≥n
C，求其内接矩阵，并求得其内接矩阵的中点坐标C(x,y)。
当画面转向下一帧时，当新标注物体内接矩阵的中点坐标C′(x,y)和外界矩阵大小m
C×n
C,m
C′≥n
C′满足
且属于同一类物体时，则可以标注其为同一物体。其中v为变化率，初始值为0.25
由于物体运动并不是匀速的，因此，根据物体在两帧当中的位移情况，更新其变化率，使其可以对变速运动的物体进行标注。公式为：
在快件分拣中心中，本发明将快件的分拣周期分为待分拣-分拣中-传送中-堆积中这四个阶段。
对已标注为同一前景的快件，获得其一段时间内的帧信息F＝{F
0,F
1,F
2,…,F
n}。其中，F
t指在连续时间内，t时刻该前景的在背景上的信息。在此基础上，获得该前景在这段时间内的运动信息M＝{M
0～1,M
1～2,…,M
n-1～n},M
t-1～t＝(F
t-1(C
x,C
y),F
t(C
x,C
y)),t∈{1,2,…,n},其中，F
t(C
x,C
y)指该前景在t时刻，内接矩阵的中点坐标。然后对该前景的当前状态进行判定，判定其是否处于当前状态，或者转入下一状态，或者出现异常。
对处于待分拣状态的快件，当M
k-1～k满足
时，认定其进入分拣中状态，其中，F
k(S)指在k时刻，该帧的前景面积,U(C
x,C
y)指分拣人员的前景内接矩阵的中点坐标。
对于处于分拣中状态的快件，根据多镜头画面拼接，判定其进入传送带后，转由传送带专用镜头进行视频检测，并判定其进入传送中状态。
处在传送中的快件，当
时，认定其进入堆积态中,其中，F
Disappear(σ)指前景在连续帧中消失前的位置，p
k指在该镜头捕捉的画面内的传送带和收集筐的交汇点的坐标。
由于场景过大，因此单一的摄像头无法满足需求，为了精确获得分拣中心内部的情况，需要大量的摄像头联合运作，而在不同摄像头捕捉到的图像中，如何确定某一连续运动的物体，本发明提出了一种基于边界隶属度的识别方法。
对摄像头进行层级划分和区域规定，高精度小区域摄像头的检测层级更高，大区域摄象头和小区域摄像头的边界重合。同时，对边界区域进行隶属度划分，其公式为：
其中，u(x,y)指该坐标对于区域的隶属度，x
u指该点的横坐标，x
c指该取景区域的中心点横坐标。len(long)指该取景区域的长度，len(width)指该取景区域的宽度。
对于快件F,当u(F
cx,F
cy)<1，时，表明其进入周边区域，F
cx指快件前景的内接矩阵的横坐标。
对于进入周边区域的快件，在一组连续帧内满足
恒成立且
恒成立时，则称快件在从摄像头S1向摄像头S2所属区域运动，当
时，则认为快件进入S2所属区域，其中，
指快件在t+1时刻，对摄像头S1的隶属度。
快件在传送带上的情况特别值得关注，在这个阶段，快件可能由于堆积而产生堵塞，也可能由于形态问题导致卡位，也可能由于惯性从非收集筐处掉落，针对这三种异常情况，本发明提出了一系列的识别方法。
对于在传送带上连续运动的一组前景，在一组连续帧内，满足F’
t(S)>0,F
t(C
x,C
y)＝F
t+1(C
x,C
y),且不唯一时，则判断出现堵塞异常。
对于在传送带上连续运动的某个前景，在一组连续帧内，满足F
t(C
x,C
y)＝F
t+1(C
x,C
y)，判定出现卡位异常。
对于在传送带上连续运动的某个前景，当其前景消失，且
时，判定出现掉落异常,其中，F
Disappear(σ)指前景在连续帧中消失前的位置，p
k指在该镜头捕捉的画面内的传送带和收集筐的交汇点的坐标。
在快件分拣的过程中，由于手工操作可能存在的失误，有些快件可能被遗漏在一些地方，这会带来很严重的贻误。为了解决这一问题，本发明提出了广角镜头下的异常遗漏件的检测方法。
对于广角镜头捕捉到的快件前景，在一组连续帧内，满足F
t＝F
t+1,t∈(0,n),则判定其处于静止状态。
对于静止状态的前景，求其外接矩阵，并以原外接矩阵为中心，扩展1.5倍，得到轮廓矩阵F
O
当轮廓矩阵满足
时，判定其处于异常遗漏状态,其中，F
else指该广角矩阵捕捉到的其他前景
与现有技术相比，本发明的有益效果是：
针对室内多光源情况，本发明的抗干扰能力和去噪能力更好。
本发明的视频检测能力更加具有针对性，只对快递分拣中心环境，本发明的视频检测精度更高，计算更快。
对起伏较大，环境复杂的场景，本发明的视频处理后，边缘细节更加丰富。
本发明对快递分拣中心的诸多情况进行了深入分析，可以对快件在全场景的诸多运动状况做出判断，这在现有技术中是不存在的。
图1是本发明的流程框图。
图2是本发明中光照矩阵处理的流程框图。
图3是本发明中自适应高增强滤波的流程框图。
图4是本发明中背景阈值矩阵计算的流程框图。
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本实施例提出的一种基于视频检测技术的分拣中心异常行为的识别方法，在具体实施过程中，包括场景调试和现场检测两个部分，其具体流程如图1所示。
在场景调试的过程中，又分为场景内容调试和日常参数调试两个部分。
在场景内容调试的过程中，首先需要安装好对应摄像头，并且根据摄像头捕捉范围的边际重叠，设定各个摄像头的边际隶属度。同时，针对传送带部分的专用摄像头，对其摄像头捕捉范围内的收集筐进入点进行范围标识。
日常参数调试部分则是在每日开始工作前，摄像头捕捉图像。
首先是光照矩阵的获取，详情可参考说明书附图图2。对m×n的输入彩色图像，求其暗原色图Dark
i,j＝min(J
C(i,j))，0≤i<m,0≤j<nC∈{R,G,B}，其中J
C(x)指图像J在坐标(i,j)处像素在C通道分量上的值。
设定步长step，经验上取step为
窗口大小为
将整个图像划分为225个图像块。有划分后的图像块Divide
p,q＝max(Dark
i,j),(i,j)∈Ω(p,q),0≤p<15,0≤q<15，其中，Ω(p,q)为所划分的第p行第q列的图像块，(i,j)∈Ω(p,q)指属于该图像块的像素的坐标。
设新窗口为(3，3)，对矩阵Divide做非覆盖平移分割,得到一组5×5的图像组，每个图像组包括9个图像块。并计算每一个图像组的特征值，得到图像组特征矩阵为
其中，
Divide
t,s指第t行，第s列的图像组所包含的图像块，
指该图像组中，从左至右，从上至下第i个图像块。
根据Var的情况对Divide做出修正，修正方法为：
取覆盖像素的图像块特征的最大值作为该点的大气光常数，有A
i,j＝max(Divide)where(i,j)in Divide。得到最终的光照矩阵A。
然后是自适应高增强滤波的参数获取，详情可参考说明书附图图3，对输入的图像J，有B
x＝0.59×J
R(x)+0.3×J
G(x)+0.11×J
B(x)。其中，J
C(x)指图像J的像素点x在C通道分量上的值。
设窗口大小为3×3，非覆盖平移窗口，有Feature
k＝Quantile
0.99(B
x)-avg(B
x),x∈Ω(k)，其中，Ω(k)为B的第k个划分窗口，Quantile
p(U)指集合U的p分位数，avg(U)指集合U的平均数。
当75％以上的Feature
k<Quantile
0.75(B
x)-Quantile
0.25(B
x)
1.5，扩大窗口为1.3倍，直到寻找到满足条件的最大窗口大小σ×σ。
求增强系数
对输入的图像J，做拉普拉斯变换得到边缘特征矩阵
最后是背景阈值矩阵的提取，详情可参考说明书附图图4，对环境进行背景采取，获得背景图,生成其对应的灰度图B，并生成零矩阵S＝zeros(m,n)。
对m×n的背景图，设定窗口大小为
step为
对图像进行平移取块，有
S(x)＝S(x)+smooth,x∈B
Ω(k)，其中，B
Ω(k)指灰度图B所划分出的第k个窗口所在区域，mean()指中位数，avg()指平均值。
建立各像素点背景阈值
在获得大气光矩阵，背景阈值矩阵，和滤波参数之后，完成日常参数的调试。
在现场检测过程中，对获取到的图像，首先根据背景减法获取其前景，然后将大气光矩阵带入到先验性暗通道公式中，对图像进行去雾处理。
然后根据公式
增强图像细节，最终得到图像有效前景。
在得到前景后，我们根据前景的特征判断所属类型。
求前景物体的外接矩阵，对外接矩阵所涵盖的图像，做二值处理，其中背景为0，前景为1，得到m×n的二值图像P。
对于图像P，存在着一组同心像素圈C
k,
对于这组同心像素圈，计算其前景分布有：
根据前景分布D
k，判断该前景类型，其具体判别公式如下：
对于人员而言，我们需要根据其运动情况判断是否在正常工作中。
对于给定的一组帧序列，以及在该组帧序列中连续存在的某个人员前景
首先计算移动指标
而对于快件，本发明将其划分为四个部分。状态流程为：待分拣-分拣中-传送中-堆积中。
对已标注为同一前景的快件，获得其一段时间内的帧信息F＝{F
0,F
1,F
2,…,F
n}其中，F
t指在连续时间内，t时刻该前景的在背景上的信息。在此基础上，获得该前景在这段时间内的运动信息M＝{M
0～1,M
1～2,…,M
n-1～n},M
t-1～t＝(F
t-1(C
x,C
y),F
t(C
x,C
y)),t∈{1,2,…,n},其中，F
t(C
x,C
y)指该前景在t时刻，内接矩阵的中点坐标。然后对该前景的当前状态进行判定，判定其是否处于当前状态，或者转入下一状态，或者出现异常。
对处于待分拣状态的快件，当M
k-1～k满足
对于处于分拣中状态的快件，通过多镜头画面拼接，判定其进入传送带后，转由传送带专用镜头进行视频检测，并判定其进入传送中状态。
处在传送中的快件，当其满足于
时，认定其进入堆积态中,其中，F
Disappear(σ)指前景在连续帧中消失前的位置，p
k指在该镜头捕捉的画面内的传送带和收集筐的交汇点的坐标。
对于在传送带上运动的快件，提出了一种检测其异常状态的方法，其异常类型如下：
对于在传送带上连续运动的一组前景，在一组连续帧内，满足F’
t(S)>0,F
t(C
x,C
y)＝F
t+1(C
x,C
y),且不唯一时，则判断出现堵塞异常。
对于在传送带上连续运动的某个前景，在一组连续帧内，满足F
t(C
x,C
y)＝F
t+1(C
x,C
y)，判定出现卡位异常。
对于在传送带上连续运动的某个前景，当其前景消失，且
时，判定出现掉落异常,其中，F
Disappear(σ)指前景在连续帧中消失前的位置，p
k指在该镜头捕捉的画面内的传送带和收集筐的交汇点的坐标。
对于广角镜头捕捉到的画面中的快件异常遗漏，本发明提出了一种识别方法，步骤如下；
对于广角镜头捕捉到的快件前景，在一组连续帧内，满足F
t＝F
t+1,t∈(0,n),则判定其处于静止状态。
对于静止状态的前景，求其外接矩阵，并以原外接矩阵为中心，扩展1.5倍，得到轮廓矩阵F
O
当轮廓矩阵满足
时，判定其处于异常遗漏状态,其中，F
else指该广角矩阵捕捉到的其他前景。
为了完成这些目标，本发明还提出了一些中间步骤的处理方法。
为解决不同帧之间的物体标注问题，提出了一种基于帧间变化解决物体连续识别的方法，其具体步骤如下：
当检测到前景物体时，对其进行标注，求其外界矩阵的大小m
C×m
C,m
C≥n
C，求其内接矩阵，并求得其内接矩阵的中点坐标C(x,y)。
当画面转向下一帧时，当新标注物体内接矩阵的中点坐标C′(x,y)和外界矩阵大小m
C×n
C,m
C′≥n
C′满足
且属于同一类物体时，则可以标注其为同一物体。其中v为变化率，初始值为0.25
完成连续识别后，更新变化率v的值，公式为：
重复这个过程，对连续帧的物体进行标注。
针对场景过大，部分视频检测精度要求高的特征，提出了一种物体在不同摄像头中进行连续捕获，并进行隶属度判定和连续性判定的一种方法，其具体步骤为：
对摄像头进行层级划分和区域规定，高精度小区域摄像头的检测层级更高，大区域摄象头和小区域摄像头的边界重合。同时，对边界区域进行隶属度划分，其公式为：
其中，u(x,y)指该坐标对于区域的隶属度，x
u指该点的横坐标，x
c指该取景区域的中心点横坐标。len(long)指该取景区域的长度，len(width)指该取景区域的宽度。
对于快件F,当u(F
cx,F
cy)<1，时，表明其进入周边区域，F
cx指快件前景的内接矩阵的横坐标。
对于进入周边区域的快件，在一组连续帧内满足
恒成立且
恒成立时，则称快件在从摄像头S1向摄像头S2所属区域运动，当
时，则认为快件进入S2所属区域。
应该注意的是，上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。
Claims (10)
- 一种基于视频检测技术的分拣中心异常行为的识别方法，其特征在于：包括如下步骤：步骤1、固定摄像头采集到图像；在场景内容调试的过程中，首先安装对应摄像头，并且根据摄像头捕捉范围的边际重叠，设定各个摄像头的边际隶属度；同时，针对传送带部分的专用摄像头，对其摄像头捕捉范围内的收集筐进入点进行范围标识；日常参数调试部分则是在每日开始工作前，通过摄像头捕捉图像；步骤2、根据区域的光照差异进行去雾处理；步骤3、采用自适应高增强滤波提高图像的细节；步骤4、根据工作场景的固定性和工作区域的差异性，基于场景平滑度的背景减法提取前景；步骤5、对图像的前景进行分类，判断快件和人员；步骤6、对快件的待分拣-分拣中-传送中-堆积中状态进行识别；步骤7、对不同状态下的快件异常进行识别。
- 根据权利要求1所述的基于视频检测技术的分拣中心异常行为的识别方法，其特征在于：所述步骤2中，去雾处理是针对分拣中心的点光源情况，采用局部光照条件进行计算，其具体步骤如下：步骤2.1、对m×n的输入彩色图像，求其暗原色图Dark i,j＝min(J C(i,j))，0≤i<m,0≤j<nC∈{R,G,B}，其中J C(x)指图像J在坐标(i,j)处像素在C通道分量上的值；步骤2.2、设定步长step，经验上取step为窗口大小为
将整个图像划分为225个图像块，有划分后的图像块Divide p,q＝max(Dark i,j),(i,j)∈Ω(p,q),0≤p<15,0≤q<15；其中，Ω(p,q)为所划分的第p行第q列的图像块，(i,j)∈Ω(p,q)指属于该图像块的像素的坐标；
步骤2.3、设新窗口为(3，3)，对矩阵Divide做非覆盖平移分割,得到一组5×5的图像组，每个图像组包括9个图像块；并计算每一个图像组的特征值，得到图像组特征矩阵为其中，
Divide t,s指第 t行，第s列的图像组所包含的图像块，
指该图像组中，从左至右，从上至下第i个图像块；
步骤2.4、根据Var的情况对Divide做出修正，修正方法为：
步骤2.5、取覆盖像素的图像块特征的最大值作为该点的大气光常数，有A i,j＝max(Divide)where(i,j)in Divide。得到最终的光照矩阵A。 - 根据权利要求1所述的基于视频检测技术的分拣中心异常行为的识别方法，其特征在于：所述步骤3的具体方法为：步骤3.1、对输入的图像J，有B x＝0.59×J R(x)+0.3×J G(x)+0.11×J B(x)；其中，J C(x)指图像J的像素点x在C通道分量上的值；步骤3.2、设窗口大小为3×3，非覆盖平移窗口，有Feature k＝Quantile 0.99(B x)-avg(B x),x∈Ω(k)，其中，Ω(k)为B的第k个划分窗口，Quantile p(U)指集合U的p分位数，avg(U)指集合U的平均数；步骤3.3、当75％以上的Feature k<Quantile 0.75(B x)-Quantile 0.25(B x) 1.5，扩大窗口为1.3倍，直到寻找到满足条件的最大窗口大小σ×σ；步骤3.4、求增强系数
步骤3.5、对输入的图像J，做拉普拉斯变换得到边缘特征矩阵
步骤3.6、计算滤波后图像
- 根据权利要求1所述的基于视频检测技术的分拣中心异常行为的识别方法，其特征在于：步骤4.1、在工作场所启用前，对环境进行背景采取，获得背景图，生成其对应的灰度图B，并生成零矩阵S＝zeros(m,n)；步骤4.2、对m×n的背景图，设定窗口大小为step为
对图像进行平移取块，有
S(x)＝S(x)+smooth,x∈B Ω(k)，其中，B Ω(k)指灰度图B所划分出的第k个窗口所在区域，mean()指中位数，avg()指平均值；
步骤4.3、建立各像素点背景阈值
- 根据权利要求1所述的基于视频检测技术的分拣中心异常行为的识别方法，其特征在于：在获得各像素点的背景阈值之后，就需要对前景进行提取分类；根据分拣中心前景的单调性，只存在车辆、人员和快件三类物体，且由于车辆的体积与其他两类差距大，可以从前景面积上进行简单分类，由此提出了一种基于人体轮廓不规则性的，应用于分拣中心场景的人员、快件前景区分的方法，其具体步骤如下：步骤5.1、通过背景减法求得前景图，并求前景物体的外接矩阵。步骤5.2、对外接矩阵所涵盖的图像，做二值处理，其中背景为0，前景为1，得到m×n的二值图像P；步骤5.3、对于图像P，存在着一组同心像素圈对于这组同心像素圈，计算其前景分布有：
步骤5.4、根据前景分布D k，判断该前景类型，其具体判别公式如下：
- 根据权利要求5所述的基于视频检测技术的分拣中心异常行为的识别方法，其特征在于：所述步骤5中，需要对划分为人员的个体判断其状态是运动还是静止，其具体方法如下：对于给定的一组帧序列，以及在该组帧序列中连续存在的某个人员前景首先计算移动指标
其中，M为1时，代表该人员处于移动状态，为0时，代表该人员处于原地保持状态；指在给定的前景F P在第k帧图像中的像素横坐标，一般 取所属区域的底部中间位置；H为摄像头的高度，D(x,y)指该坐标像素点在现场环境中与摄像头的水平距离，为预设值，StepP为人员移动的步伐常数，一般取0.5倍步长也就是0.7米；
由于物体不断运动，需在一组连续的帧中标注出属于同一物体的前景，其具体内容为：在摄像头捕捉的连续帧中，当检测到前景物体时，对其进行标注，求其外界矩阵的大小m C×n C,m C≥n C，求其内接矩阵，并求得其内接矩阵的中点坐标C(x,y)；当画面转向下一帧时，当新标注物体内接矩阵的中点坐标C′(x,y)和外界矩阵大小m C×n C,m C′≥n C′满足且属于同一类物体时，则可以标注其为同一物体。其中v为变化率，初始值为0.25；完成连续识别后，更新变化率v的值，公式为：
- 根据权利要求1所述的基于视频检测技术的分拣中心异常行为的识别方法，其特征在于：所述步骤6中，步骤6.1、对已标注为同一前景的快件，获得其一段时间内的帧信息F＝{F 0,F 1,F 2,…,F n}其中，F t指在连续时间内，t时刻该前景的在背景上的信息；在此基础上，获得该前景在这段时间内的运动信息M＝{M 0～1,M 1～2,…,M n-1～n},M t-1～t＝(F t-1(C x,C y),F t(C x,C y)),t∈{1,2,…,n},其中，F t(C x,C y)指该前景在t时刻，内接矩阵的中点坐标；然后对该前景的当前状态进行判定，判定其是否处于当前状态，或者转入下一状态，或者出现异常；步骤6.2、对处于待分拣状态的快件，当M k-1～k满足时，认定其进入分拣中状态，其中，F k(S)指在k时刻，该帧的前景面积，U(C x,C y)指分拣人员的前景内接矩阵的中点坐标；
步骤6.3、对于处于分拣中状态的快件，通过多镜头画面拼接，判定其进入传送带后，转由传送带专用镜头进行视频检测，并判定其进入传送中状态；步骤6.4、处在传送中的快件，当其满足于时，认定其进入堆积态中，其中，F Disappear(σ)指前景在连续帧中消失前的位置，p k指在 该镜头捕捉的画面内的传送带和收集筐的交汇点的坐标。
- 根据权利要求7所述的基于视频检测技术的分拣中心异常行为的识别方法，其特征在于：所述步骤6.3中，在多镜头画面拼接的应用中，由于场景过大，视频检测精度要求高，需对一种物体在不同摄像头中进行连续捕获，并进行隶属判定和连续判定，其具体步骤为：步骤6.3.1、对摄像头进行层级划分和区域规定，高精度小区域摄像头的检测层级更高，大区域摄象头和小区域摄像头的边界重合；同时，对边界区域进行隶属度划分，其公式为：其中，u(x,y)指该坐标对于区域的隶属度，x u指该点的横坐标，x c指该取景区域的中心点横坐标，len(long)指该取景区域的长度，len(width)指该取景区域的宽度；
步骤6.3.2、对于快件F,当u(F cx,F cy)<1，时，表明其进入周边区域，F cx指快件前景的内接矩阵的横坐标；步骤6.3.3、对于进入周边区域的快件，在一组连续帧内满足恒成立且
恒成立时，则称快件在从摄像头S1向摄像头S2所属区域运动，当
时，则认为快件进入S2所属区域。
- 根据权利要求7所述的基于视频检测技术的分拣中心异常行为的识别方法，其特征在于：所述步骤6.4中，需针对在传送带上运动的快件出现的异常情况进行识别，具体步骤如下：步骤6.4.1、对于在传送带上连续运动的一组前景，在一组连续帧内，满足F t’(S)>0,F t(C x,C y)＝F t+1(C x,C y),且不唯一时，则判断出现堵塞异常；步骤6.4.2、对于在传送带上连续运动的某个前景，在一组连续帧内，满足F t(C x,C y)＝F t+1(C x,C y)，判定出现卡位异常；步骤6.4.3、对于在传送带上连续运动的某个前景，当其前景消失，且时，判定出现掉落异常,其中，F Disappear(σ)指前景在连续帧中消失前的位置，p k指在该镜头捕捉的画面内的传送带和收集筐的交汇点的坐标。
- 根据权利要求7所述的基于视频检测技术的分拣中心异常行为的识别方法，其特征在于：所述步骤6.4中，在快件分拣的过程中，由于手工操作存在失误会导致快件被遗漏，需对广角镜头下的异常遗漏件进行检测，其具体步 骤如下：步骤6.4.4、对于广角镜头捕捉到的快件前景，在一组连续帧内，满足F t＝F t+1,t∈(0,n),则判定其处于静止状态。步骤6.4.5、对于静止状态的前景，求其外接矩阵，并以原外接矩阵为中心，扩展1.5倍，得到轮廓矩阵F O步骤6.4.6、当轮廓矩阵满足时，判定其处于异常遗漏状态,其中，F else指该广角矩阵捕捉到的其他前景。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210176805.6A CN114581824A (zh) | 2022-02-25 | 2022-02-25 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
| CN202210176805.6 | 2022-02-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023159985A1 true WO2023159985A1 (zh) | 2023-08-31 |
Family
ID=81773703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/126958 WO2023159985A1 (zh) | 2022-02-25 | 2022-10-24 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114581824A (zh) |
| WO (1) | WO2023159985A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581824A (zh) * | 2022-02-25 | 2022-06-03 | 南京邮电大学 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
| CN115171217B (zh) * | 2022-07-27 | 2023-03-03 | 北京拙河科技有限公司 | 一种动态背景下的动作识别方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017224243A (ja) * | 2016-06-17 | 2017-12-21 | 株式会社日立ビルシステム | 荷物預入システムおよび異常検知方法 |
| CN112749596A (zh) * | 2019-10-31 | 2021-05-04 | 顺丰科技有限公司 | 异常画面检测方法、装置、电子设备和存储介质 |
| CN112791967A (zh) * | 2020-12-18 | 2021-05-14 | 科捷智能科技股份有限公司 | 异常件检测与调流分拣方法 |
| CN114581824A (zh) * | 2022-02-25 | 2022-06-03 | 南京邮电大学 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
-
2022
- 2022-02-25 CN CN202210176805.6A patent/CN114581824A/zh active Pending
- 2022-10-24 WO PCT/CN2022/126958 patent/WO2023159985A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017224243A (ja) * | 2016-06-17 | 2017-12-21 | 株式会社日立ビルシステム | 荷物預入システムおよび異常検知方法 |
| CN112749596A (zh) * | 2019-10-31 | 2021-05-04 | 顺丰科技有限公司 | 异常画面检测方法、装置、电子设备和存储介质 |
| CN112791967A (zh) * | 2020-12-18 | 2021-05-14 | 科捷智能科技股份有限公司 | 异常件检测与调流分拣方法 |
| CN114581824A (zh) * | 2022-02-25 | 2022-06-03 | 南京邮电大学 | 一种基于视频检测技术的分拣中心异常行为的识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114581824A (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023159985A1 (zh) | 一种基于视频检测技术的分拣中心异常行为的识别方法 | |
| WO2022099598A1 (zh) | 一种基于图像像素相对统计特征的视频动态目标检测的方法 | |
| CN107833221B (zh) | 一种基于多通道特征融合和机器学习的漏水检测方法 | |
| CN107133969B (zh) | 一种基于背景反投影的移动平台运动目标检测方法 | |
| US7639878B2 (en) | Shadow detection in images | |
| CN103049787B (zh) | 一种基于头肩特征的人数统计方法和系统 | |
| CN109635758B (zh) | 智慧工地基于视频的高空作业人员安全带穿戴检测方法 | |
| CN104574389A (zh) | 基于彩色机器视觉的电池片色差分选控制方法 | |
| CN105160297B (zh) | 基于肤色特征的蒙面人事件自动检测方法 | |
| Xiong et al. | Color sensors and their applications based on real-time color image segmentation for cyber physical systems | |
| CN103246896B (zh) | 一种鲁棒性车辆实时检测与跟踪方法 | |
| WO2022027931A1 (zh) | 基于视频图像的运动车辆前景检测方法 | |
| CN104749184A (zh) | 自动光学检测方法和系统 | |
| KR20050117276A (ko) | 비디오 영상으로부터 이동 물체를 추출하는 장치 및 방법 | |
| CN113139521A (zh) | 一种用于电力监控的行人越界标监测方法 | |
| CN110047063B (zh) | 一种物料掉落的检测方法、装置、设备及存储介质 | |
| CN112001299B (zh) | 一种隧道车指器和照明灯故障识别方法 | |
| CN111476804A (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
| CN112419261A (zh) | 具有异常点去除功能的视觉采集方法及装置 | |
| CN112364865A (zh) | 一种复杂场景中运动小目标的检测方法 | |
| Wu et al. | Video surveillance object recognition based on shape and color features | |
| CN103578121B (zh) | 干扰运动环境下基于共享高斯模型的运动检测方法 | |
| Almomani et al. | Segtrack: A novel tracking system with improved object segmentation | |
| CN112686872A (zh) | 基于深度学习的木材计数方法 | |
| Nguyen et al. | Fast traffic sign detection under challenging conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22928247 Country of ref document: EP Kind code of ref document: A1 |