WO2016011641A1 - 自适应改进sobs方法与基于该方法的视频监控系统 - Google Patents

自适应改进sobs方法与基于该方法的视频监控系统 Download PDF

Info

Publication number
WO2016011641A1
WO2016011641A1 PCT/CN2014/082929 CN2014082929W WO2016011641A1 WO 2016011641 A1 WO2016011641 A1 WO 2016011641A1 CN 2014082929 W CN2014082929 W CN 2014082929W WO 2016011641 A1 WO2016011641 A1 WO 2016011641A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
topology
model
video
neuron
Prior art date
Application number
PCT/CN2014/082929
Other languages
English (en)
French (fr)
Inventor
徐勇
吴帅
Original Assignee
徐勇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 徐勇 filed Critical 徐勇
Priority to PCT/CN2014/082929 priority Critical patent/WO2016011641A1/zh
Publication of WO2016011641A1 publication Critical patent/WO2016011641A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region

Definitions

  • the present invention relates to an adaptive improved self-organizing background subtraction (SOBS) method and a video surveillance system based thereon.
  • SOBS self-organizing background subtraction
  • Background Art intelligent video sequence analysis has played an important role in many fields such as traffic control and bank monitoring.
  • Moving target detection based on video sequences is a very important preprocessing process for many computer vision applications. How to quickly and accurately extract moving targets in video sequences has become a research hotspot.
  • a video surveillance system with moving target detection can help us discover many details that cannot be found in real video frame images, which is very important for the development of intelligent video surveillance systems.
  • moving targets in video sequences face many challenges: illumination changes, discrete background changes (such as leaf shaking), shadows (such as human shadows), foreground deception (foreground and background are very similar).
  • the method of moving target detection based on video sequences can be divided into three categories: interframe difference method, optical flow method and background subtraction method.
  • the interframe difference method has high computational efficiency, but it is very sensitive to discrete background changes, and it is difficult to eliminate noise caused by factors such as illumination changes and shadows.
  • Most optical flow methods have high computational complexity and slow operation speeds, making them difficult to apply to real-time detection.
  • background subtraction not only has faster computing speed and higher accuracy, but also has a variety of technical methods. It has gradually become the mainstream method for moving target detection.
  • the Self-Organizing Background Subtraction (SOBS) method has excellent performance in moving target detection, and it also has a good effect in dealing with the above problems.
  • This method maps each pixel of an image frame into an n*n topology.
  • the n*n topology of all pixels constitutes the final neural network model.
  • the SOBS method initializes the background model with the first frame, and performs real-time foreground extraction and model updating for each subsequent frame.
  • SOBS uses HSV color space (each pixel a can be represented as a three-element vector (h, s, v)). According to the shadow pixel, there is only a large change in brightness, and there is no big change in color. The principle is to eliminate the noise generated by the shadows.
  • the original SOBS method has two shortcomings: First, it is necessary to artificially divide the entire moving target detection process into two stages. First use the first K frame of the video sequence, with a large update rate The neural network model is updated. The second phase starts with a K+1 frame and the model is updated with a small update rate. At this point, the neural network model tends to be stable. In the selection of ⁇ , it is difficult to obtain a suitable K value at one time, and if the background changes greatly after K+1 frame, the generated noise will be difficult to eliminate due to the small model update rate. Second, the original SOBS method has a very slow propagation rate per pixel to the neighborhood.
  • the present application proposes an adaptive improvement SOBS method, so that the model can automatically control the change of the update rate according to different situations.
  • the improved method in this paper increases the propagation rate of background pixels in its neighborhood during the model update process. The method is more effective in eliminating noise.
  • a real-time video monitoring system with moving target detection function based on the method is also established.
  • the system is mainly composed of a camera and a back-end industrial computer, which can detect moving targets in the surveillance video in real time.
  • the present invention provides an adaptive improvement SOBS method, comprising the following steps: Step 1: Modeling:
  • n*n topology of pixel a is ( 1; .. , 9 ) ;
  • Step 3 Background pixels Judgment and model update: After the model initialization is completed, the foreground image is extracted for each remaining frame image and the model is updated. First, some symbols are defined: I t represents the frequency image at time t; a represents a pixel of the video frame, ( ⁇ ., .
  • C represents the entire neural network model
  • C t (i, j) represents the neural network model t time i-th row, j-th column of neurons
  • for video frames I t to traverse each of its pixels, to determine whether it is a background point, for the pixel ⁇ , in the ⁇ * ⁇ topology, if the distance between the neurons 0i and a is the closest, and the distance is smaller than the segmentation threshold ⁇ , then The pixel is the background pixel and 0i is used as the best matching neuron of the pixel. If the pixel ⁇ is determined to be the background pixel, the best matching 0i is updated in the neural network model.
  • Step 4 Shadow pixel judgment:
  • the following scheme is used to determine the shadow point: For the pixel ⁇ , if a certain neuron 0i can be found in its ⁇ * ⁇ topology to satisfy the condition (6), the pixel a is judged as a shadow point.
  • Step 5 Pre-attraction judgment: When pixel a is neither a background point nor a shadow point, it is judged that a is the former attraction.
  • the value of n in the first step is an odd number.
  • n in step 1 is 3 or 5 or 7.
  • step 3 the specific operation steps are as follows: traversing the n*n neighbors of the pixel a, if the distance between the neighbors b and a is smaller than the segmentation threshold ⁇ , the ⁇ * ⁇ topology of b is randomly selected.
  • One of the neurons is updated with formula (3),
  • ⁇ h e -ui(t)/a * e - u2(t)/ ⁇
  • h t (i, D is the update rate controller for each neuron in the neural network model, the initialization is all set to 1, if a certain neuron in the neighbor pixel b topology of a is to be updated
  • a video surveillance system based on the method of any of the above, comprising three main modules: a video capture module, a method analysis module, and a display module, wherein the video capture module captures a video frame from the camera, and starts from the system.
  • the video frame is captured from the camera in real time and provided to the method analysis module and the display module;
  • the method analysis module extracts the moving target from the captured video frame;
  • the display module mainly captures the video from the interface through the GetFrameFromCCM () and GetBackGFromAM () functions.
  • the module takes the real video frame and extracts the corresponding foreground image from the method analysis module and displays it in real time.
  • the method analysis module is provided with a counter, which is reset to 0 whenever the system starts running, and the method analysis module uses the GetFrameFromCCM() function interface to acquire video frames from the video capture module.
  • the method analysis module Each time the video frame counter is incremented by 1, when the counter is 1, the method analysis module first establishes the background neural network model and initializes. When the counter is greater than 1, the module extracts the foreground from the video frame and updates the background. model.
  • the beneficial effects of the present invention are:
  • the adaptive improvement SOBS method enables the model to automatically control the change of the update rate according to different situations.
  • the improved algorithm in this paper increases the propagation rate of background pixels in its neighborhood during the model update process. This makes the algorithm more effective in eliminating noise.
  • FIG. 1 is a schematic structural view of a neural network model of the present invention
  • FIG. 2 is a flow chart of an adaptive improvement SOBS method of the present invention
  • Figure 3 is a flow chart of the operation of the system of the present invention.
  • BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be further described with reference to the accompanying drawings.
  • the main steps of the adaptive improvement SOBS method are as follows:
  • the 2 * 3 matrix on the left represents the image frame
  • the 1 * 1 topology of pixel 3 is (3 ⁇ 4 ⁇ 9 ).
  • the value of ⁇ is generally odd.
  • the experimental results of many articles show that the value of ⁇ is the best between 3 and 7 when establishing the topological structure of ⁇ * ⁇ or using the neighborhood of ⁇ * ⁇ .
  • the original SOBS method initializes the model with the first frame, initializing all neurons in a pixel n*n topology to the value of that pixel.
  • a (h, S , v)
  • all neurons in its topology (h, s, V).
  • the SOBS method improved in this paper initializes the topology of the pixel by using n*n neighbor pixels of a certain pixel. Randomly select the n * n neighbor of a pixel (including the pixel itself) to initialize the topology of the pixel. Some neighbors may be selected multiple times, and some neighbors may never be selected.
  • Adjacent pixels tend to have similar distributions in time. This initialization method makes good use of this point, and preserves the similarity between neighbors in the model, which also makes the relationship between different pixels in the neural network model. , can eliminate the noise caused by discrete pixel point changes.
  • I t represents the frequency image at time t
  • £1 represents a pixel of the video frame
  • ( ⁇ ., . , ⁇ ) represents its n * n topology
  • c represents the entire neural network model
  • C t (iJ) represents the neural network model ⁇ moment i, the first column of neurons.
  • pixel a in the ⁇ * ⁇ topology, if the distance between neuron 0i and a is the closest, and the distance is less than the segmentation threshold ⁇ , then the pixel is the background pixel and 0i is the best matching neuron for the pixel. If it is judged that the pixel ⁇ is a background pixel, it is necessary to update its best match 0i in the neural network model, and also update the n*n neighbor pixels of the pixel ⁇ .
  • the topology should be. The specific operation steps are as follows:
  • n*n neighbors of the pixel ⁇ are traversed. If the distance between the neighbors b and ⁇ is smaller than the segmentation threshold ⁇ , then a certain neuron in the 1*1 topology that randomly selects 3 ⁇ 4 is updated by the formula (3).
  • ⁇ h e -ui(t)/a * e - u2(t)/ ⁇
  • This update strategy has two main advantages: First, the neural network model can independently adjust the update rate of different neurons according to different situations, reduce artificial control, and has good adaptability. Second, since the model is using the first frame for initialization, if the first frame image has a foreground target, Then, in the foreground image that is captured later, a ghost area is generated. This update rate allows the pixel to have a higher propagation rate in space, allowing the model to quickly eliminate this ghost region in subsequent updates.
  • a pixel When a pixel is not judged to be a background, it cannot be immediately judged as a foreground because it may be a shadow pixel, and the shadow has the following properties:
  • Property 1 The pixel brightness of the shaded area is lower than the brightness of the background.
  • the following scheme is used to judge the shadow point: For the pixel ⁇ , if a certain neuron 0i can be found in its ⁇ * ⁇ topology to satisfy the condition (6), the pixel a is judged as a shadow point.
  • a H , a s , a v represents the three color components of pixel a, (0 , 0f, 0J represents the three color components of neuron 0i.
  • the neural network model is not updated when pixel a is judged as a shadow point .
  • This method is used by many articles on moving target detection to eliminate shadow noise. As long as X, Y, TS, and TH are set properly, this method has high accuracy in eliminating shadows.
  • the former attraction judges that when the pixel a is neither a background point nor a shadow point, it is judged that a is the former attraction.
  • the overall method process is as follows: Input image frame I t (0, ⁇ , T) pixel a, output foreground segmentation image pixel BO)
  • the entire video surveillance system is divided into three main modules: a video capture module, a method analysis module, and a display module.
  • the Camera Catch Module is mainly responsible for capturing video frames from the camera.
  • the module needs to have real-time video frame capture. From the beginning of the system, the video frame is captured from the camera in real time and provided to the method analysis module and display module.
  • the main function of the Analysis Module is to extract the moving targets from the captured video frames by using the improved method proposed in this paper.
  • the module has a counter that is reset to 0 each time the system starts running. This module will use the GetFrameFromCCMO function interface to get the video frame from the video capture module, and increment the video frame counter every time.
  • the counter is 1, the module first establishes the background neural network model and initializes it.
  • the counter is greater than 1, the module extracts the foreground from the video frame and updates the background model.
  • the display module (View Module) mainly obtains real video frames from the video capture module through the GetFrameFromCCMO and GetBackGFromAMO function interfaces and analyzes the method from the method.
  • the module gets the corresponding foreground extracted image and displays it in real time.
  • the module mainly has a display function and ensures the homogeneity of the real video frame and the foreground extracted picture.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种自适应改进SOBS方法，包括以下步骤：步骤1：建模，步骤2：模型初始化，步骤3：背景像素判断以及模型更新，步骤4：阴影像素判断，步骤5：前景点判断。该方法使得模型可以根据不同的情况自动控制更新率的变化。另外，在模型更新的过程中本文的改进方法加大了背景像素在其邻域的传播速率。使得方法在消除噪声方面效果更为突出明显。还提供了基于上述方法的视频监控系统，系统主要由摄像机和后端工控机组成，系统为具有运动目标检测功能的实时视频监控系统。可以实时检测到监控视频中的运动目标。

Description

自适应改进 SOBS方法与基于该方法的视频监控系统 技术领域 本发明涉及一种自适应的改进自组织背景减除（SOBS )方法与基于该方 法的视频监控系统。 背景技术 近些年来， 智能视频序列分析在交通控制、 银行监控等诸多领域有着至 关重要的作用。 基于视频序列的运动目标检测是许多计算机视觉应用非常重 要的预处理过程。 如何快速准确的在视频序列中抽取运动目标一度成为研究 的热点。 一个具有运动目标检测功能的视频监控系统可以帮助我们发现许多 在真实视频帧图像中发现不了的细节， 对智能视频监控系统的发展具有十分 重要的意义。
首先要指出， 视频序列中的运动目标面临着诸多难题： 光照变化， 离散 背景变化 （如树叶摇动）， 阴影 （如人的影子）， 前景欺骗 （前景和背景十分 相似） 等。 目前， 基于视频序列的运动目标检测的方法可以分为 3类： 帧间 差分法、 光流法以及背景减除法。 帧间差分法具有很高的运算效率， 但是它 对于离散背景变化十分敏感， 很难消除光照变化、 阴影等因素带来的噪音。 大多数的光流法具有很高的运算复杂度， 运算速度比较慢， 很难应用于实时 的检测。 相比之下， 背景减除法不但具有较快的运算速度、 较高的准确率， 其技术手段也十分多样化， 其目前已逐渐成为运动目标检测的主流方法。
自组织背景减除 （Self-Organizing Background Subtraction, SOBS ) 方法在运动目标检测方面具有十分优越的性能， 其在上述难题的处理上也有 不错的效果。 该方法将图像帧的每个像素映射到一个 n * n 的拓扑结构中去。 所有像素的 n * n 拓扑结构构成了最终的神经网络模型。 SOBS方法用第一帧 初始化背景模型， 对之后的每一帧都能进行实时的前景提取以及模型的更新。 SOBS采用 HSV颜色空间（每个像素 a可以表示为一个三元素的向量 （h, s, v ) )， 根据阴影像素点只是在亮度上有较大的变化， 在颜色上并未有大变化的原理 来消除阴影产生的噪声。
然而， 原始的 SOBS方法存在两点不足： 第一、 需要人为的将整个运动 目标检测过程分为两个阶段。 首先利用视频序列的前 K帧， 以较大的更新率 对神经网络模型进行更新。 第二个阶段从 K+1帧开始模型会以较小的更新率 进行更新， 此时， 神经网络模型趋于稳定状态。 在 κ的选取上， 我们很难一 次性得到合适的 K值， 并且在 K+1帧之后如果背景发生较大的变化， 由于模 型更新率较小， 产生的噪声会很难消除。 第二、 原始 SOBS方法每个像素向 邻域的传播速度很慢。 一旦视频的第一帧就出现前景， 就必须人为增大 K值 来消除初始化过程中在神经网络模型中产生的前景噪音。 发明内容 针对上述两个问题， 本申请提出了一种自适应改进 SOBS方法， 使得模 型可以根据不同的情况自动控制更新率的变化。 另外， 在模型更新的过程中 本文的改进方法加大了背景像素在其邻域的传播速率。 使得方法在消除噪声 方面效果更为突出明显。
在给出方法的同时还建立一个基于该方法的具有运动目标检测功能的 实时视频监控系统。 系统主要由摄像机和后端工控机组成， 可以实时检测到 监控视频中的运动目标。
本发明提供了一种自适应改进 SOBS方法， 包括如下歩骤： 歩骤 1 : 建模：
将图像帧的每个像素映射到 n * n 的拓扑结构中，所有像素的 n * n 拓扑 结构构成了最终的神经网络模型； 如图 1.像素 a的 n * n拓扑结构为 ( 1; ... , 9 ) ；
歩骤 2: 模型初始化：
利用某个像素的 η * η邻居像素对该像素的拓扑结构进行初始化，随机的选 取某个像素的 η * η邻居来初始化该像素的拓扑结构，邻居包括该像素本身; 歩骤 3: 背景像素判断以及模型更新： 模型初始化完成后，对余下的每一帧图片进行前景提取并且对模型进行更 新， 首先定义一些符号： It表示 t时刻的频图像； a代表该视频帧的一个像 素， （ ^ .,. , Ο^ )代表其 n * n拓扑结构； C表示整个神经网络模型， Ct(i, j)表 示神经网络模型 t时刻第 i行， 第 j列的神经元； 针对视频帧 It， 要遍历其每 个像素， 判断其是否为背景点， 对于像素 α， 在它的 η * η拓扑结构中如果 神经元 0i与 a的距离最近， 并且该距离小于分割阈值 ε， 则该像素是背景 像素且将 0i作为该像素的最佳匹配神经元，如果判断像素 α为背景像素点， 就在神经网络模型中对其最佳匹配 0i做更新， 同时更新像素 a的 n * n邻居 像素所对应的拓扑结
歩骤 4: 阴影像素判断：
采用如下方案来判断阴影点： 对于像素 α， 如果能在它的 η*η拓扑结构中 找到某个神经元 0i符合条件 （6)， 那么像素 a就被判断为阴影点，
< ^ < Π ( s - 0f ≤ TS) n ( H - 0 )≤ TH
(6)，
(aH,as,av) 代表像素 a的三个颜色分量， （0 , 0f, 0^)代表神经元 0i的三个 颜色分量； 当像素 a被判断为阴影点时神经网络模型不做更新； 歩骤 5: 前景点判断： 当像素点 a既不是背景点， 也不是阴影点时， 就判断 a为前景点。 作为本发明的进一歩改进， 歩骤 1中 n的取值为奇数。
作为本发明的进一歩改进， 歩骤 1中 n的取值为 3或 5或 7。
作为本发明的进一歩改进， 歩骤 3中， 具体操作歩骤如下： 遍历像素 a的 n*n邻居， 如果邻居 b与 a的距离小于分割阈值 ε， 则随机选择 b的 η*η拓 扑结构中的某个神经元利用公式 （3) 进行更新，
ht(i,j) = i'D + Ah
(1)
△h = e-ui(t)/a * e- u2(t)/ ε
(2)
Ct(i, j) = (1 -ot C )) * Ct— i, j) +ot (i,j) * a
(3)
Figure imgf000005_0001
(4)
Figure imgf000005_0002
(5) ht(i,D是针对神经网络模型中每个神经元的更新率控制器，初始化全被 设置为 1， 如果要对 a的邻居像素 b拓扑结构中的某个神经元进行更新， 首 先要利用公式（2)给该神经元的更新率控制器一个增量 Δ1ι， 其中 ul(t)表 示该神经元与像素 a的最佳匹配 0i在神经网络模型中的位置距离（如果对 0i进行更新，则 ul0 =0)， u20 表示该神经元与像素 a的颜色向量之间的 距离， ε为分割阈值。 一种基于上述任意一项的方法的视频监控系统， 其包括 3个主要模块：视 频抓取模块， 方法分析模块， 以及显示模块， 视频抓取模块从摄像头抓取 视频帧， 从系统开始运行就实时的从摄像头抓取视频帧， 并提供给方法分 析模块和显示模块； 方法分析模块从抓取到的视频帧中提取运动目标； 显 示模块主要通过 GetFrameFromCCM ()与 GetBackGFromAM ()函数接口从视 频抓取模块获取真实视频帧并从方法分析模块获取相应的前景提取图片 并实时显示出来。
作为本发明的进一歩改进， 方法分析模块设有一计数器， 每当系统开始运 行的时候该计数器就会被重置为 0， 方法分析模块会利用 GetFrameFromCCM ()函数接口从视频抓取模块获取视频帧， 每次获取到视 频帧计数器加 1， 当计数器为 1时， 方法分析模块会首先建立背景神经网 络模型并初始化， 当计数器大于 1时， 该模块会从视频帧中提取出前景， 并更新背景模型。
本发明的有益效果是： 自适应改进 SOBS方法使得模型可以根据不同的 情况自动控制更新率的变化。 另外， 在模型更新的过程中本文的改进算法加 大了背景像素在其邻域的传播速率。 使得算法在消除噪声方面效果更为突出 明显。
基于该方法的具有运动目标检测功能的实时视频监控系统， 系统主要由 摄像机和后端工控机组成， 可以实时检测到监控视频中的运动目标。 附图说明 图 1是本发明神经网络模型结构示意图；
图 2是本发明自适应改进 SOBS方法流程图；
图 3是本发明系统运行流程图。 具体实施方式 下面结合附图对本发明做进一歩说明。
自适应改进 SOBS方法主要歩骤如下：
1.建模 将图像帧的每个像素映射到 n * n 的拓扑结构中， 所有像素的 n * n 拓 扑结构构成了最终的神经网络模型。 如图 1所示， 左边的 2 * 3矩阵代表图像 帧， 右边的 6 * 9矩阵代表神经网络模型 （此模型 n = 3 )。 像素 3的1 * 1拓扑 结构为 （¾ α9 ) 。 η的取值一般为奇数， 很多文章的实验效果表明， 在建 立 η * η的拓扑结构或利用 η * η邻域时， η的取值在 3~7之间效果最好。
2.模型初始化
原始 SOBS方法用第一帧对模型进行初始化， 将某个像素 n * n拓扑结构中 的所有神经元初始化为该像素的值。 如图 1 所示， a = (h, S, v)，那么其拓扑 结构中所有神经元 = (h, s, V)。 本文改进的 SOBS方法利用某个像素的 n * n 邻居像素对该像素的拓扑结构进行初始化。 随机的选取某个像素的 n * n邻居 (包括该像素本身）来初始化该像素的拓扑结构， 有些邻居可能会被多次选 择， 有些邻居可能从未被选中过。
相邻像素之间往往在时间上具有相似的分布， 该初始化方法很好的利用 了这一点， 在模型中保留了邻居间相似关系， 也使得不同像素在神经网络模 型中的拓扑结构产生了联系， 可以很好的消除了离散像素点变化产生的噪音。
3.背景像素判断以及模型更新
模型初始化完成后， 对余下的每一帧图片都要进行前景提取并且对模型 进行更新。 首先来定义一些符号： It表示 t时刻的频图像； £1代表该视频帧的 一个像素，（Ο .,. , Ο^ )代表其 n * n拓扑结构； c表示整个神经网络模型， Ct(iJ) 表示神经网络模型 ί时刻第 i行， 第列的神经元。针对视频帧 It， 要遍历其每个 像素判断其是否为背景点。对于像素 α，在它的 η * η拓扑结构中如果神经元 0i 与 a的距离最近， 并且该距离小于分割阈值 ε， 则该像素是背景像素且将 0i作 为该像素的最佳匹配神经元。 如果判断像素 α为背景像素点， 就要在神经网 络模型中对其最佳匹配 0i做更新， 同时还要更新像素 α的 n * n邻居像素所对 应的拓扑结构。 具体操作歩骤如下：
遍历像素 α的 n*n邻居， 如果邻居 b与 α的距离小于分割阈值 ε， 则随机选 择 ¾的1 * 1拓扑结构中的某个神经元利用公式 （3) 进行更新。
ht(i,j) = ht— i'D + Ah
(1)
△h = e-ui(t)/a * e- u2(t)/ ε
(2)
Ct(i, j) = (1 -oct (ij)) * Ct— i'j) +oct (ij) * a
(3)
Figure imgf000008_0001
(4)
Figure imgf000008_0002
(5)
ht(i,D是针对神经网络模型中每个神经元的更新率控制器，初始化全被设 置为 1， 如果要对 a的邻居像素 b拓扑结构中的某个神经元进行更新， 首先要 利用公式 （2) 给该神经元的更新率控制器一个增量 Δ1ι， 其中 ul(t)表示该神 经元与像素 a的最佳匹配 0i在神经网络模型中的位置距离 （如图 1 所示， 神 经元 与 的位置距离为 2V2。 是一个常数，通常被设置为 8V2。如果对 0i进 行更新，则 ul(t)=0)。u2(t)表示该神经元与像素 a的颜色向量之间的距离， ^为 分割阈值。 从 (3) (4) (5) 可以看出更新率 oct(i,j)—开始由 Pt(i,j)主导， 随着 ht(i,j)的逐渐增大， oct(i,j)逐渐收敛于 S, δ是一个较小的常数。
此种更新策略具有两点主要优势： 一、 神经网络模型可以根据不同的情 况自主调节不同神经元的更新率，减少了人为的控制，具有很好的自适应性。 二、 由于模型是利用第一帧来做初妒化， 如果第一帧图片就存在前景目标， 那么在之后抓取的前景图片中就会产生鬼影区域。 该更新率使得像素在空间 上具有较高的传播速率， 使得模型在之后的更新中可以很快的消除此鬼影区 域。
4.阴影像素判断
当某个像素没有被判断为背景时， 还不能立刻判断其为前景， 因为其有 可能是阴影像素， 阴影具有如下性质：
性质 1: 阴影区域的像素亮度要低于背景的亮度值。
性质 2: 阴影区域的色度与背景区域的色度几乎相同。
基于上述性质， 采用如下方案来判断阴影点： 对于像素 α， 如果能在它的 η * η拓扑结构中找到某个神经元 0i符合条件 （6)， 那么像素 a就被判断为阴 影点。
< ^ < Π ( s - 0f ≤ TS) n ( H - 0 )≤ TH
(6)
(aH,as,av) 代表像素 a的三个颜色分量， （0 , 0f, 0J 代表神经元 0i的三个 颜色分量。 当像素 a被判断为阴影点时神经网络模型不做更新。
该方法被很多关于运动目标检测的文章所采用用来消除阴影噪声， 只要 X,Y,TS,TH设置合理， 该方法在消除阴影方面具有很高的准确率。
5.前景点判断 当像素点 a既不是背景点， 也不是阴影点时， 就判断 a为前景点。 整体方法过程如下: 输入图像帧 It (0，〜，T) 的像素 a, 输出前景分割图像像素 BO)
1. 初始化神经网络模型 c 2. for t=l:T
3. 遍历视频帧 It的每一个像素
4. if (像素 a是背景像素）
5. Β( )=0;
6. update C
7. else if (像素 a是阴影像素)
8. Β( )=0;
9. else
10. Β( )=1;
实时视频监控系统：
整个视频监控系统分为 3个主要模块： 视频抓取模块， 方法分析模块， 以及显示模块。
视频抓取模块（Camera Catch Module)主要负责从摄像头抓取视频帧， 该 模块需要具有实时的视频帧抓取功能。 从系统开始运行就会实时的从摄像头 抓取视频帧， 并提供给方法分析模块和显示模块。
方法分析模块 （Analysis Module) 主要功能就是利用本文提出的改进方 法从抓取到的视频帧中提取运动目标。 该模块有一个计数器， 每当系统开始 运行的时候该计数器就会被重置为 0。 此模块会利用 GetFrameFromCCMO函 数接口从视频抓取模块获取视频帧， 每次获取到视频帧计数器就会加 1。 当 计数器为 1时， 该模块会首先建立背景神经网络模型并初始化。 当计数器大 于 1时， 该模块会从视频帧中提取出前景， 并更新背景模型。
显示模块 （ View Module ) 主要通过 GetFrameFromCCMO 与 GetBackGFromAMO函数接口从视频抓取模块获取真实视频帧并从方法分析 模块获取相应的前景提取图片并实时显示出来。 该模块主要具有显示功能并 要保证真实视频帧与前景提取图片的同歩性。 以上内容是结合具体的优选实施方式对本发明所作的进一歩详细说明， 不能认定本发明的具体实施只局限于这些说明。 对于本发明所属技术领域的 普通技术人员来说， 在不脱离本发明构思的前提下， 还可以做出若干简单推 演或替换， 都应当视为属于本发明的保护范围。

Claims

权利要求书
1. 种自适应改进 SOBS方法， 其特征在于， 包括如下歩骤： 歩骤 1: 建模：
将图像帧的每个像素映射到 n*n 的拓扑结构中，所有像素的 n*n 拓扑 结构构成了最终的神经网络模型； 像素 a的 n*n拓扑结构为 α9) ； 歩骤 2: 模型初始化：
利用某个像素的 η * η邻居像素对该像素的拓扑结构进行初始化，随机的选 取某个像素的 η * η邻居来初始化该像素的拓扑结构，邻居包括该像素本身; 歩骤 3: 背景像素判断以及模型更新：
模型初始化完成后，对余下的每一帧图片进行前景提取并且对模型进行更 新， 首先定义一些符号： It表示 t时刻的频图像； a代表该视频帧的一个像 素， （ ^.,.,Ο^)代表其 n*n拓扑结构； C表示整个神经网络模型， Ct(i,j)表 示神经网络模型 t时刻第 i行， 第 j列的神经元； 针对视频帧 It， 要遍历其每 个像素， 判断其是否为背景点， 对于像素 α， 在它的 η*η拓扑结构中如果 神经元 0i与 a的距离最近， 并且该距离小于分割阈值 ε， 则该像素是背景 像素且将 0i作为该像素的最佳匹配神经元，如果判断像素 α为背景像素点， 就在神经网络模型中对其最佳匹配 0i做更新， 同时更新像素 a的 n * n邻居 像素所对应的拓扑结构；
歩骤 4: 阴影像素判断：
采用如下方案来判断阴影点： 对于像素 α， 如果能在它的 η*η拓扑结构中 找到某个神经元 0i符合条件 （6)， 那么像素 a就被判断为阴影点，
< ^ < Π ( s - 0f ≤ TS) n ( H - 0 )≤ TH
(6)，
(aH,as,av) 代表像素 a的三个颜色分量， （0 , 0f, 0^)代表神经元 0i的三个 颜色分量； 当像素 a被判断为阴影点时神经网络模型不做更新； 歩骤 5: 前景点判断： 当像素点 a既不是背景点， 也不是阴影点时， 就判断 a为前景点。
2. 根据权利要求 1所述的自适应改进 SOBS方法， 其特征在于： 歩骤 1中 n 的取值为奇数。
3. 根据权利要求 2所述的自适应改进 SOBS方法， 其特征在于： 歩骤 1中 n 的取值为 3或 5或 7。
4. 根据权利要求 1所述的自适应改进 SOBS方法， 其特征在于： 歩骤 3中， 具体操作歩骤如下： 遍历像素 α的 n* n邻居， 如果邻居 b与 a的距离小于分 害綱值 ε， 则随机选择 b的 η* η拓扑结构中的某个神经元利用公式（3)进 行更新，
ht(i,j) = ht— i'D + Ah
(1)
Ah = ul(t)/a * e- u2(t)/ ε
(2)
Ct(i, j) = (1 -ot (ij)) * C^iOj) +oct (ij) * a
(3) (i,j) = Pt(i,j) + (l - Pt(i,j)) S
(4)
(5) ht(i,D是针对神经网络模型中每个神经元的更新率控制器，初始化全被设 置为 1， 如果要对 a的邻居像素 b拓扑结构中的某个神经元进行更新， 首先要 利用公式 （2) 给该神经元的更新率控制器一个增量 Δ1ι， 其中 ul(t)表示该神 经元与像素 a的最佳匹配 0i在神经网络模型中的位置距离，如果对 0i进行更新， 则 ul0 =0， 112(： 表示该神经元与像素 a的颜色向量之间的距离， ε为分割阈 值。
5. 一种基于权利要求 1至 4任意一项的方法的视频监控系统， 其特征在于： 其包括 3个主要模块： 视频抓取模块， 方法分析模块， 以及显示模块， 视 频抓取模块从摄像头抓取视频帧，从系统开始运行就实时的从摄像头抓取 视频帧， 并提供给方法分析模块和显示模块； 方法分析模块从抓取到的视 频帧中提取运动目标； 显示模块主要通过 GetFrameFromCCMO与 GetBackGFromAM ()函数接口从视频抓取模块获取真实视频帧并从方法分 析模块获取相应的前景提取图片并实时显示出来。
6. 根据权利要求 5所述的视频监控系统， 其特征在于： 方法分析模块设有一 计数器， 每当系统开始运行的时候该计数器就会被重置为 0， 方法分析模 块会利用 GetFrameFromCCM O函数接口从视频抓取模块获取视频帧， 每次 获取到视频帧计数器加 1， 当计数器为 1时， 方法分析模块会首先建立背 景神经网络模型并初始化， 当计数器大于 1时， 该模块会从视频帧中提取 出前景， 并更新背景模型。
PCT/CN2014/082929 2014-07-24 2014-07-24 自适应改进sobs方法与基于该方法的视频监控系统 WO2016011641A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/082929 WO2016011641A1 (zh) 2014-07-24 2014-07-24 自适应改进sobs方法与基于该方法的视频监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/082929 WO2016011641A1 (zh) 2014-07-24 2014-07-24 自适应改进sobs方法与基于该方法的视频监控系统

Publications (1)

Publication Number Publication Date
WO2016011641A1 true WO2016011641A1 (zh) 2016-01-28

Family

ID=55162440

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/082929 WO2016011641A1 (zh) 2014-07-24 2014-07-24 自适应改进sobs方法与基于该方法的视频监控系统

Country Status (1)

Country Link
WO (1) WO2016011641A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125207A1 (en) * 2002-08-01 2004-07-01 Anurag Mittal Robust stereo-driven video-based surveillance
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
CN101315701A (zh) * 2008-07-11 2008-12-03 天津大学 运动目标图像分割方法
CN103366368A (zh) * 2013-06-21 2013-10-23 西南交通大学 消除阴影和高亮噪声的双梯柱体码本前景检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125207A1 (en) * 2002-08-01 2004-07-01 Anurag Mittal Robust stereo-driven video-based surveillance
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
CN101315701A (zh) * 2008-07-11 2008-12-03 天津大学 运动目标图像分割方法
CN103366368A (zh) * 2013-06-21 2013-10-23 西南交通大学 消除阴影和高亮噪声的双梯柱体码本前景检测方法

Similar Documents

Publication Publication Date Title
CN105245841B (zh) 一种基于cuda的全景视频监控系统
WO2018188453A1 (zh) 人脸区域的确定方法、存储介质、计算机设备
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
WO2021254205A1 (zh) 一种目标检测方法及装置
CN104601964B (zh) 非重叠视域跨摄像机室内行人目标跟踪方法及系统
CN103295016B (zh) 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法
CN105096321B (zh) 一种基于图像边缘的低复杂度视频移动侦测方法
CN106325485B (zh) 一种手势检测识别方法及系统
CN102542571B (zh) 一种运动目标检测方法及装置
CN108009493B (zh) 基于动作增强的人脸防欺骗识别方法
CN103679142B (zh) 一种基于空间约束的目标人体识别方法
CN105741319B (zh) 基于盲目更新策略和前景模型的改进视觉背景提取方法
CN110796678B (zh) 一种基于IoU的水下多目标跟踪方法
CN102521616B (zh) 基于稀疏表示的行人检测方法
CN102456225A (zh) 一种视频监控系统及其运动目标检测与跟踪方法
WO2020233397A1 (zh) 在视频中对目标进行检测的方法、装置、计算设备和存储介质
CN110248048A (zh) 一种视频抖动的检测方法及装置
CN104268520A (zh) 一种基于深度运动轨迹的人体动作识别方法
Ruan et al. Image stitching algorithm based on SURF and wavelet transform
CN107122732B (zh) 一种监控场景下高鲁棒性的快速车牌定位方法
Mo et al. Nighttime infrared ship target detection based on Two-channel image separation combined with saliency mapping of local grayscale dynamic range
CN104751455A (zh) 一种作物图像稠密匹配方法及系统
CN110322479B (zh) 一种基于时空显著性的双核kcf目标跟踪方法
WO2015078007A1 (zh) 一种快速人脸对齐方法
WO2016011641A1 (zh) 自适应改进sobs方法与基于该方法的视频监控系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14898288

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 04.07.2017)

122 Ep: pct application non-entry in european phase

Ref document number: 14898288

Country of ref document: EP

Kind code of ref document: A1