WO2017054455A1 - 一种监控视频中运动目标的阴影检测方法、系统 - Google Patents

一种监控视频中运动目标的阴影检测方法、系统 Download PDF

Info

Publication number
WO2017054455A1
WO2017054455A1 PCT/CN2016/081482 CN2016081482W WO2017054455A1 WO 2017054455 A1 WO2017054455 A1 WO 2017054455A1 CN 2016081482 W CN2016081482 W CN 2016081482W WO 2017054455 A1 WO2017054455 A1 WO 2017054455A1
Authority
WO
WIPO (PCT)
Prior art keywords
shadow
video
pixel
motion
dimensional
Prior art date
Application number
PCT/CN2016/081482
Other languages
English (en)
French (fr)
Inventor
裴继红
谢维信
李宝林
杨烜
Original Assignee
深圳大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳大学 filed Critical 深圳大学
Publication of WO2017054455A1 publication Critical patent/WO2017054455A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the invention belongs to the technical field of video image processing, and in particular relates to a shadow detection method and system for monitoring moving objects in a video.
  • moving target detection is usually performed first, and the moving target of interest is extracted from the video. These moving targets are the basis for subsequent video image classification, recognition, and behavioral analysis.
  • Commonly used video target detection methods are: frame difference method, optical flow method, background subtraction method.
  • the “moving targets” initially detected by these methods are actually just “sports areas”. Due to the influence of light and other factors, in the detection, the shadow of the moving target is often detected along with the target. The shadow generated by these targets has the same motion attribute as the target, which will affect the discrimination of the target shape and identify the subsequent target. Caused difficulties. Therefore, it is necessary to further detect and reject the shadow from the detected motion region.
  • Model-based approach Such methods generally require prior knowledge of the scene, moving targets, and lighting conditions.
  • human body detection the human body is constructed as an upright ellipse, and an area that does not conform to the human elliptical model is regarded as a shadow area or noise is eliminated.
  • the shape of the human body does not satisfy the elliptical model and is misjudged into a shadow.
  • the shadow area is similar to the shape of the human body model, the shadow will also detect the adult body, causing false detection.
  • Model-based methods are very dependent on the geometric relationship between the scene and the foreground. When these relationships change, these methods will fail, so the versatility is not strong.
  • the color is regarded as the product of the radiation coefficient and the reflection coefficient, and the mean and variance of each color component of the background in the RGB color space are counted, and then the current frame pixel is compared with the statistical background pixel parameter.
  • Get a shadow For example, in the normalized color space, two of the colors are taken out, and when the detected moving target area does not change the color chromaticity before and after the background image is covered, the pixel whose brightness is reduced is discriminated as a shadow. This method is simple to implement, but the algorithm is easy to misjudge shadow points.
  • the motion foreground and the static background of the video are first separated; then the ratio of the brightness of the foreground image of the pixel to the brightness of the background image is calculated, and a double threshold interval based on the ratio is set, and the foreground color and background of the pixel are calculated simultaneously.
  • the difference between the hue of the image, and the difference between the saturation of the foreground image of the pixel and the saturation of the background image and respectively set a fixed hue difference threshold and a saturation difference threshold; finally, those brightness ratios are in a double threshold interval, And the motion foreground area pixel point whose tone difference value and saturation difference value are not larger than the corresponding threshold value is determined as a shadow pixel point.
  • the double threshold of the foreground/background luminance ratio, and the hue difference threshold and the saturation difference threshold together constitute a cuboid structure along the coordinate axis direction in a three-dimensional space. In the case that the threshold setting is reasonable for a specific video scene, the method can obtain a better shadow area detection effect.
  • the four threshold parameters need to be set according to different scenes, and the adaptive parameter adjustment of the scene illumination changes cannot be performed, which affects the range of use of the method.
  • the method also needs to convert the RGB color space to the HSV space.
  • the prior art proposes that the shadow detection method has some problems such as difficulty in setting parameters, inability to adapt to changes in illumination of a video scene, and large computational complexity.
  • An object of the present invention is to provide a shadow detection method for monitoring a moving object in a video, which aims to solve the problem that the prior art shadow detection method has difficulty in setting parameters, unable to adapt to changes in the illumination of the video scene, and large computational complexity.
  • the present invention is achieved by a method for detecting a shadow of a moving object in a video, the method comprising the steps of:
  • the shadow detection of the motion region is performed on the new one-frame video image.
  • the present invention also provides a shadow detection system for monitoring moving objects in a video, the system comprising:
  • a model creation unit configured to establish a three-dimensional Gaussian probability model of the shadow in the three primary color ratio space of the motion foreground/video background of the surveillance video, and initialize the model parameters
  • An image detecting unit configured to detect a moving foreground area of the image of the current frame of the monitoring video, and update the video background, and map each pixel in the moving foreground area to the three primary colors of the moving foreground/video background In the ratio space;
  • a pixel discriminating unit configured to discriminate each pixel in the obtained motion foreground region according to the established shadow three-dimensional Gaussian probability model, and detect and distinguish the shadow pixel and the moving target pixel;
  • a model updating unit configured to update a three-dimensional Gaussian probability model parameter of the shadow according to the detected shadow pixel point data
  • the subsequent frame shadow detecting unit is configured to perform shadow detection of the motion region on the new one-frame video image according to the updated three-dimensional Gaussian probability model.
  • the invention realizes a shadow detection method for monitoring moving objects in a video, by establishing a three-dimensional Gaussian probability model, initializing the model parameters, detecting a foreground area of the surveillance video image, and updating the video background, in the foreground area
  • Each pixel is mapped to a three-primary color ratio space,
  • Each pixel is discriminated to detect all the shadow pixel points, and after updating the three-dimensional Gaussian probability model according to the detected pixel points, the next frame image can be detected.
  • the invention better solves the problem that the parameter setting in the moving target shadow detection technology in the existing monitoring video is difficult, the scene illumination change cannot be adaptive, and the calculation amount is large.
  • FIG. 1 is a flowchart of a method for detecting a shadow of a moving target in a surveillance video according to an embodiment of the present invention
  • Figure 2a is a frame of video image in the sample video
  • 2b is a motion foreground mask map corresponding to the video image frame of FIG. 2a obtained by the background motion based video motion detection method;
  • FIG. 2c is a video background diagram of a frame moment of the video image illustrated in FIG. 2a;
  • Figure 3a is a partial sub-image of Figure 2a
  • Figure 3b is a motion foreground mask corresponding to Figure 2b;
  • Figure 3c is a background image of the video corresponding to Figure 3a;
  • the upper part in Figure 3d is the mask of the moving target, and the lower part is the mask of the target shadow;
  • Figure 3e is a motion foreground image obtained by pixel product operation of Figures 3a and 3b;
  • FIG. 4 is a flowchart of parameter initialization of a three-dimensional Gaussian model for motion region shadow detection according to an embodiment of the present invention
  • Figure 5a is a motion foreground mask of a rectangular box calibrated with only shadows
  • Figure 5b is a shadow mask of the calibration frame of Figure 5a;
  • Figure 5c is a shadow mask image in the shaded box of Figure 5a and a shadow image obtained from the original video image frame;
  • Figure 6a is a scatter plot of the shaded pixel in Figure 3c in a three-dimensional ratio space
  • Figure 6b is an ellipsoid model formed according to a three-dimensional ratio space Gaussian modeling
  • Figure 6c is a schematic diagram showing the coverage of the scatter distribution of the shadow in Figure 6a by the Gaussian ellipsoid model
  • Figure 7a is a scatter plot of pixel points of a moving foreground region of a frame of example video in a three-dimensional ratio space;
  • FIG. 7b is a schematic diagram of performing shadow discrimination on the pixel of the motion region of FIG. 7a using the established Gaussian model, wherein the mesh ellipsoid is a shadow ellipsoid model given a threshold T in the present invention, and the red ellipsoid is scattered in the ellipsoid.
  • the point is a pixel point that is determined as a shadow in the foreground motion area, and the blue scatter point outside the ellipsoid is a pixel point that is determined as a target in the foreground motion area;
  • FIG. 8 is a structural diagram of a moving target shadow detecting system in a surveillance video provided in an embodiment of the present invention.
  • the shadow detection method for the moving target in the surveillance video proposed by the present invention mainly aims at the motion target shadow of the motion region detected by the video motion detection method based on the video background modeling. Detection. Firstly, a three-dimensional Gaussian probability model of the shadow is established in the three primary color ratio space of the motion foreground/video background of the surveillance video, and the parameters such as the mean vector and the covariance matrix of the model are initialized; then, the moving target based on the video background is constructed.
  • the three primary color vectors of each pixel in the moving target region detected by the detecting method are operated with the three primary color vectors of the current video background, and the three primary color ratio vector of each pixel is calculated; then, in the three primary color ratio vector space, The established three-dimensional Gaussian model is used to discriminate each pixel in the motion region, and to detect and distinguish the shadow pixel and the moving target pixel. Finally, the three-dimensional Gaussian model parameter of the shadow is obtained by using the detected three-color color ratio vector data set of the shadow pixel point. Updates are made for moving target shadow detection in the next frame of video.
  • the method proposed by the invention has the characteristics of strong self-adaptive ability and high detection accuracy, and is particularly suitable for detecting and removing shadows of moving objects in surveillance video.
  • the shadow detection method for moving objects in the surveillance video proposed by the invention mainly detects the target shadows of the motion regions detected by the video motion detection method based on the video background modeling of the camera.
  • the video motion detection method based on video background modeling dynamically creates a video background and detects all pixel points that are inconsistent with the video background as candidate motion target regions.
  • the commonly used video background modeling methods are: mean background modeling, median background modeling, Kalman filtering background modeling, kernel density estimation background modeling, single Gaussian background modeling and hybrid Gaussian background modeling.
  • the mixed Gaussian video background modeling method proposed by Stauffer et al. is a better method. It can adapt to the slow change of illumination, dynamically establish and update the video background in real time, and extract the moving target area. .
  • the motion region extraction in the surveillance video will no longer specify a specific method, which is collectively referred to as a background modeling based method.
  • the pixel point, k is the frame number of the video image.
  • the motion foreground mask map R Fk (X) at the kth frame obtained by the background motion based video motion detection method and the video background map B k (X) at the kth frame are used.
  • the k-th frame video image V k (X) and the k-th frame background image B k (X) are three primary color maps, and the k-th frame motion foreground mask map R Fk (X) is binary Image, defined as:
  • the motion foreground mask R k (X) can be divided into two sub-graphs: the moving target mask R Tk (X) and the target shadow mask R Sk (X):
  • the motion foreground mask R Fk , the moving target mask R Tk and the target shadow mask R Sk can also be regarded as the motion region, the target region, and the detected region in the k-th frame image of the video.
  • ⁇ and ⁇ respectively represent the union and intersection of the set, Represents an empty set.
  • X ⁇ R Fk is used to represent the pixel point in the foreground region of motion
  • X ⁇ R Tk represents the pixel point in the moving target area
  • X ⁇ R Sk represents the pixel point in the target shadow area.
  • the motion area image F k (X), the target area image T k (X), and the shadow area image S k (X) in the kth frame image of the video can be obtained by multiplication at the following pixel points:
  • T k (X) V k (X) ⁇ R Tk (X) (6)
  • FIGS. 2a-2c and 3a-3e provide a set of example diagrams.
  • 2a-2c are diagrams showing an example of a video and a motion foreground mask thereof and a video background provided by an embodiment of the present invention.
  • 2a is a video image of a video in the sample video
  • FIG. 2b is a motion foreground mask corresponding to the video frame of FIG. 2a obtained by the video motion detection method based on background modeling
  • FIG. 2c is a video frame of FIG. 2a.
  • FIG. 3 is a partial diagram of a partial sub-picture in a video corresponding to FIG.
  • FIG. 2 is a partial sub-image of FIG. 2a
  • FIG. 3b is a partial sub-image corresponding to the moving foreground mask of FIG. 2b of FIG. 3a
  • FIG. 3c is a partial of the video background of FIG. 2c corresponding to the area of FIG. 3a.
  • the upper part in Fig. 3d is the mask of the moving target
  • the lower part is the mask of the target shadow
  • Fig. 3e is the moving foreground image obtained by the pixel product operation of Fig. 3a and Fig. 3b;
  • FIG. 1 is a flowchart of a method for detecting a moving target shadow in a surveillance video according to an embodiment of the present invention, including the following steps:
  • a three-dimensional Gaussian probability model of the shadow is established in the three primary color ratio space of the motion foreground/video background of the surveillance video, and the model parameters are initialized.
  • step S1 includes the following steps:
  • S11 Establish a three-primary color ratio space of the video motion foreground/video background.
  • a three-dimensional Gaussian probability model G(Z, m, C) is established in the ratio space, where Z is a color three-dimensional ratio vector, m is a mean vector of Gaussian functions, and C is a covariance matrix.
  • the red, green and blue primary color vectors of the foreground pixel of the motion can be calculated by the formula (5),
  • the red, green and blue primary color vectors corresponding to the video background at the pixel position are
  • / in the formulas (9), (10), and (11) represents a scalar division operation.
  • the set of the overall composition of the three-dimensional ratio vector Z k (X) is called the three primary color ratio space of the video motion foreground/video background.
  • the three-dimensional Gaussian probability model G(Z, m, C) of the shadow in the ratio space is
  • Equation (12) Z is a three-dimensional ratio vector, m is a three-dimensional mean vector, C is a covariance matrix,
  • m and C are determined, a probability value can be calculated for each vector Z.
  • the probability value of the formula (12) is determined by the Mahalanobis distance represented by the following formula (13).
  • S12 The video motion detection technology based on video background modeling is used to perform continuous motion foreground detection and video background update on the surveillance video. Under the condition that a relatively stable video background is established, a frame detected in the video is taken out of the foreground area containing the target, and the video background image at this time is taken out.
  • the establishment of video background requires a learning process.
  • the initial video background obtained by the algorithm at the beginning of the run is often incomplete, and the accuracy of the detected foreground area is low. After a period of learning, the background of the video will tend to be stable, and the detected foreground area of motion has higher accuracy.
  • the video motion foreground given in Figures 2 and 3 above, as well as the video background, is obtained after a period of stable learning.
  • the specific stable learning time is related to the specific detection algorithm and will not be described here.
  • V 0 (X) V 0 (X)
  • the detected motion foreground mask image R F0 (X) R F0 (X)
  • the video background image B 0 (X) (r B0 (X), g B0 (X), b B0 (X)).
  • the shadow probability model represented by the formula (12) and the formula (13) in the present invention is determined by the parameters m and C.
  • the initial values of these two parameters can be determined by empirical approximation, but in general, the user's knowledge background is relatively high through empirical setting, and the practicality is limited. Therefore, in the present invention, a human-computer interaction method that is relatively easy to operate is employed. Specifically, as shown in FIG. 5a, in the frame of the stable moving area foreground mask obtained by step S12, a rectangular box with only shadows is calibrated by human-computer interaction, wherein the size and position of the rectangular frame are There are no strict restrictions, only the shadow pixels that are included and only contain more.
  • a mask map R S0 (X) of the shadow sub-region is generated according to the calibrated rectangular frame, as shown in FIG. 5b.
  • the three primary color images S 0 (X) of the shaded sub-region are extracted, as shown in FIG. 5c. Specifically, using the formula (15), the three primary color images S 0 (X) of the shaded sub-region are extracted, as shown in FIG. 5c. Specifically,
  • S14 The three-dimensional data set Z 0 obtained in S13 is utilized.
  • the mean vector m 0 of the three-dimensional data set and the covariance matrix C 0 are calculated.
  • m 0 , C 0 are taken as the initial mean vector and initial covariance matrix of the three-dimensional Gaussian probability model G(Z, m, C).
  • the set of shaded pixel points of the mask map R S0 (X) of the shaded sub-region calibrated by step S13 can be denoted as R S0 .
  • the mean vector m 0 of the set and the formula for calculating the covariance matrix C 0 are as follows:
  • n 0
  • represents the number of elements in the set R S0 .
  • X represents the coordinates of the pixel, and t is the matrix transpose operator.
  • 6a-6c are scatter plots, shaded Gaussian models, and overlays of Gaussian models for shadow scatters in a three-dimensional ratio space provided by an embodiment of the present invention.
  • 6a is a scatter plot of the shaded pixel in FIG. 5c in the three-dimensional ratio space
  • FIG. 6c is a schematic diagram of the coverage of the shaded scatter distribution in FIG. 6a by the Gaussian ellipsoid model of FIG. 6b .
  • S2 detecting the foreground area of the motion of the current frame image of the surveillance video, and updating the background of the video. For each pixel in the foreground area of motion, map it to the three primary color ratio space of the motion foreground/video background.
  • step S3 discriminate each pixel in the motion foreground region obtained in step S2 according to the established shadow three-dimensional Gaussian probability model, and detect and distinguish the shadow pixel and the motion target pixel.
  • X ⁇ R Fk represents a set of pixel points in the foreground region of motion
  • R Tk represents a set of pixel points of the moving target region detected after the discriminating
  • R Sk represents the detected after discriminating A collection of pixel points in the shadow area of the target.
  • T is a predetermined discriminating threshold. In practice, the value of T between [3, 7] is better.
  • FIGS. 7a-7b are schematic diagrams of discriminant spaces using the shadow model of the present invention provided by an embodiment of the present invention.
  • 7a is a scatter diagram of a pixel of a moving foreground region of a frame of example video in a three-dimensional ratio space
  • FIG. 7b is a schematic diagram of performing shadow discrimination on a pixel of a motion region of FIG. 7a using a Gaussian model established, wherein The ellipsoid is a shadow ellipsoid model given a threshold T in the present invention.
  • the scatter point in the ellipsoid is the pixel point that is determined as a shadow in the foreground motion region, and the scatter point outside the ellipsoid is in the foreground motion region.
  • step S4 using all the shadow pixel data detected in step S3 to update the three-dimensional Gaussian of the shadow Rate model parameters m and C.
  • the gradation of the illumination in the sequence will cause some changes in the distribution of the shadow in the feature space, so the ellipsoid model needs to be adaptively adjusted according to the illumination change.
  • the mean vector m k0 and the covariance matrix C k0 of the three primary color ratio space of the current frame shadow set are calculated.
  • n k0
  • represents the number of elements in the set R Sk .
  • the sequence mean vector m k of the shadow model and the sequence covariance matrix C k are updated. Since the mean vector and the covariance matrix are two statistic, a more accurate result can be obtained when the sample size has a certain size or more.
  • update parameters of the shadow model G(Z, m, C), and Q(Z, m, C) of the present invention can be used for shadow detection of the next frame.
  • the update learning is to finely adjust the direction of the ellipsoid and the three axial lengths, so it is also possible Further adopting the clamp learning strategy to obtain the shadow detection model parameters m, C of the next frame:
  • a 2 is a positive number less than 1, and is called a clamp learning parameter.
  • step S5 Returning to step S2, performing shadow detection of the motion region on the new one-frame video image.
  • an embodiment of the present invention provides a system for monitoring motion target shadow detection in a video.
  • Fig. 8 shows the structure of a moving object shadow detecting system in the surveillance video provided by the present invention, and only the parts related to the present invention are shown for convenience of explanation.
  • the motion target shadow detection system in the surveillance video provided by the present invention includes:
  • a model creation unit 801 configured to establish a three-dimensional Gaussian probability model of the shadow in the three primary color ratio space of the motion foreground/video background of the surveillance video, and initialize the model parameters;
  • the image detecting unit 802 is configured to perform motion area detection on the image of the current frame of the surveillance video, and update the video background, and map each pixel in the motion foreground area to the motion before The three primary color ratio space of the scene/video background;
  • a pixel discriminating unit 803 configured to discriminate each pixel in the obtained motion foreground region according to the established shadow three-dimensional Gaussian probability model, and detect and distinguish the shadow pixel and the moving target pixel;
  • a model updating unit 804 configured to update a three-dimensional Gaussian probability model parameter of the shadow according to the detected shadow pixel point data
  • the subsequent frame shadow detecting unit 805 is configured to perform shadow detection of the motion region on the new one-frame video image according to the updated three-dimensional Gaussian probability model.
  • the model creation unit comprises:
  • the three-dimensional Gaussian probability model establishes a sub-unit for establishing a three-primary color ratio space of the video motion foreground/video background, and establishing a three-dimensional Gaussian probability model G(Z, m, C) of the shadow in the ratio space, wherein Z is a color three-dimensional
  • the ratio vector, m is the mean vector of the Gaussian function, and C is the covariance matrix;
  • the video background establishing sub-unit is used for video motion detection technology based on video background modeling, and performs continuous motion foreground detection and video background update on the surveillance video. After the video background is established, the frame detected in the captured video contains The foreground area of the target's motion, and take out the video background image at this time;
  • An instruction receiving subunit configured to receive, in the detected motion foreground area mask map, an instruction to calibrate a sub-area containing only shadow pixels in a moving foreground area, and to color each pixel color vector in the shadow sub-area
  • the background image color vector performs a ratio operation to obtain a three-dimensional ratio vector data set
  • a parameter calculation subunit configured to calculate a mean vector m 0 of the three-dimensional data set, and a covariance matrix C 0 according to the obtained three-dimensional ratio vector data set, and use m 0 , C 0 as a three-dimensional Gaussian probability model G(Z , m, C) initial mean vector and initial covariance matrix.
  • the shadow detection method for moving objects in the surveillance video proposed by the invention mainly detects the motion target shadows of the motion regions detected by the video motion detection method based on the video background modeling.
  • a three-dimensional Gaussian probability model of the shadow is established in the three primary color ratio space of the motion foreground/video background of the surveillance video, and the parameters such as the mean vector and the covariance matrix of the model are initialized;
  • the three-primary color vector of each pixel in the moving target region detected by the moving target detection method of the frequency background is calculated by calculating the three primary color vector of the current video background, and the three primary color ratio vector of each pixel is calculated;
  • the 3D Gaussian model parameters of the shadow are updated for motion target shadow detection in the next frame of video.
  • the method of the invention has the characteristics of strong self-adaptive ability and high detection accuracy, and is particularly suitable for detecting and removing shadows of moving targets in a surveillance video.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种监控视频中运动目标的阴影检测方法，所述方法包括：在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型，并对模型参数进行初始化（S1）；对监控视频的当前帧图像进行运动前景区域的检测，以及视频背景的更新，对运动前景区域中的每个像素，将其映射到运动前景/视频背景的三基色颜色比值空间中（S2）；用已经建立的阴影三维高斯概率模型对步骤（S2）中得到的运动前景区域中的每个像素进行判别，检测并区分出阴影像素和运动目标像素（S3）；利用步骤（S3）中检测得到所有阴影像素点数据，更新阴影的三维高斯概率模型参数（S4）；回到步骤（S2），对新的一帧视频图像进行运动区域的阴影检测（S5）。本方法较好地解决了现有监控视频中运动目标阴影检测技术中的参数设定困难，无法自适应场景光照变化，运算量大等问题。

Description

一种监控视频中运动目标的阴影检测方法、系统 技术领域
本发明属于视频图像处理技术领域，尤其涉及一种监控视频中运动目标的阴影检测方法、系统。
背景技术
在监控视频分析中，通常首先进行运动目标检测，从视频中提取出感兴趣的运动目标。这些运动目标是后续视频图像分类、识别和行为分析的基础。常用的视频目标检测方法有：帧差法、光流法、背景减除法。一般来说,这些方法初始检测出来的“运动目标”实际上只是“运动区域”。由于受光照等因素的影响，在检测中,运动目标的阴影往往伴随目标会同时被检测到，这些目标产生的阴影具有与目标类似的运动属性，会影响对目标形状的判别，对后续目标识别造成困难。因此需要从检测的运动区域中进一步将阴影检测出来并进行剔除。
现有技术针对图像中阴影检测去除的方法主要有以下几种：
一、基于模型的方法。这类方法一般要求知道场景、运动目标、光照条件的先验知识。如在人体检测中，将人体构建成直立的椭圆，并将不符合人体椭圆模型的区域看作阴影区域或噪声进行消除。但由于人体机动性强，形态复杂，人体形状不满足椭圆模型时会误判成阴影。另外当阴影区域和人体模型形状类似时，阴影也会检测成人体，造成误检。基于模型的方法由于非常依赖于场景与前景之间的几何关系，当这些关系改变时，这些方法会失效，因此通用性不强。
二、基于RGB三基色空间的方法。如利用人眼对色感一致性能力，把颜色看作辐射系数和反射系数的乘积，统计RGB颜色空间中背景的各颜色分量的均值、方差，再通过当前帧像素与统计的背景像素参数对比，从而进行分类， 得到阴影。如在归一化的颜色空间，取出其中两个颜色，当检测出的运动目标区域对背景图像覆盖前后颜色色度不变，亮度减小的像素，判别为阴影。此种方法实现简单，但算法容易误判阴影点。
三、基于HSV颜色特征空间的方法。该类方法认为阴影区域像素点与其对应位置的背景像素点相比，具有亮度变暗、饱和度降低、色调变化不大的特点。具体实现时，首先进行视频的运动前景和静态背景的分离；然后计算像素的前景图像亮度与背景图亮度的比值，并设置一个基于比值的双阈值区间，同时计算该像素的前景图色调与背景图色调的差值，以及该像素前景图饱和度与背景图饱和度的差值，并分别设定一个固定的色调差值阈值与饱和度差值阈值；最后将那些亮度比值在双阈值区间，且色调差值和饱和度差值不大于对应阈值的运动前景区域像素点判定为阴影像素点。该方法中,前景/背景亮度比值的双阈值、以及色调差值阈值和饱和度差值阈值共同构成了一个三维空间中沿坐标轴方向的长方体结构。在针对特定视频场景中阈值设定合理的情况下，该方法可以得到较好的阴影区域检测效果。但该方法的一个最大问题是，四个阈值参数需要根据不同场景人为进行设置，且不能对场景光照变化进行自适应参数调整,影响了方法的使用范围。另外该方法还需要进行RGB颜色空间到HSV空间的转换等。
综上所述，现有技术提出阴影的检测方法存在一些参数设定困难、无法适应视频场景光照变化、运算量大等问题。
发明内容
本发明的目的在于提供一种监控视频中运动目标的阴影检测方法，旨在解决现有技术的阴影检测方法存在一些参数设定困难、无法适应视频场景光照变化、运算量大的问题。
本发明是这样实现的，一种监控视频中运动目标的阴影检测方法，所述方法包括以下步骤：
在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型,并对模型参数进行初始化；
对监控视频的当前帧的图像进行运动前景区域的检测,以及视频背景的更新，对运动前景区域中的每个像素,将其映射到运动前景/视频背景的三基色颜色比值空间中；
根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素；
根据检测得到的所有阴影像素点数据,更新阴影的三维高斯概率模型参数；
根据更新后的三维高斯概率模型，对新的一帧视频图像进行运动区域的阴影检测。
本发明还提供了一种监控视频中运动目标的阴影检测系统，所述系统包括：
模型创建单元，用于在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型,并对模型参数进行初始化；
图像检测单元，用于对监控视频的当前帧的图像进行运动前景区域的检测,以及视频背景的更新，对运动前景区域中的每个像素,将其映射到运动前景/视频背景的三基色颜色比值空间中；
像素判别单元，用于根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素；
模型更新单元，用于根据检测得到的所有阴影像素点数据,更新阴影的三维高斯概率模型参数；
后续帧阴影检测单元，用于根据更新后的三维高斯概率模型，对新的一帧视频图像进行运动区域的阴影检测。
本发明实现了一种监控视频中运动目标的阴影检测方法，通过建立三维高斯概率模型，对所述模型参数进行初始化，对监控视频图像的前景区域进行检测，和视频背景更新，将前景区域中的每个像素映射到三基色比值空间，通过 对每个像素进行判别，从而检测得到所有阴影像素点，根据检测的像素点对三维高斯概率模型进行更新后，即可对下一帧图像进行检测。本发明较好地解决了现有监控视频中运动目标阴影检测技术中的参数设定困难，无法自适应场景光照变化，运算量大等问题。
附图说明
图1是本发明实施例提供的监控视频中运动目标的阴影检测方法的流程图；
图2a为样例视频中的一帧视频图像；
图2b为采用基于背景建模的视频运动检测方法得到的对应于图2a视频图像帧的运动前景掩膜图；
图2c为图2a所述的视频图像的帧时刻的视频背景图；
图3a为图2a的局部子图像；
图3b为对应于图2b的运动前景掩膜图；
图3c为对应于图3a的视频背景图；
图3d中的上面部分为运动目标的掩模，下面部分为目标阴影的掩模；
图3e为由图3a和图3b经像素乘积运算得到的运动前景图像；
图4是本发明实施例提供的对运动区域阴影检测的三维高斯模型进行参数初始化的流程图；
图5a为标定只有阴影的矩形方框的运动前景掩模图；
图5b为图5a中标定框中的阴影掩模图；
图5c为图5a标定的阴影框中的阴影掩模图和原视频图像帧得到的阴影图像；
图6a为图5c中的阴影像素点在三维比值空间的散点图；
图6b为根据三维比值空间高斯建模形成的椭球模型；
图6c为高斯椭球模型对图6a中阴影的散点分布的覆盖情况示意图；
图7a是一帧示例视频的运动前景区域的像素点在三维比值空间中的散点图；
图7b是用建立的高斯模型对图7a的运动区域像素点进行阴影判别的示意图，其中网状的椭球是本发明中给定阈值T后的一个阴影椭球模型，椭球内的红色散点是前景运动区域中被判为阴影的像素点，椭球外的蓝色散点是前景运动区域中被判为目标的像素点；
图8是本发明实施例中提供的监控视频中运动目标阴影检测系统的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了解决现有监控视频中的阴影检测技术存在的问题，本发明提出的监控视频中运动目标的阴影检测方法,主要针对基于视频背景建模的视频运动检测方法检测出的运动区域进行运动目标阴影的检测。首先,在监控视频的运动前景/视频背景的三基色比值空间建立阴影的三维高斯概率模型,并对模型的均值矢量和协方差矩阵等参数进行初始化；然后,对基于视频背景建模的运动目标检测方法检测出的运动目标区域中的每个像素三基色颜色矢量与当前视频背景的三基色颜色矢量进行运算,计算出每个像素的三基色比值矢量；之后,在三基色比值矢量空间,用建立的阴影三维高斯模型对运动区域的每个像素进行判别,检测并区分出阴影像素和运动目标像素；最后,用检测得到的阴影像素点的三基色比值矢量数据集合对阴影的三维高斯模型参数进行更新,以用于下一帧视频中的运动目标阴影检测。
相对于现有的阴影检测方法，本发明提出的方法具有自适应能力强，检测准确度高等特点，特别适合于监控视频中运动目标阴影的检测去除。
为了更清晰地表述本发明的思想，首先给出一些说明和定义如下：
本发明提出的监控视频中运动目标的阴影检测方法,主要针对摄像机静止的基于视频背景建模的视频运动检测方法检测出的运动区域进行目标阴影的检测。基于视频背景建模的视频运动检测方法通过动态建立视频背景,检测出与视频背景不一致的所有像素点作为候选运动目标区域。目前常用的视频背景建模方法有：均值背景建模、中值背景建模、卡尔曼滤波背景建模、核密度估计背景建模、单高斯背景建模和混合高斯背景建模等。其中,由Stauffer等提出的混合高斯视频背景建模方法是其中较好的一种方法,该方法能够较好地适应光照的缓慢变化,动态建立并实时更新视频背景,提取的运动目标区域较为完整。目前还有一些较好的以混合高斯视频背景建模为基本思想的改进方法。上述这些方法对于视频分析和计算机视觉领域的技术人员是目前的习知内容，此处不再赘述。
本发明实施例的后续陈述中，监控视频中的运动区域提取，以及视频背景的建立和更新我们将不再指定具体方法，统一称为基于背景建模的方法。
在本发明实施例中假设，一视频图像序列为Vk(X)，其中，X＝(x,y)，是视频图像视场中像素点的空间位置坐标，也可用于表示在该位置处的像素点，k是视频图像的帧序号。并且记采用基于背景建模的视频运动检测方法得到的第k帧时的运动前景掩膜图RFk(X),以及第k帧时的视频背景图Bk(X)。其中，第k帧视频图像Vk(X)和第k帧时的背景图像Bk(X)是三基色彩色图，而第k帧时的运动前景掩膜图RFk(X)是二值图像，定义为：
Figure PCTCN2016081482-appb-000001
更进一步，运动前景掩膜图Rk(X)又可以分成为运动目标掩膜图RTk(X)和目标阴影掩膜图RSk(X)两个子图：
Figure PCTCN2016081482-appb-000002
Figure PCTCN2016081482-appb-000003
在数学上，运动前景掩膜图RFk、运动目标掩膜图RTk和目标阴影掩膜图RSk也可以看成是在视频的第k帧图像中检测到的运动区域、目标区域、以及阴影区域的像素点集合，且具有如下的关系：
RFk＝RTk∪RSk
且RTk∩RSk＝φ              (4)
其中，∪、∩分别表示集合的并、交运算，
Figure PCTCN2016081482-appb-000004
表示空集。
在本实施例后续的叙述中，分别用X∈RFk代表处于运动前景区域的像素点、X∈RTk代表处于运动目标区域的像素点、X∈RSk代表处于目标阴影区域的像素点。在视频的第k帧图像中的运动区域图像Fk(X)、目标区域图像Tk(X)、以及阴影区域图像Sk(X)可以使用下面的像素点上的乘法运算得到：
Fk(X)＝Vk(X)·RFk(X)           (5)
Tk(X)＝Vk(X)·RTk(X)             (6)
Sk(X)＝Vk(X)·RSk(X)            (7)
为了对上述定义进行更明确的说明，图2a-2c和图3a-3e提供了一组示例图。图2a-2c是本发明实施例提供的一视频样例及其运动前景掩模图、视频背景的示例图。其中，图2a为样例视频中的一帧视频图像,图2b为采用基于背景建模的视频运动检测方法得到的对应于图2a视频帧的运动前景掩膜图,图2c为图2a视频帧时刻的视频背景图。图3是本发明实施例提供的与图2对应的视频中的局部子图，及其运动前景掩模图、视频背景、运动目标与阴影掩模、运动前景图像的示例图。其中，图3a为图2a的局部子图像,图3b为对应于图3a的图2b运动前景掩膜图中的局部子图，图3c为对应于图3a区域的图2c视频背景图中的局部子图，图3d中的上面部分为运动目标的掩模，下面部分为目标阴影的掩模，图3e为由图3a和图3b经像素乘积运算得到的运动前景图像；
图1示出了本发明实施例提供的监控视频中运动目标阴影检测方法的流程，包括以下步骤：
S1：在监控视频的运动前景/视频背景的三基色比值空间中,建立阴影的三维高斯概率模型,并对模型参数进行初始化。
进一步地，如图4所示，步骤S1包括以下步骤：
S11：建立视频运动前景/视频背景的三基色颜色比值空间。在比值空间中建立阴影的三维高斯概率模型G(Z,m,C),其中,Z是颜色三维比值矢量，m是高斯函数的均值向量,C是协方差矩阵。
假设前述在运动前景区域的像素点X∈RFk，该运动前景像素点的红、绿、蓝三基色颜色矢量可由公式(5)计算得到，为
Fk(X)＝(rFk(X),gFk(X),bFk(X))
如前所述，对应该像素位置处的视频背景的红、绿、蓝三基色颜色矢量为
Bk(X)＝(rBk(X),gBk(X),bBk(X))
则视频运动前景/视频背景的三基色颜色比值矢量Zk(X)的定义为：
Zk(X)＝(zrk(X),zgk(X),zbk(X))               (8)
其中，
zrk(X)＝rFk(X)/rBk(X)           (9)
zgk(X)＝gFk(X)/gBk(X)             (10)
zbk(X)＝bFk(X)/bBk(X)                  (11)
其中，在公式(9),(10),(11)中的/表示标量除法运算。三维比值矢量Zk(X)的全体构成的集合称为视频运动前景/视频背景的三基色颜色比值空间。在后续不引起混淆的叙述中，为了简化起见，也使用不带脚标的矢量Z＝(zr,zg,zb)表示一个一般的比值矢量。则比值空间中阴影的三维高斯概率模型G(Z,m,C)为
Figure PCTCN2016081482-appb-000005
其中,在公式(12)中，Z是三维比值矢量，m是三维均值矢量,C是协方差矩阵，|C|是矩阵C的行列式，C-1是矩阵C的逆矩阵，t是矩阵转置运算符。在公 式(12)所给出的模型中，参数m和C确定以后，则对于每一个矢量Z都可以算出一个概率值。实际上，在参数C确定以后，公式(12)的概率值由下面的公式(13)表示的马氏距离决定
Q(Z,m,C)＝(Z-m)C-1(Z-m)t           (13)
因此，公式(13)的模型经常作为公式(12)的模型的等价形式使用，并且公式(13)的运算比公式(12)的运算要简单得多。取常数T>0，令
Q(Z,m,C)＝(Z-m)C-1(Z-m)t≤T           (14)
则由几何知识可知，公式(14)表示的是一个三个轴直径长度分别为
Figure PCTCN2016081482-appb-000006
Figure PCTCN2016081482-appb-000007
和
Figure PCTCN2016081482-appb-000008
三维空间中的椭球，该椭球的中心位置在向量m处，椭球在三维空间中的方向由协方差矩阵C决定，而
Figure PCTCN2016081482-appb-000009
和
Figure PCTCN2016081482-appb-000010
分别为矩阵C的三个特征值。若σ1＝σ2＝σ3＝σ，公式(14)表示半径为
Figure PCTCN2016081482-appb-000011
球。由此，T＝1、4、9时，公式(14)可以近似看成是等效半径分别为1σ、2σ、3σ的三维等效球。
S12：采用基于视频背景建模的视频运动检测技术,对监控视频进行持续的运动前景检测和视频背景更新。在建立起比较稳定的视频背景的条件下,取出视频中检测出的一帧含有目标的运动前景区域,并取出此时的视频背景图像。
在目前已有的基于背景建模的视频运动检测方法中，视频背景的建立需要有一个学习的过程。算法在开始运行时得到的初始视频背景往往是不完全的，此时检测的运动前景区域的准确度较低。在经过一段学习时间以后，视频背景会趋于稳定，此时检测到的运动前景区域具有较高的准确度。在前述图2和图3给出的视频运动前景，以及视频背景即是在稳定学习一段时间后得出的。具体的稳定学习时间的大小与具体的检测算法有关，此处不再赘述。
假设在稳定学习后提取出的视频帧为V0(X)，此时检测到的运动前景掩膜图RF0(X),以及视频背景图B0(X)＝(rB0(X),gB0(X),bB0(X))。
S13：对在S12中得到的运动前景区域掩模图中,采用人机交互方式标定 一块运动前景区域中只含有阴影像素的子区域。将阴影子区域中的每个像素颜色矢量与该点的背景图像颜色矢量进行比值运算,得到三维的比值矢量数据集合Z0。
如前所述，本发明中公式(12)和公式(13)表示的阴影概率模型由参数m和C决定。这两个参数的初始值可以通过经验近似确定,但一般情况下通过经验设定对使用者的知识背景要求比较高，实用性受到限制。因此，在本发明中采用比较容易操作的人机交互方式。具体为:如图5a所示,在由步骤S12获取的一帧稳定的运动区域前景掩模图中,采用人机交互的方式标定一个只有阴影的矩形方框，其中对矩形框的大小和位置并没有严格的限制，只要求其中包含且仅包含较多的阴影像素即可。
然后，根据标定的矩形框生成阴影子区域的掩模图RS0(X)，如图5b所示。
进一步，利用公式(15)，提取出该阴影子区域的三基色彩色图像S0(X)，如图5c所示。具体为
S0(X)＝V0(X)·RS0(X)＝(rS0(X),gS0(X),bS0(X))       (15)
接着，利用公式(16)、(17)、(18)计算，
zr0(X)＝rS0(X)/rB0(X)          (16)
zg0(X)＝gS0(X)/gB0(X)             (17)
zb0(X)＝bS0(X)/bB0(X)           (18)
得到阴影子区域每个像素颜色矢量与该点的背景图像颜色矢量的三维比值矢量数据集合Z0，
Z0(X)＝(zr0(X),zg0(X),zb0(X))           (19)
S14：利用S13中得到的三维数据集合Z0。计算该三维数据集合的均值矢量m0,以及协方差矩阵C0。并将m0,C0作为三维高斯概率模型G(Z,m,C)的初始均值向量和初始协方差矩阵。
由步骤S13标定的阴影子区域的掩模图RS0(X)的阴影像素点的集合可以记为RS0。该集合的均值矢量m0,以及协方差矩阵C0的计算公式如下：
Figure PCTCN2016081482-appb-000012
Figure PCTCN2016081482-appb-000013
其中，在公式(20)和(21)中，n0＝|RS0|表示集合RS0中元素的个数。X表示像素点的坐标，t为矩阵转置运算符号。同时令
m＝m0,C＝C0          (22)
作为本发明阴影模型公式(12)G(Z,m,C)，以及公式(13)、(14)Q(Z,m,C)的初始参数。
图6a-6c是本发明实施例提供的在三维比值空间中阴影像素点的散点图、阴影高斯模型，以及高斯模型对阴影散点的覆盖示意图。其中，图6a为图5c中的阴影像素点在三维比值空间的散点图；图6b为使用图5c中的阴影像素点由公式(22)计算出的参数m、C，以及代入公式(14)后形成的三维比值空间中阴影高斯椭球模型，其中在该椭球模型图中参数T＝6；图6c为图6b的高斯椭球模型对图6a中阴影的散点分布的覆盖情况示意图。
S2：对监控视频的当前帧图像进行运动前景区域的检测,以及视频背景的更新。对运动前景区域中的每个像素,将其映射到运动前景/视频背景的三基色颜色比值空间中。
在经过步骤S1对阴影模型初始化后，继续使用与前述相同的基于背景建模的视频运动检测方法对监控视频的运动区域进行检测。假设当前的视频是在步骤S1参数初始化后的第k帧，k＝1,2,…。此时对应的视频图像为Vk(X)，检测到的运动前景掩模图为RFk(X),视频背景图为Bk(X)。
首先，利用公式(5)计算出运动区域图像Fk(X)：
Fk(X)＝Vk(X)·RFk(X)         (5)
然后，利用公式(9)(10)(11)即可计算出视频运动前景/视频背景的三基色颜色比值矢量图像Zk(X)＝(zrk(X),zgk(X),zbk(X))，其中
zrk(X)＝rFk(X)/rBk(X)            (9)
zgk(X)＝gFk(X)/gBk(X)              (10)
zbk(X)＝bFk(X)/bBk(X)             (11)
S3：根据建立的阴影三维高斯概率模型对步骤S2中得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素。
首先，对由步骤S2得到的比值图像Zk(X)的每个像素点X∈RFk，代入公式(13)计算马氏距离
Q(Zk(X))＝Q(Zk(X),m,C)＝(Zk(X)-m)C-1(Zk(X)-m)t           (13)
然后用上述计算的马氏距离对每个像素点进行判别，判别公式为：
Figure PCTCN2016081482-appb-000014
其中,在判别公式(23)中，X∈RFk代表处于运动前景区域的像素点集合，RTk代表经过判别后检测到的运动目标区域的像素点集合，RSk代表经过判别后检测到的目标阴影区域的像素点集合。T是一个事先给定的判别阈值。在实际中，T取[3，7]之间的数值效果比较好。
图7a-7b是本发明实施例提供的采用本发明阴影模型的判别空间示意图。其中，图7a是一帧示例视频的运动前景区域的像素点在三维比值空间中的散点图；图7b是用建立的高斯模型对图7a的运动区域像素点进行阴影判别的示意图，其中网状的椭球是本发明中给定阈值T后的一个阴影椭球模型，椭球内的散点是前景运动区域中被判为阴影的像素点，椭球外的散点是前景运动区域中被判为目标的像素点。
S4：利用步骤S3中检测得到所有阴影像素点数据,更新阴影的三维高斯概 率模型参数m与C。
本发明方法中，主要是针对监控视频图像序列，序列中光照的渐变将使阴影在特征空间中的分布发生一些变化，因此需要根据光照变化，对椭球模型进行适当自适应调整。
首先，使用步骤S3中检测出的阴影区域像素点集合RSk计算出当前帧阴影集合的三基色比值空间的均值矢量mk0和协方差矩阵Ck0，
Figure PCTCN2016081482-appb-000015
Figure PCTCN2016081482-appb-000016
其中，在公式(24)和(25)中，nk0＝|RSk|表示集合RSk中元素的个数。X表示像素点的坐标，t为矩阵转置运算符号，Zk(X)＝(zrk(X),zgk(X),zbk(X))是利用公式(9)(10)(11)的方法计算出的由步骤S3检测得到的阴影区域像素的三基色颜色比值矢量图像。
然后，更新阴影模型的序列均值矢量mk和序列协方差矩阵Ck。由于均值矢量和协方差矩阵是两个统计量，在样本数量具有一定规模以上时，才能够得到比较准确的结果。为此在更新学习中，设定一个样本数量的阈值N。在本发明实施例的实验中N＝100。则序列均值矢量mk,和序列协方差矩阵Ck的更新策略为：
若nk0>N,则
mk＝(1-a1)mk-1+a1 mk0          (26)
Ck＝(1-a1)Ck-1+a1 Ck0        (27)
否则，若nk0≤N,则
mk＝mk-1             (28)
Ck＝Ck-1               (29)
在更新公式(26)、(27)、(28)、(29)中，k＝1,2,…,为参数初始化后开始计数的视频帧序号，并且，m0，C0为初始化时得到的两个参数。a1是一个小于1的较小的正数，称为学习系数。在本发明实施例的实验中a1＝0.05。
此时，可以令
m＝mk,C＝Ck
作为本发明阴影模型G(Z,m,C)，以及Q(Z,m,C)的更新参数。可以用它们进行下一帧的阴影检测。
但是，如果考虑到在初始化过程中人机交互得到的模型参数m0，C0具有较高的可信度，更新学习是为了对椭球的方向和三个轴长作细致调整，所以也可以进一步采用钳位学习的策略，得到下一帧的阴影检测模型参数m，C：
m＝(1-a2)mk+a2 m0             (30)
C＝(1-a2)Ck+a2 C0            (31)
其中在钳位学习公式(30)、(31)中，a2是一个小于1的正数，称为钳位学习参数。参数a2体现的是对模型初始化参数的信心程度。在本发明实施例的实验中a2＝0.8。
S5：回到步骤S2,对新的一帧视频图像进行运动区域的阴影检测。
此外，本发明实施例还提供了一种监控视频中运动目标阴影检测的系统。图8示出了本发明提供的监控视频中运动目标阴影检测系统的结构，为了便于说明，仅示出了与本发明相关的部分。
具体地，本发明提供的监控视频中运动目标阴影检测系统包括：
模型创建单元801，用于在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型,并对模型参数进行初始化；
图像检测单元802，用于对监控视频的当前帧的图像进行运动前景区域的检测,以及视频背景的更新，对运动前景区域中的每个像素,将其映射到运动前 景/视频背景的三基色颜色比值空间中；
像素判别单元803，用于根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素；
模型更新单元804，用于根据检测得到的所有阴影像素点数据,更新阴影的三维高斯概率模型参数；
后续帧阴影检测单元805，用于根据更新后的三维高斯概率模型，对新的一帧视频图像进行运动区域的阴影检测。
优选的，所述模型创建单元包括：
三维高斯概率模型建立子单元，用于建立视频运动前景/视频背景的三基色颜色比值空间，在比值空间中建立阴影的三维高斯概率模型G(Z,m,C),其中,Z是颜色三维比值矢量，m是高斯函数的均值向量,C是协方差矩阵；
视频背景建立子单元，用于采用基于视频背景建模的视频运动检测技术,对监控视频进行持续的运动前景检测和视频背景更新，在建立起视频背景后，取出视频中检测出的一帧含有目标的运动前景区域,并取出此时的视频背景图像；
指令接收子单元，用于在所检测的运动前景区域掩模图,接收标定一块运动前景区域中只含有阴影像素的子区域的指令，将阴影子区域中的每个像素颜色矢量与该点的背景图像颜色矢量进行比值运算,得到三维的比值矢量数据集合；
参数计算子单元，用于根据得到的三维的比值矢量数据集合，计算该三维数据集合的均值矢量m0,以及协方差矩阵C0，并将m0,C0作为三维高斯概率模型G(Z,m,C)的初始均值向量和初始协方差矩阵。
本发明提出的监控视频中运动目标的阴影检测方法,主要针对基于视频背景建模的视频运动检测方法检测出的运动区域进行运动目标阴影的检测。首先,在监控视频的运动前景/视频背景的三基色比值空间建立阴影的三维高斯概率模型,并对模型的均值矢量和协方差矩阵等参数进行初始化；然后,对基于视 频背景建模的运动目标检测方法检测出的运动目标区域中的每个像素三基色颜色矢量与当前视频背景的三基色颜色矢量进行运算,计算出每个像素的三基色比值矢量；之后,在三基色比值矢量空间,用建立的阴影三维高斯模型对运动区域的每个像素进行判别,检测并区分出阴影像素和运动目标像素；最后,用检测得到的阴影像素点的三基色比值矢量数据集合对阴影的三维高斯模型参数进行更新,以用于下一帧视频中的运动目标阴影检测。
相对于现有的阴影检测方法，本发明方法具有自适应能力强，检测准确度高等特点，特别适合于监控视频中运动目标阴影的检测去除。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种监控视频中运动目标的阴影检测方法，其特征在于，所述方法包括以下步骤：
    在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型,并对模型参数进行初始化；
    对监控视频的当前帧的图像进行运动前景区域的检测,以及视频背景的更新，对运动前景区域中的每个像素,将其映射到运动前景/视频背景的三基色颜色比值空间中；
    根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素；
    根据检测得到的所有阴影像素点数据,更新阴影的三维高斯概率模型参数；
    根据更新后的三维高斯概率模型，对新的一帧视频图像进行运动区域的阴影检测。
  2. 根据权利要求1所述方法，其特征在于，所述在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型,并对模型参数进行初始化步骤包括：
    建立视频运动前景/视频背景的三基色颜色比值空间，在比值空间中建立阴影的三维高斯概率模型G(Z,m,C),其中,Z是颜色三维比值矢量，m是高斯函数的均值向量,C是协方差矩阵；
    采用基于视频背景建模的视频运动检测技术,对监控视频进行持续的运动前景检测和视频背景更新，在建立起视频背景后，取出视频中检测出的一帧含有目标的运动前景区域,并取出此时的视频背景图像；
    在所检测的运动前景区域掩模图,接收标定一块运动前景区域中只含有阴影像素的子区域的指令，将阴影子区域中的每个像素颜色矢量与该点的背景图像颜色矢量进行比值运算,得到三维的比值矢量数据集合；
    根据得到的三维的比值矢量数据集合，计算该三维数据集合的均值矢量m0,以及协方差矩阵C0，并将m0,C0作为三维高斯概率模型G(Z,m,C)的初始均值向量和初始协方差矩阵。
  3. 根据权利要求2所述方法，其特征在于，所述建立视频运动前景/视频背景的三基色颜色比值空间，在比值空间中建立阴影的三维高斯概率模型步骤具体为：
    视频运动前景/视频背景的三基色颜色比值矢量Zk(X)的为：
    Zk(X)＝(zrk(X),zgk(X),zbk(X))
    其中，
    zrk(X)＝rFk(X)/rBk(X)
    zgk(X)＝gFk(X)/gBk(X)
    zbk(X)＝bFk(X)/bBk(X)
    “/”表示标量除法运算，rFk(X)、gFk(X)、bFk(X)分别表示红、绿、蓝三基色视频运动前景图，rBk(X)、gBk(X)、bBk(X)分别表示红、绿、蓝三基色视频背景图；
    比值空间中阴影的三维高斯概率模型G(Z,m,C)为
    Figure PCTCN2016081482-appb-100001
    其中，Z是三维比值矢量，m是三维均值矢量,C是协方差矩阵，|C|是矩阵C的行列式，C-1是矩阵C的逆矩阵，t是矩阵转置运算符。
  4. 根据权利要求2所述方法，其特征在于，所述根据得到的三维的比值矢量数据集合，计算该三维数据集合的均值矢量步骤包括：
    标定的阴影子区域的掩模图RS0(X)的阴影像素点的集合为RS0，根据公式：
    Figure PCTCN2016081482-appb-100002
    Figure PCTCN2016081482-appb-100003
    计算得到均值矢量m0,以及协方差矩阵C0，其中：n0＝|RS0|是集合RS0中元素的个数。X表示像素点的坐标，t为矩阵转置运算符号。
  5. 根据权利要求1所述方法，其特征在于，所述根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素步骤包括：
    根据得到的比值图像Zk(X)的每个像素点X∈RFk，代入马氏距离计算公式：
    Q(Zk(X))＝Q(Zk(X),m,C)＝(Zk(X)-m)C-1(Zk(X)-m)t
    根据计算的马氏距离，由像素判别公式：
    Figure PCTCN2016081482-appb-100004
    对每个像素点进行判别，区分出阴影像素和运动目标像素，其中：C-1是矩阵C的逆矩阵，t是矩阵转置运算符。
  6. 根据权利要求1所述方法，其特征在于，所述根据检测得到的所有阴影像素点数据,更新阴影的三维高斯概率模型参数步骤包括：
    根据检测出的阴影区域像素点集合RSk，由公式：
    Figure PCTCN2016081482-appb-100005
    计算出当前帧阴影集合的三基色比值空间的均值矢量mk0，以及由公式：
    Figure PCTCN2016081482-appb-100006
    计算出当前帧阴影集合的三基色比值空间的协方差矩阵Ck0，其中：nk0＝|RSk|表示集合RSk中元素的个数，X表示像素点的坐标，t为矩阵转置运算符号，Zk(X)＝(zrk(X),zgk(X),zbk(X))，且
    zrk(X)＝rFk(X)/rBk(X)，
    zgk(X)＝gFk(X)/gBk(X)，
    zbk(X)＝bFk(X)/bBk(X)，
    rFk(X)、gFk(X)、bFk(X)分别表示红、绿、蓝三基色视频运动前景图，rBk(X)、gBk(X)、bBk(X)分别表示红、绿、蓝三基色视频背景图；
    更新阴影模型的序列均值矢量mk和序列协方差矩阵Ck。
  7. 根据权利要求6所述方法，其特征在于，所述更新阴影模型的序列均值矢量mk和序列协方差矩阵Ck步骤包括：
    设定样本数量阈值N，若nk0>N,则
    mk＝(1-a1)mk-1+a1mk0
    Ck＝(1-a1)Ck-1+a1Ck0
    否则，若nk0≤N，则
    mk＝mk-1
    Ck＝Ck-1
    其中，k＝1,2,…,为参数初始化后开始计数的视频帧序号，m0，C0为初始化时得到的两个参数，a1是一个小于1的正数。
  8. 根据权利要求6所述方法，其特征在于，所述更新阴影模型的序列均值矢量mk和序列协方差矩阵Ck步骤包括：
    根据钳位学习策略，得到下一帧的阴影检测模型参数m，C：
    m＝(1-a2)mk+a2m0
    C＝(1-a2)Ck+a2C0
    其中，m0，C0为初始化时得到的两个参数，a2是一个小于1的正数。
  9. 一种监控视频中运动目标的阴影检测系统，其特征在于，所述系统包括：
    模型创建单元，用于在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型,并对模型参数进行初始化；
    图像检测单元，用于对监控视频的当前帧的图像进行运动前景区域的检测,以及视频背景的更新，对运动前景区域中的每个像素,将其映射到运动前景/视频背景的三基色颜色比值空间中；
    像素判别单元，用于根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素；
    模型更新单元，用于根据检测得到的所有阴影像素点数据,更新阴影的三维高斯概率模型参数；
    后续帧阴影检测单元，用于根据更新后的三维高斯概率模型，对新的一帧视频图像进行运动区域的阴影检测。
  10. 根据权利要求9所述系统，其特征在于，所述模型创建单元包括：
    三维高斯概率模型建立子单元，用于建立视频运动前景/视频背景的三基色颜色比值空间，在比值空间中建立阴影的三维高斯概率模型G(Z,m,C),其中,Z是颜色三维比值矢量，m是高斯函数的均值向量,C是协方差矩阵；
    视频背景建立子单元，用于采用基于视频背景建模的视频运动检测技术,对监控视频进行持续的运动前景检测和视频背景更新，在建立起视频背景后，取出视频中检测出的一帧含有目标的运动前景区域,并取出此时的视频背景图像；
    指令接收子单元，用于在所检测的运动前景区域掩模图,接收标定一块运动前景区域中只含有阴影像素的子区域的指令，将阴影子区域中的每个像素颜色矢量与该点的背景图像颜色矢量进行比值运算,得到三维的比值矢量数据集合；
    参数计算子单元，用于根据得到的三维的比值矢量数据集合，计算该三维数据集合的均值矢量m0,以及协方差矩阵C0，并将m0,C0作为三维高斯概率模型G(Z,m,C)的初始均值向量和初始协方差矩阵。
PCT/CN2016/081482 2015-09-30 2016-05-10 一种监控视频中运动目标的阴影检测方法、系统 WO2017054455A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510641222.6 2015-09-30
CN201510641222.6A CN105354862B (zh) 2015-09-30 2015-09-30 一种监控视频中运动目标的阴影检测方法、系统

Publications (1)

Publication Number Publication Date
WO2017054455A1 true WO2017054455A1 (zh) 2017-04-06

Family

ID=55330829

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/081482 WO2017054455A1 (zh) 2015-09-30 2016-05-10 一种监控视频中运动目标的阴影检测方法、系统

Country Status (2)

Country Link
CN (1) CN105354862B (zh)
WO (1) WO2017054455A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509195A (zh) * 2018-12-12 2019-03-22 北京达佳互联信息技术有限公司 前景处理方法、装置、电子设备及存储介质
CN109543608A (zh) * 2018-11-22 2019-03-29 中国科学院西安光学精密机械研究所 一种基于高斯混合模型的高光谱海上小目标实时检测方法
CN109635671A (zh) * 2018-11-22 2019-04-16 安徽四创电子股份有限公司 一种基于视频的物资调运点数方法
CN109919964A (zh) * 2019-03-01 2019-06-21 南阳理工学院 基于数学形态学的高斯背景建模技术进行图像处理的方法
CN110111355A (zh) * 2018-11-22 2019-08-09 辽宁师范大学 抵抗强阴影干扰的运动车辆跟踪方法
CN110428394A (zh) * 2019-06-14 2019-11-08 北京迈格威科技有限公司 用于目标移动侦测的方法、装置及计算机存储介质
CN110443830A (zh) * 2019-08-14 2019-11-12 大连海事大学 一种基于混合高斯背景模型的降水云团检测方法
CN110796010A (zh) * 2019-09-29 2020-02-14 湖北工业大学 一种结合光流法和卡尔曼滤波的视频稳像方法
CN110849876A (zh) * 2019-10-17 2020-02-28 广西电网有限责任公司电力科学研究院 一种基于多尺度的背景建模sf6气体红外动态检测方法
CN111274872A (zh) * 2020-01-08 2020-06-12 哈尔滨融智爱科智能科技有限公司 基于模板匹配的视频监控动态不规则多监管区域判别方法
CN111462221A (zh) * 2020-04-03 2020-07-28 深圳前海微众银行股份有限公司 待侦测物体阴影面积提取方法、装置、设备及存储介质
CN111524158A (zh) * 2020-05-09 2020-08-11 黄河勘测规划设计研究院有限公司 水利工程复杂场景下的前景目标检测方法
CN111652935A (zh) * 2020-06-30 2020-09-11 上海振华重工(集团)股份有限公司 一种铁路火车托架的定位系统及其方法
CN112258548A (zh) * 2020-10-20 2021-01-22 东南大学 基于改进ViBe算法的运动目标提取方法
CN113240611A (zh) * 2021-05-28 2021-08-10 中建材信息技术股份有限公司 一种基于图片序列的异物检测方法
CN113554685A (zh) * 2021-08-02 2021-10-26 中国人民解放军海军航空大学航空作战勤务学院 遥感卫星运动目标检测方法、装置、电子设备及存储介质
CN113674371A (zh) * 2021-08-06 2021-11-19 吉林大学 一种基于五维二次核建模的立体元图像阵列编码方法
CN113723364A (zh) * 2021-09-28 2021-11-30 中国农业银行股份有限公司 运动目标识别方法及装置
CN113807185A (zh) * 2021-08-18 2021-12-17 苏州涟漪信息科技有限公司 一种数据处理方法和装置
CN115861070A (zh) * 2022-12-14 2023-03-28 湖南凝服信息科技有限公司 一种三维视频融合拼接方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354862B (zh) * 2015-09-30 2018-12-25 深圳大学 一种监控视频中运动目标的阴影检测方法、系统
CN109993767B (zh) * 2017-12-28 2021-10-12 北京京东尚科信息技术有限公司 图像处理方法和系统
CN111343431B (zh) * 2020-03-13 2021-10-15 温州大学大数据与信息技术研究院 基于图像矫正的机场目标检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090087025A1 (en) * 2007-09-29 2009-04-02 Samsung Electronics Co., Ltd. Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
CN101447082A (zh) * 2008-12-05 2009-06-03 华中科技大学 一种运动目标实时检测方法
CN103679704A (zh) * 2013-11-22 2014-03-26 中国人民解放军第二炮兵工程大学 一种基于光照补偿的视频运动阴影检测方法
CN105354862A (zh) * 2015-09-30 2016-02-24 深圳大学 一种监控视频中运动目标的阴影检测方法、系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3917148B2 (ja) * 2004-05-21 2007-05-23 松下電器産業株式会社 移動物体抽出装置
KR100897385B1 (ko) * 2007-06-27 2009-05-14 성균관대학교산학협력단 조명 정규화 방법 및 장치
CN101609552B (zh) * 2009-03-30 2012-12-19 浙江工商大学 有限复杂背景下视频目标的特征检测方法
CN102663713B (zh) * 2012-04-17 2015-01-28 浙江大学 一种基于色彩不变参数的背景减除方法
CN103268470B (zh) * 2013-04-16 2016-09-28 东南大学 基于任意场景的视频对象实时统计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090087025A1 (en) * 2007-09-29 2009-04-02 Samsung Electronics Co., Ltd. Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
CN101447082A (zh) * 2008-12-05 2009-06-03 华中科技大学 一种运动目标实时检测方法
CN103679704A (zh) * 2013-11-22 2014-03-26 中国人民解放军第二炮兵工程大学 一种基于光照补偿的视频运动阴影检测方法
CN105354862A (zh) * 2015-09-30 2016-02-24 深圳大学 一种监控视频中运动目标的阴影检测方法、系统

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111355B (zh) * 2018-11-22 2023-04-14 辽宁师范大学 抵抗强阴影干扰的运动车辆跟踪方法
CN109543608A (zh) * 2018-11-22 2019-03-29 中国科学院西安光学精密机械研究所 一种基于高斯混合模型的高光谱海上小目标实时检测方法
CN109635671B (zh) * 2018-11-22 2022-12-06 安徽四创电子股份有限公司 一种基于视频的物资调运点数方法
CN110111355A (zh) * 2018-11-22 2019-08-09 辽宁师范大学 抵抗强阴影干扰的运动车辆跟踪方法
CN109543608B (zh) * 2018-11-22 2022-12-09 中国科学院西安光学精密机械研究所 一种基于高斯混合模型的高光谱海上小目标实时检测方法
CN109635671A (zh) * 2018-11-22 2019-04-16 安徽四创电子股份有限公司 一种基于视频的物资调运点数方法
CN109509195A (zh) * 2018-12-12 2019-03-22 北京达佳互联信息技术有限公司 前景处理方法、装置、电子设备及存储介质
CN109919964A (zh) * 2019-03-01 2019-06-21 南阳理工学院 基于数学形态学的高斯背景建模技术进行图像处理的方法
CN110428394A (zh) * 2019-06-14 2019-11-08 北京迈格威科技有限公司 用于目标移动侦测的方法、装置及计算机存储介质
CN110443830B (zh) * 2019-08-14 2022-12-02 大连海事大学 一种基于混合高斯背景模型的降水云团检测方法
CN110443830A (zh) * 2019-08-14 2019-11-12 大连海事大学 一种基于混合高斯背景模型的降水云团检测方法
CN110796010A (zh) * 2019-09-29 2020-02-14 湖北工业大学 一种结合光流法和卡尔曼滤波的视频稳像方法
CN110849876B (zh) * 2019-10-17 2022-06-24 广西电网有限责任公司电力科学研究院 一种基于多尺度的背景建模sf6气体红外动态检测方法
CN110849876A (zh) * 2019-10-17 2020-02-28 广西电网有限责任公司电力科学研究院 一种基于多尺度的背景建模sf6气体红外动态检测方法
CN111274872B (zh) * 2020-01-08 2023-08-22 哈尔滨融智爱科智能科技有限公司 基于模板匹配的视频监控动态不规则多监管区域判别方法
CN111274872A (zh) * 2020-01-08 2020-06-12 哈尔滨融智爱科智能科技有限公司 基于模板匹配的视频监控动态不规则多监管区域判别方法
CN111462221A (zh) * 2020-04-03 2020-07-28 深圳前海微众银行股份有限公司 待侦测物体阴影面积提取方法、装置、设备及存储介质
CN111524158A (zh) * 2020-05-09 2020-08-11 黄河勘测规划设计研究院有限公司 水利工程复杂场景下的前景目标检测方法
CN111524158B (zh) * 2020-05-09 2023-03-24 黄河勘测规划设计研究院有限公司 水利工程复杂场景下的前景目标检测方法
CN111652935A (zh) * 2020-06-30 2020-09-11 上海振华重工(集团)股份有限公司 一种铁路火车托架的定位系统及其方法
CN111652935B (zh) * 2020-06-30 2023-04-28 上海振华重工(集团)股份有限公司 一种铁路火车托架的定位系统及其方法
CN112258548B (zh) * 2020-10-20 2024-03-29 东南大学 基于改进ViBe算法的运动目标提取方法
CN112258548A (zh) * 2020-10-20 2021-01-22 东南大学 基于改进ViBe算法的运动目标提取方法
CN113240611B (zh) * 2021-05-28 2024-05-07 中建材信息技术股份有限公司 一种基于图片序列的异物检测方法
CN113240611A (zh) * 2021-05-28 2021-08-10 中建材信息技术股份有限公司 一种基于图片序列的异物检测方法
CN113554685A (zh) * 2021-08-02 2021-10-26 中国人民解放军海军航空大学航空作战勤务学院 遥感卫星运动目标检测方法、装置、电子设备及存储介质
CN113674371A (zh) * 2021-08-06 2021-11-19 吉林大学 一种基于五维二次核建模的立体元图像阵列编码方法
CN113674371B (zh) * 2021-08-06 2023-11-03 吉林大学 一种基于五维二次核建模的立体元图像阵列编码方法
CN113807185B (zh) * 2021-08-18 2024-02-27 苏州涟漪信息科技有限公司 一种数据处理方法和装置
CN113807185A (zh) * 2021-08-18 2021-12-17 苏州涟漪信息科技有限公司 一种数据处理方法和装置
CN113723364A (zh) * 2021-09-28 2021-11-30 中国农业银行股份有限公司 运动目标识别方法及装置
CN115861070A (zh) * 2022-12-14 2023-03-28 湖南凝服信息科技有限公司 一种三维视频融合拼接方法

Also Published As

Publication number Publication date
CN105354862A (zh) 2016-02-24
CN105354862B (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
WO2017054455A1 (zh) 一种监控视频中运动目标的阴影检测方法、系统
CN108549891B (zh) 基于背景与目标先验的多尺度扩散显著目标检测方法
JP6445775B2 (ja) 画像処理装置、画像処理方法
US9824294B2 (en) Saliency information acquisition device and saliency information acquisition method
KR101964397B1 (ko) 정보처리장치 및 정보처리방법
US9626598B2 (en) Method and apparatus for image processing
US11443454B2 (en) Method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor
US8805065B2 (en) Image processing apparatus and image processing method
US11308655B2 (en) Image synthesis method and apparatus
Ajmal et al. A comparison of RGB and HSV colour spaces for visual attention models
WO2014136623A1 (en) Method for detecting and tracking objects in sequence of images of scene acquired by stationary camera
CN108346160A (zh) 基于视差图背景差法和Meanshift结合的多运动目标跟踪方法
JP2011188496A (ja) 逆光検知装置及び逆光検知方法
CN109426789A (zh) 手和图像检测方法和系统、手分割方法、存储介质和设备
CN106970709B (zh) 一种基于全息成像的3d交互方法和装置
JP6448212B2 (ja) 認識装置及び認識方法
CN107610136B (zh) 基于凸包结构中心查询点排序的显著目标检测方法
CN109255792A (zh) 一种视频图像的分割方法、装置、终端设备及存储介质
WO2022246605A1 (zh) 一种关键点标定方法和装置
CN110909685A (zh) 姿势估计方法、装置、设备及存储介质
KR101517538B1 (ko) 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체
Jeyakar et al. Robust object tracking using local kernels and background information
CN111340897A (zh) 基于模糊数学相似度的颜色识别方法
CN110717424A (zh) 一种基于预处理机制的实时极小人脸检测方法
CN113240611A (zh) 一种基于图片序列的异物检测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16850080

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08/08/2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16850080

Country of ref document: EP

Kind code of ref document: A1