WO2012097555A1 - 视频监控方法及监控终端 - Google Patents

视频监控方法及监控终端 Download PDF

Info

Publication number
WO2012097555A1
WO2012097555A1 PCT/CN2011/073787 CN2011073787W WO2012097555A1 WO 2012097555 A1 WO2012097555 A1 WO 2012097555A1 CN 2011073787 W CN2011073787 W CN 2011073787W WO 2012097555 A1 WO2012097555 A1 WO 2012097555A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring terminal
image frame
pixel
moving object
monitoring
Prior art date
Application number
PCT/CN2011/073787
Other languages
English (en)
French (fr)
Inventor
傅春
江海燕
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2012097555A1 publication Critical patent/WO2012097555A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to the field of communications, and in particular to a video monitoring method and a monitoring terminal.
  • Background Art Currently, based on Wideband Code Division Multiple Access (Wideband Code Division Multiple Access,
  • Wireless monitoring terminals of wireless networks such as WCDMA have been widely used, and users can access monitoring terminals at any time by mobile terminals (for example, mobile phones) or PCs for real-time video monitoring.
  • the wireless monitoring terminal can also perform offline work without the user's pre-emptive situation.
  • the monitoring terminal independently performs recording.
  • the monitoring terminal with motion detection function automatically starts video recording after abnormal intrusion.
  • the operations that can be performed include only starting recording when a predetermined time period arrives, ending recording at the end of the predetermined time period, and starting recording when an abnormal intrusion is detected.
  • a primary object of the present invention is to provide a video monitoring method and a monitoring terminal to solve at least the above problems.
  • An aspect of the present invention provides a video monitoring method, including: monitoring a terminal to obtain a moving object in a field of view at an image frame obtained at different time points; and the monitoring terminal estimating a moving tendency of the moving object;
  • the monitoring terminal adjusts the angle of the camera of the monitoring terminal according to the motion trend. Adjusting, by the monitoring terminal, the angle of the camera of the monitoring terminal according to the motion trend, the monitoring terminal estimating, according to the motion trend, that the moving object is located at a next time point
  • the monitoring terminal determines whether the estimated position is located in a preset area in the field of view, and if not, controls the camera to rotate a corresponding angle.
  • the center of the preset area i or is the center of the field of view.
  • the pixel information 0.29 ⁇ + 0.587 (7 + 0.11 8 , where R is the red value of the pixel corresponding to Y, G is the green value of the pixel corresponding to Y, and B is the blue value of the pixel corresponding to Y
  • the change threshold S D r + T , where SOT is in a case where the field of view and illumination of the camera are unchanged, such that a pixel point in the field of view that is not greater than SOT is in the field of view.
  • the proportion of all the pixels is equal to the first threshold, which is a preset second threshold for tolerating the interference of the monitoring environment.
  • the motion trend of the moving object is estimated according to two change regions of the image frame 3 with respect to the image frame 2 and two change regions of the image frame 2 with respect to the image frame 1. Determining the moving object in image frame 1, image 2 and a change region respectively in the image frame 3.
  • the monitoring terminal is in the moving trend, and estimating the position of the moving object at the next time point comprises: the monitoring terminal determining that the moving object is in an image frame 1.
  • the center positions (xl, yl), (x2, y2) and (x3, y3) of the change regions respectively in image frame 2 and image frame 3, according to (xl, yl), (x2, y2) and (x3, y3) Estimate the position at which the moving object is at the next time point T4 of T3.
  • the position of the moving object at the next time point T4 of T3 is (x4, y4), wherein
  • X4 -x3 +-xl - 2x2
  • y4 — y3 +— yl _ 2y2.
  • a monitoring terminal comprising: a motion monitoring module configured to determine that a moving object exists in a field of view according to the obtained image frames at different time points; a trend estimation module, set to estimate a motion trend of the moving object; and a control module configured to adjust an angle of the camera of the monitoring terminal according to the motion trend.
  • the monitoring terminal determines that there is a moving object in the field of view according to the obtained image frames at different time points, estimates the moving tendency of the moving object, adjusts the angle of the camera according to the moving trend, and solves the problem that the camera is fixed in the related art.
  • FIG. 1 is a flowchart of a video monitoring method according to an embodiment of the present invention
  • FIG. 2 is a structural block diagram of a monitoring terminal according to an embodiment of the present invention
  • FIG. 3 is a detailed structural block diagram of a monitoring terminal according to Embodiment 2.
  • Step S102 The monitoring terminal determines that there is a moving object in a field of view according to the obtained image frames at different time points;
  • Step S104 Monitoring the terminal to estimate the motion trend of the moving object;
  • Step S106 The monitoring terminal adjusts the angle of the camera of the monitoring terminal according to the motion trend.
  • the monitoring terminal in an operation mode such as offline recording, the monitoring terminal is in an unmanned state, and the necessary operations such as camera rotation cannot be performed according to the dynamic situation of the monitoring scene, which may result in video files in offline recording.
  • the amount of information has not reached an ideal state, resulting in poor monitoring results.
  • the monitoring terminal can automatically control the camera to track the moving object for shooting, thereby obtaining an ideal monitoring effect.
  • the monitoring terminal may be a wireless monitoring terminal or a wired monitoring terminal.
  • the above monitoring terminal can be processed by the above method in an offline working mode (for example, an offline recording state or an autonomous recording state), thereby improving the monitoring effect of the monitoring video in the offline working mode; the monitoring terminal can also be in the online working mode (That is, the mode in which the user controls the monitoring terminal to perform the monitoring operation) is processed by the above method, and the user's operation burden can be alleviated by the automatic tracking function of the terminal.
  • an offline working mode for example, an offline recording state or an autonomous recording state
  • the monitoring terminal can also be in the online working mode ( That is, the mode in which the user controls the monitoring terminal to perform the monitoring operation) is processed by the above method, and the user's operation burden can be alleviated by the automatic tracking function of the terminal.
  • the following processing may be performed: Monitoring the movement trend of the terminal Estimating the position of the moving object at the next time point; the monitoring terminal determines whether the estimated position is within the preset area in the field of view, and if not, controlling the camera to rotate the corresponding angle. Preferably, if yes, no rotation operation is performed, thereby minimizing the number of rotation operations of the camera, and by selecting a suitable preset area, power can be saved while ensuring the monitoring effect.
  • the center of the above preset area can be selected as the center of the field of view, thereby achieving a more effective monitoring effect.
  • the terminal can select different motion estimation methods according to the actual situation.
  • the following example illustrates a simple and convenient motion estimation method. It should be noted that other application estimation methods are also applicable, and users or developers can The characteristics of the estimation method and the specific scenarios to be monitored select the appropriate motion estimation method.
  • the monitoring terminal determines that the presence of the moving object in the field of view according to the obtained image frames at different time points includes: the monitoring terminal determines each pixel point in the two image frames at the adjacent time points.
  • Corresponding pixel information Y wherein the pixel information corresponding to the pixel point in the image frame 1 at the previous time point T1 in the adjacent time point is Y1, and the next time point T2 in the adjacent time point
  • the pixel information corresponding to the pixel in the image frame 2 is Y2;
  • the absolute value operation is performed on i; the monitoring terminal judges that there are two change regions of the image frame 2 with respect to the image frame 1 according to I Y2-Y1 I, and then it is determined that there is a moving object, wherein the two changed regions Among all the pixels included in each change region, the proportion of the pixel points corresponding to the DY greater than the change threshold is greater than a preset threshold.
  • the pixel information 0.299 + 0.587 (7 + 0.11 8 , where R is the red value of the pixel corresponding to Y, G is the green value of the pixel corresponding to Y, and B is the blue value of the pixel corresponding to Y.
  • the value of the method is statistically small, and the probability that the Y values corresponding to the pixels of different colors are the same is relatively small.
  • there is a certain noise in the shooting process of the camera, and considering the monitoring environment There may be some changes that do not want to cause the 4's head to rotate (for example, a small insect flying into the field of view). To eliminate these disturbances, you can set the change threshold r + T , where r is the view of the camera.
  • the ratio of the pixel points in the field of view corresponding to the SOT that are not greater than the SOT in all the pixels in the field of view is equal to the first threshold, which is a preset for the tolerance of the monitoring environment.
  • the monitoring terminal judges that there are two images frame 3 relative to image frame 2 according to I Y3-Y2 I
  • the change region based on the two changed regions of the image frame 3 with respect to the image frame 2 and the two changed regions of the image frame 2 with respect to the image frame 1, estimating the moving tendency of the moving object, determining the moving object in the image frame 1, the image frame 2 and the change region in image frame 3 respectively.
  • the process of estimating the position of the moving object at the next time point may include: the monitoring terminal determines the center position (xl, yl) of the changed region in which the moving object is respectively located in the image frame 1, the image frame 2, and the image frame 3, ( x 2 , y 2 ) and (x 3 , y 3 ), estimating the position of the moving object at the next time point T4 of T3 according to (xl, yl), (x2, y2) and (x3, y3). , considering the acceleration and other reasons, moving objects in T3 The next point of time T4 at which position (x4, y4), wherein
  • X4 -x3 +-xl - 2x2
  • y4 — y3 +— yl _ 2y2.
  • FIG. 2 is a structural block diagram of a monitoring terminal according to an embodiment of the present invention.
  • the monitoring terminal may include: a motion monitoring module 22 configured to determine that a moving object exists in a field of view according to the obtained image frames at different time points;
  • the trend estimation module 24 is configured to estimate a motion trend of the moving object;
  • the control module 26 is configured to adjust an angle of the camera of the monitoring terminal according to the motion trend.
  • Embodiment 1 when the wireless monitoring terminal performs recording, the current position of the moving object and the motion trend thereof are determined according to the real-time image frame, and the camera is driven to perform necessary steering according to the need, so that the moving object can always be in the recording scene.
  • the method includes the following steps: Step 1: The monitoring terminal enters an autonomous recording state, and a real-time still image frame can be continuously obtained. Step 2: After a fixed time interval, obtain a still image frame, and after having a temporally adjacent multi-frame image, determine whether there is motion occurrence based on comparison of pixel differences between adjacent frames, and if motion occurs, determine that the moving object is currently in 4 Nie's position in the field of vision and its movement trend.
  • Step 3 In the case where there is motion, according to the position and motion trend of the moving object in the field of view of the 4th image head, predict the position where the next time point may be located, if the position seriously deviates from the center of the camera field of view
  • the area (which can be achieved by judging whether the position is located in a preset area centered on the center of the field of view) drives the camera to rotate the corresponding angle. In the case where no motion occurs or the moving object is expected to remain in the center or near the center, no rotation of the camera is required.
  • FIG. 3 is a detailed structural block diagram of a monitoring terminal of Embodiment 2, wherein: a camera module 301 includes software and hardware.
  • the camera module 302 includes a software portion and a storage component for saving the video.
  • the camera direction adjustment drive module 304 includes software, hardware drivers, and an electromechanical portion for rotating the camera. The basic operation of the method is illustrated below based on Figure 3:
  • the wireless monitoring terminal detects that an object has invaded through the motion detection method, and the recording starts.
  • the camera module 301 continuously provides a still image frame, and the camera module 302 performs video encoding using the still image frame and writes the encoded data into the storage device.
  • the camera module 301 also continuously supplies the still image frame to the motion tracking determination module 303.
  • the motion tracking judging module 303 compares the pixels of the three image frames at the adjacent time, determines the moving direction of the two motions of the object in the past time, and determines the motion trend of the next moment based on this. (3) Based on the obtained motion trend, predict the position of the object in the camera field of view at the next moment, that is, the position in the image frame.
  • Embodiment 3 This embodiment describes in detail a method for judging the moving direction of an object, and specifically describes how to determine the moving direction of the object between two times based on the pixel information of the image frame, and predict the position of the next moment. To achieve the above process, there are three aspects, namely, the classification of the pixel change type, the position determination based on the regional pixel change, and the next time position prediction, which are respectively described below:
  • Pixel change type definition According to requirements, the most appropriate pixel information expression is the Y value in the YUV format pixel information.
  • Y is defined as follows:
  • the Y value also expresses the brightness information, the same position of the same object, under different illumination conditions, the values of (R, (3 ⁇ 4 B) are different, and the obtained Y values are also different.
  • Based on the Y value of the image frame population Information can be judged to some extent to monitor the changes in the ambient lighting of the scene.
  • a criterion for determining the type of pixel change is defined.
  • the three-type division method of pixel variation is used, that is, the change of the pixel is defined as no change, small change, and large change based on the change of the pixel ⁇ value.
  • the specific classification method is explained below. Due to hardware and the like, the image data obtained by the camera actually contains noise.
  • the noise level can be determined by the following method, that is, in the case that the camera's field of view is unchanged and the ambient illumination is constant, the camera continuously acquires two frames of images, and obtains the change of the threshold value of each pixel at two times before and after, which is recorded as DY.
  • a value r is determined such that most (eg, 99.9%) of DY is less than or equal to r, and this r is used as a threshold for determining whether the pixel is stable or not. Similar tests should be done with different lighting types in order to obtain a most representative r.
  • FIG. 4 is a schematic diagram of pixel variation of an object motion trend according to Embodiment 3, wherein three adjacent moments are respectively T1, ⁇ 2, and ⁇ 3, and the corresponding three image frames are F1, F2, and F3.
  • F1 and F2 that is, for the pixel difference between two image frames, whether two disjoint pixel regions can be found, and the pixel change types in both regions are large changes, which are recorded as If it can be found successfully, it indicates that there is motion between T1 and T2.
  • A represents the starting moment
  • B represents the intermediate moment
  • C represents the last moment of the three moments.
  • the center positions (xl, yl), (x2, y2) and (x3, y3) of the three regions are respectively determined, and the position of the next moment is predicted (x4, considering the velocity inertia of the object motion and the acceleration information displayed).
  • Y4 is
  • the camera device rotation angle is driven as needed. From the above description, it can be seen that, when the monitoring terminal performs recording in the above embodiment, the camera can automatically follow the moving target in the shooting scene, so that the video obtained by the recording has the greatest utility.
  • the above modules or steps of the present invention can be implemented by a general-purpose computing device, which can be concentrated on a single computing device or distributed over a network composed of multiple computing devices.
  • a computing device This can be implemented so that they can be stored in a storage device by a computing device, or they can be fabricated into individual integrated circuit modules, or a plurality of modules or steps can be implemented as a single integrated circuit module.
  • the invention is not limited to any specific combination of hardware and software.
  • the above are only the preferred embodiments of the present invention, and are not intended to limit the present invention, and various modifications and changes can be made to the present invention. Any modifications, equivalent substitutions, improvements, etc. made within the scope of the present invention are intended to be included within the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

视频监控方法及监控终端 技术领域 本发明涉及通信领域， 具体而言， 涉及一种视频监控方法及监控终端。 背景技术 目前基于宽带码分多址接入 ( Wideband Code Division Multiple Access,
WCDMA )等无线网络的无线监控终端已被广泛使用， 用户可以在任意时间用 移动终端 （例如， 手机） 或 PC接入监控终端， 进行实时视频监控。 随着用户对实时视频监控在功能上的要求越来越高， 目前， 无线监控终端 也能进行用户无千预情况下的离线工作， 例如， 在用户预设时间段内， 监控终 端自主进行录像； 或者具有运动检测功能的监控终端发现异常入侵后自动开始 视频录像等。 如上， 目前的无线监控终端在自主进行录像时， 所能进行的操作仅仅包括 在预定时间段到达时开始录像、 在预定时间段结束时结束录像以及在检测到异 常入侵时开始录像。 但是， 在诸如离线录像这种工作模式中， 监控终端一般处 于无人操作的状态， 在遇到监控场景变化时， 监控终端无法根据这种变化进行 自身的调整。 例如， 随着入侵的物体不断运动， 如果 4聂像头朝向始终不动的话， 运动物体很可能脱离摄像头所能覆盖的范围， 从而录像所得视频文件的效果较 差。 在固定监控终端中， 同样存在以上的问题。 发明内容 本发明的主要目的在于提供一种视频监控方法及监控终端， 以至少解决上 述问题。 本发明的一个方面提供了一种视频监控方法， 包括： 监控终端 艮据获得的 在不同时间点上的图像帧确定视野中存在运动物体； 所述监控终端估计所述运 动物体的运动趋势； 所述监控终端根据所述运动趋势， 调整所述监控终端的摄 像头的角度。 所述监控终端根据所述运动趋势， 调整所述监控终端的摄像头的角度包 括： 所述监控终端根据所述运动趋势， 估计所述运动物体在下一个时间点所处 的位置； 所述监控终端判断估计的所述位置是否位于所述视野中的预设区域 内， 若不是， 则控制所述摄像头转动相应的角度。 所述预设区 i或的中心为所述视野的中心。 监控终端根据获得的在不同时间点上的图像帧确定视野中存在运动物体 包括： 所述监控终端确定相邻时间点上的两个图像帧中每个像素点所对应的像 素信息 Y , 其中， 所述相邻时间点中的前一个时间点 T 1上的图像帧 1 中的像 素点所对应的像素信息为 Y1 , 所述相邻时间点中的后一个时间点 T2上的图像 帧 2中的像素点所对应的像素信息为 Y2; 所述监控终端计算图像帧 2 中每个 像素点相对于图像帧 1中相应像素点的变化 DY= I Y2-Y1 I , 其中， I i I对 i 取绝对值操作； 所述监控终端才艮据 I Y2-Y1 I 判断图像帧 2相对于图像帧 1存 在两个变化区域， 则确定存在运动物体， 其中， 所述两个变化区域中的每个变 化区域中包含的所有像素点中， 对应的 DY大于变化阈值的像素点所占的比例 大于预设阈值。 所述像素信息 = 0.29^ + 0.587(7 + 0.11 8 , 其中， R是 Y对应的像素点的 红色值， G是 Y对应的像素点的绿色值， B是 Y对应的像素点的蓝色值。 所述变化阈值 =SDr + T , 其中， SOT为在所述摄像头的视场和光照不变的 情况下， 使得所述视野中对应的 Y不大于 SOT的像素点在所述视野中所有像素 点中所占的比例等于第一阈值， 为预先设置的用于容忍监控环境千扰的第 二阈值。 所述监控终端估计所述运动物体的运动趋势包括： 所述监控终端计算 T2 的后一个时间点 T3上的图像帧 3 中每个像素点相对于图像帧 2中相应像素点 的变化 DY= I Y3-Y2 I ； 所述监控终端才艮据 I Y3-Y2 | 判断图像帧 3相对于图 像帧 2存在两个变化区域， 则根据图像帧 3相对于图像帧 2的两个变化区域以 及图像帧 2相对于图像帧 1的两个变化区域， 估计所述运动物体的运动趋势， 确定所述运动物体在图像帧 1、 图像帧 2和图像帧 3中分别所处的变化区域。 所述监控终端 居所述运动趋势， 估计所述运动物体在下一个时间点所处 的位置包括： 所述监控终端确定所述运动物体在图像帧 1、 图像帧 2和图像帧 3 中分别所处的变化区域的中心位置 (xl,yl)、 (x2,y2)和 (x3,y3), 根据 (xl,yl)、 (x2,y2)和 (x3,y3)估计所述运动物体在 T3的下一个时间点 T4所处的位置。 所述运动物体在 T3 的下一个时间点 T4 所处的位置为（x4,y4) , 其中
5 1 5 1
x4=-x3 +-xl - 2x2 , y4=— y3 +— yl _ 2y2。
2 2 2 2 本发明的另一个方面提供了一种监控终端， 包括： 运动监测模块， 设置为 根据获得的在不同时间点上的图像帧确定视野中存在运动物体； 趋势估计模 块， 设置为估计所述运动物体的运动趋势； 控制模块， 设置为根据所述运动趋 势， 调整所述监控终端的摄像头的角度。 通过本发明， 监控终端根据获得的在不同时间点上的图像帧确定视野中存 在运动物体， 则估计该运动物体的运动趋势， 根据该运动趋势调整摄像头的角 度， 解决了相关技术中摄像头固定导致监控效果较差的问题， 监控终端能自动 调整摄像头角度以跟踪视野内的运动物体， 从而获得最佳的监控效果。 附图说明 此处所说明的附图用来提供对本发明的进一步理解， 构成本申请的一部 分， 本发明的示意性实施例及其说明用于解释本发明， 并不构成对本发明的不 当限定。 在附图中： 图 1是根据本发明实施例的视频监控方法的流程图； 图 2是 居本发明实施例的监控终端的结构框图； 图 3是 居实施例 2的监控终端的详细结构框图； 以及 图 4是根据实施例 3的物体运动趋势的像素变化示意图。 具体实施方式 下文中将参考附图并结合实施例来详细说明本发明。 需要说明的是， 在不 冲突的情况下， 本申请中的实施例及实施例中的特征可以相互组合。 图 1是根据本发明实施例的视频监控方法的流程图， 该方法包括： 步骤 S 102,监控终端才艮据获得的在不同时间点上的图像帧确定视野中存在 运动物体； 步骤 S 104 , 监控终端估计该运动物体的运动趋势； 以及 步骤 S 106, 监控终端根据该运动趋势， 调整监控终端的摄像头的角度。 在相关技术中， 在诸如离线录像这种工作模式中， 监控终端处于无人操作 的状态， 并且不能根据监控场景的动态情况进行摄像头转动等必要的操作， 这 会导致离线录像的视频文件中的信息量没有达到比较理想的状态， 从而导致监 控效果比较差。 通过以上的方法， 监控终端可以自动控制摄像头跟踪运动物体 进行拍摄， 从而得到比较理想的监控效果。 需要说明的是， 以上的方法中， 监控终端既可以是无线监控终端， 也可以 是有线监控终端。 以上的监控终端可以在离线工作模式 （例如， 离线录像状态 或称自主录像状态） 下釆用以上的方法进行处理， 从而提高离线工作模式下监 控视频的监控效果； 监控终端还可以在线工作模式（即由用户控制监控终端进 行监控操作的模式） 下釆用以上的方法进行处理， 此时可以通过终端的自动跟 踪功能， 减轻用户的操作负担。 在具体实施中， 为了在保证监控质量的情况下， 尽量减少摄像头的转动操 作， 在监控终端根据运动趋势， 调整监控终端的摄像头的角度的过程中， 可以 进行以下的处理： 监控终端 居运动趋势， 估计运动物体在下一个时间点所处 的位置； 监控终端判断估计的位置是否位于视野中的预设区域内， 若不是， 则 控制摄像头转动相应的角度。 优选地， 若是， 则不进行转动操作， 从而尽量减 少摄像头的转动操作的次数， 通过选取合适的预设区域， 可以在保证监控效果 的情况下节省电量。 在实际应用中， 以上的预设区域的中心可以选择为视野的 中心， 从而达到更加有效的监控效果。 终端可以才艮据实际的情况， 选择不同的运动估计方法， 以下举例说明一种 实现简单方便的运动估计方法，需要说明的是，其他的运用估计方法同样适用， 用户或开发者可以根据各运动估计方法的特点及待监控的具体场景选择合适 的运动估计方法。 在本实施例提供的方法中， 监控终端才艮据获得的在不同时间 点上的图像帧确定视野中存在运动物体包括： 监控终端确定相邻时间点上的两 个图像帧中每个像素点所对应的像素信息 Y, 其中， 相邻时间点中的前一个时 间点 T1上的图像帧 1中的像素点所对应的像素信息为 Y1 , 相邻时间点中的后 一个时间点 T2上的图像帧 2中的像素点所对应的像素信息为 Y2; 监控终端计 算图像帧 2 中每个像素点相对于图像帧 1 中相应像素点的变化 DY= I Y2-Y1 I , 其中， I i I 对 i取绝对值操作； 监控终端根据 I Y2-Y1 I 判断图像帧 2相 对于图像帧 1存在两个变化区域， 则确定存在运动物体， 其中， 两个变化区域 中的每个变化区域中包含的所有像素点中， 对应的 DY大于变化阈值的像素点 所占的比例大于预设阈值。 其中， 像素信息 = 0.299 + 0.587(7 + 0.11 8 , 其中， R是 Y对应的像素点 的红色值， G是 Y对应的像素点的绿色值， B是 Y对应的像素点的蓝色值。 该 取值方式从统计规律上，能够保证不同的颜色的像素点对应的 Y值相同的概率 比较小。 在实际应用中， 由于摄像头的拍摄过程中存在一定的噪声， 并且， 考虑到 监控环境中可能存在一些不希望引起 4聂像头转动的变化（例如， 视野中飞入一 只小虫）， 为了消除这些千扰， 可以设定变化阈值 = r + T ， 其中， r为在摄 像头的视场和光照不变的情况下， 使得视野中对应的 Y不大于 SOT的像素点在 视野中所有像素点中所占的比例等于第一阈值， 为预先设置的用于容忍监 控环境千扰的第二阈值。 在釆用以上举例的方法进行运动估计的情况下， 监控终端估计运动物体的 运动趋势的过程可以包括： 监控终端计算 T2的后一个时间点 T3上的图像帧 3 中每个像素点相对于图像帧 2中相应像素点的变化 DY= I Y3-Y2 | ； 监控终端 根据 I Y3-Y2 I 判断图像帧 3相对于图像帧 2存在两个变化区域， 则根据图像 帧 3相对于图像帧 2的两个变化区域以及图像帧 2相对于图像帧 1的两个变化 区域， 估计运动物体的运动趋势， 确定运动物体在图像帧 1、 图像帧 2和图像 帧 3中分别所处的变化区域。 通过这种趋势估计方法， 相比于通过颜色变化趋 势来估计运动趋势来说， 具备更高的准确性。 此时， 监控终端 居运动趋势， 估计运动物体在下一个时间点所处的位置 的过程可以包括： 监控终端确定运动物体在图像帧 1、 图像帧 2和图像帧 3中 分别所处的变化区域的中心位置 (xl,yl)、（x2,y2)和 (x3,y3),根据 (xl,yl)、 (x2,y2) 和 (x3,y3)估计运动物体在 T3的下一个时间点 T4所处的位置。 其中， 考虑到加 速度等原因， 运动物体在 T3的下一个时间点 T4所处的位置为（x4,y4), 其中，
5 1 5 1
x4=-x3 +-xl - 2x2 , y4=— y3 +— yl _ 2y2。
2 2 2 2 图 2是 居本发明实施例的监控终端的结构框图， 该监控终端可以包括： 运动监测模块 22 ,设置为根据获得的在不同时间点上的图像帧确定视野中存在 运动物体； 趋势估计模块 24 , 设置为估计运动物体的运动趋势； 控制模块 26 , 设置为根据运动趋势， 调整监控终端的摄像头的角度。 以下描述的实施例 1-3 , 综合了上述多个优选实施例的技术方案。 实施例 1 该实施例中， 在无线监控终端进行录像时， 根据实时图像帧判断运动物体 当前的位置以及其运动趋势， 并根据需要驱动摄像头进行必要的转向， 可以使 运动物体在录像场景中始终处于中心或近中心区域。 具体地， 该方法包括下列 步骤： 步骤 1 , 监控终端进入自主录像状态， 且可连续获得实时的静止图像帧。 步骤 2, 间隔固定时间， 获得静止图像帧， 拥有时间上相邻的多帧图像后， 基于相邻帧间的像素差异比较， 判断有无运动发生， 若有运动发生， 判断运动 物体当前在 4聂像头视野中的位置以及其运动趋势。 步骤 3 , 在有运动发生的情况下， 才艮据运动物体当前在 4聂像头视野中的位 置以及运动趋势， 预测计算下一个时间点可能所处的位置， 若该位置严重偏离 摄像头视野中心区域（可以通过判断该位置是否位于以视野中心为中心的预设 区域内来实现）， 则驱动摄像头转动相应角度。 对无运动发生或预计运动物体 仍能停留在中心或近中心区域的情况， 不需要摄像头作任何转动。 实施例 2 图 3是 居实施例 2的监控终端的详细结构框图， 其中： 摄像头模块 301 , 包括软件、 硬件。 摄像模块 302, 包括软件部分， 以及保存录像的存储部件。 运动 艮踪判断模块 303。 摄像头方向调整驱动模块 304, 包括软件、 硬件驱动以及用于转动摄像头 的机电部份。 以下基于图 3说明本方法的基本运行方式如下：
( 1 ) 无线监控终端通过运动检测方法， 发现有物体入侵， 录像开始。 摄 像头模块 301不断提供静止图像帧， 摄像模块 302利用静止图像帧进行视频编 码， 并将编码的数据写入存储器件中。 ( 2 )摄像头模块 301也向运动跟踪判断模块 303持续提供静止图像帧。 运动跟踪判断模块 303对相邻时刻的三幅图像帧进行像素比较， 判断出物体在 刚刚过去的时间内进行的两次运动的运动方向， 并以此为依据判断出下一时刻 的运动趋势。 ( 3 )根据已获得的运动趋势， 预测下一时刻物体在摄像头视场中的位置， 也就是在图像帧中的位置。 如果预测物体将仍然停留在摄像头视场中的靠近中 心的位置， 则摄像头不转动； 如果预测物体向摄像头视场的边缘运动， 则驱动 模块 304使摄像头调整方向， 从而在后续时刻还能对运动物体实施有效监控。 实施例 3 本实施例详细了描述物体运动方向的判断方法， 具体说明如何基于图像帧 的像素信息， 来判断物体在两个时刻间的运动方向， 并预测下一时刻的位置。 为实现以上过程， 具体包含三方面， 即像素变化类型的分类、 基于区域像素变 化的位置判断、 下一时刻位置预测， 以下分别进行说明：
( 1 ) 像素变化类型定义 根据需求， 最合适使用的像素信息表达是 YUV格式像素信息中的 Y值，
Y定义如下：
Y = 0.299R + 0.587G + 0.1145 因为 R、 G、 B的可取值范围均为 0〜255 , 所以 Y值的范围也是 0〜255。 从定义看，Υ已经表达了物体的颜色信息。虽然理论上存在两组不同的 (R,(¾ B)值， 其对应的 Y值相同， 从而看起来 Y值可能不能区分某两种颜色， 但是 在实际的监控应用中， 可以忽略这一点， 因为下面这种可能性很小： 摄像头所 面对的监控现场的背景为单一颜色、 入侵的运动物体也为单一颜色， 且二者所 对应的 Y值相同。
Y值也表达了亮度信息，同一物体的同一位置，在不同的光照条件下，（R,(¾ B)的值是不同的， 所求出的 Y值也不同。 基于图像帧总体的 Y值信息， 可以 在一定程度上判断监控现场环境光照的变化情况。 在确定使用 Y 值作为像素表达的基础上， 要定义判断像素变化类型的准 则。 这里使用像素变化的三类型划分法， 即基于像素 Υ值的变化情况， 把像素 的变化定义为无变化、 啟小变化以及大变化。 下面阐述具体的分类方法。 因为硬件等原因， 摄像头所获的图像数据中实际上包含有噪声。 噪声大小 可用如下的方法确定， 即在摄像头视场不变和环境光照不变的情况下， 摄像头 连续获取两帧图像， 获取各像素在前后两个时刻的 Υ值的变化， 记为 DY。 针 对所有 DY, 确定一个值 r , 使得绝大部分 (如 99.9% ) 的 DY小于等于 r , 这个 r就作为判断像素是否稳定不变的阈值。 类似的测试应在不同的光照类 型下多进行一些， 以期获得一个最具代表性的 r。 在实际像素类型判断中， 只要某像素 Y的前后变化不超过 SOT , 即认为该像素在前后两个时刻间保持了 稳定。 当 DY 超出 SDr但超出不大时， 认为像素在两个时刻间发生了微小变化。 定义这样一个变化类型， 主要是考虑到在实际监控环境中还会受到预先不可知 的一些偶然性千扰，这种千扰对像素的影响不应作为图像判别的依据。具体地， 可用一个变量来表示这样的过渡区间， 记为 T 。 的具体取值可按照工程经 验来确定， 一般为比较小的一个值， 如 2。 当 DY超出 SDr + T 时， 就不能用偶然千扰来解释像素 Y的变化了， 此时 将像素的变化定义为大变化。
[无变化， 若 DY <= SDY
综上， 可以将像素变化类型定义为 微小变化， 若 DY <= SDY + TDY
大变化， 若 DY > SDY + TDY
( 2 )基于区域像素变化的位置判断 入侵的物体如果在摄像头视场范围内运动， 那么在相邻两幅图像帧之间， 必定产生像素的差异， 而且这种差异一般是以一定大小区域的形式而非点的形 式存在的。 釆取区域像素大变化的判据反映了引起图像差异的本质原因， 只要 用来做判别标准的区域定义合理， 就能取得非常好的判断效果。 另外， 物体在摄像头视场内运动， 在两个相邻时刻间， 必将产生两个连续 区域的像素变化， 一个是物体初始所在的那个位置， 被物体遮挡的背景重新得 以显示出来， 一个是物体新到的那个位置， 物体新把背景遮挡住了。 不过只基 于相邻两幅图像无法判断出哪个为起点， 哪个为终点， 因此需要获取相邻时刻 的连续三幅图像进行判断。 具体判断方法如下。 图 4是根据实施例 3的物体运动趋势的像素变化示意图， 设相邻的三个时 刻分别为 Tl、 Τ2和 Τ3 , 对应的三幅图像帧为 Fl、 F2和 F3。 首先判断 F1和 F2之间有无运动发生， 即针对两个图像帧间的像素差异， 能否找到出两个不相 交像素区域， 两个区域中的像素变化类型皆为大变化， 记为 和 若能成功 找到，表明 T1和 T2间有运动发生。 在此基础上再判断 F2和 F3之间有无运动 发生， 若有， 则一定还能在 B区域中检测到像素变化为大变化， 同时也能检测 到一个新的像素大变化区域 C。 从上述分析可见， 在连续运动发生的情况下， 一定能两次检测到两个像素 大变^ ^区域， 一共四个， 而其中必定有两个是重合的， 其对应的时间点必定是 中间的时间点，其余的两个区域分别是 T 1时刻所处的区域和最后 T3时刻所处 的区域。 可参见附图 4。
( 3 ) 下一时刻位置预测 如附图 4所示， 已经找出了三个相互分离的像素大变化区域， A、 B和 C,
A表示起始时刻， B表示中间时刻， C表示三个时刻中的最后时刻。 分别求出三个区域的中心位置 (xl,yl)、 （x2,y2)和 （x3,y3), 考虑到物体运动 的速度惯性和表现出的加速度信息， 预测下个时刻的位置（x4,y4)为
Figure imgf000011_0001
根据预测获得的 (x4,y4), 判断物体是否可能向摄像头边缘位置靠近甚至可 能脱离摄像头的监控， 根据需要， 驱动摄像头装置转动角度。 从以上的描述中， 可以看出， 以上实施例中监控终端进行录像时， 摄像头 能对拍摄场景中的运动目标进行自动跟随， 从而使录像所得视频具有最大效 用。 显然， 本领域的技术人员应该明白， 上述的本发明的各模块或各步骤可以 用通用的计算装置来实现， 它们可以集中在单个的计算装置上， 或者分布在多 个计算装置所组成的网络上， 可选地， 它们可以用计算装置可执行的程序代码 来实现， 从而可以将它们存储在存储装置中由计算装置来执行， 或者将它们分 别制作成各个集成电路模块， 或者将它们中的多个模块或步骤制作成单个集成 电路模块来实现。 这样， 本发明不限制于任何特定的硬件和软件结合。 以上仅为本发明的优选实施例而已， 并不用于限制本发明， 对于本领域的 技术人员来说 ,本发明可以有各种更改和变化。凡在本发明的 ^"神和原则之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要 求 书 一种视频监控方法， 包括：
监控终端才艮据获得的在不同时间点上的图像帧确定视野中存在运动 物体；
所述监控终端估计所述运动物体的运动趋势； 以及
所述监控终端根据所述运动趋势， 调整所述监控终端的摄像头的角 度。 根据权利要求 1所述的方法， 其中， 所述监控终端根据所述运动趋势， 调整所述监控终端的摄像头的角度包括：
所述监控终端根据所述运动趋势， 估计所述运动物体在下一个时间 点所处的位置；
所述监控终端判断估计的位置是否位于所述视野中的预设区域内， 若不是， 则控制所述摄像头转动相应的角度。 根据权利要求 2所述的方法， 其中， 所述预设区域的中心为所述视野的 中心。 根据权利要求 2所述的方法， 其中， 监控终端根据获得的在不同时间点 上的图像帧确定视野中存在运动物体包括：
所述监控终端确定相邻时间点上的两个图像帧中每个像素点所对应 的像素信息 Y, 其中， 所述相邻时间点中的前一个时间点 T1上的图像帧 1中的像素点所对应的像素信息为 Y1 , 所述相邻时间点中的后一个时间 点 T2上的图像帧 2中的像素点所对应的像素信息为 Y2;
所述监控终端计算图像帧 2中每个像素点相对于图像帧 1中相应像 素点的变化 DY= I Y2-Y1 I , 其中， I i I 对 i取绝对值操作；
所述监控终端根据 I Y2-Y1 I 判断图像帧 2相对于图像帧 1存在两 个变化区域， 则确定存在运动物体， 其中， 所述两个变化区域中的每个 变化区域中包含的所有像素点中， 对应的 DY大于变化阈值的像素点所 占的比例大于预设阈值。
5. 根据权利 要求 4 所 述 的 方 法 ， 其 中 ， 所 述像素 信 息 Y = 0.299R + 0.587G + 0.1 145 , 其中， R是 Y对应的像素点的红色值， G是 Y对应的像素点的绿色值， B是 Y对应的像素点的蓝色值。
6. 根据权利要求 4所述的方法， 其中， 所述变化阈值 = SOT + T , 其中， SOT 为在所述 4聂像头的视场和光照不变的情况下， 使得所述视野中对应的 Y 不大于 r的像素点在所述视野中所有像素点中所占的比例等于第一阈 值， 为预先设置的用于容忍监控环境千扰的第二阈值。
7. 根据权利要求 4-6 中任一项所述的方法， 其中， 所述监控终端估计所述 运动物体的运动趋势包括： 所述监控终端计算 T2的后一个时间点 T3上的图像帧 3中每个像素 点相对于图像帧 2中相应像素点的变化 DY= I Y3-Y2 I ；
所述监控终端根据 I Y3-Y2 I 判断图像帧 3相对于图像帧 2存在两 个变化区域， 则根据图像帧 3相对于图像帧 2的两个变化区域以及图像 帧 2相对于图像帧 1的两个变化区域， 估计所述运动物体的运动趋势， 确定所述运动物体在图像帧 1、 图像帧 2和图像帧 3 中分别所处的变化 区域。
8. 根据权利要求 7所述的方法， 其中， 所述监控终端根据所述运动趋势， 估计所述运动物体在下一个时间点所处的位置包括：
所述监控终端确定所述运动物体在图像帧 1、 图像帧 2和图像帧 3 中分别所处的变化区域的中心位置（xl,yl)、 （x2,y2)和（x3,y3) , 根据 (xl,yl)、 （x2,y2)和 (x3,y3)估计所述运动物体在 T3的下一个时间点 T4所 处的位置。
9. 根据权利要求 8所述的方法， 其中， 所述运动物体在 T3的下一个时间点 T4所处的位置为（x4,y4) , 其中， x4= x3 + xl— 2x2 , y4= y3 + yl— 2y2。
10. —种监控终端， 包括：
运动监测模块， 设置为根据获得的在不同时间点上的图像帧确定视 野中存在运动物体；
趋势估计模块， 设置为估计所述运动物体的运动趋势； 以及 控制模块， 设置为根据所述运动趋势， 调整所述监控终端的摄像头 的角度。
PCT/CN2011/073787 2011-01-19 2011-05-06 视频监控方法及监控终端 WO2012097555A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110021733.X 2011-01-19
CN201110021733.XA CN102131076B (zh) 2011-01-19 2011-01-19 视频监控方法及监控终端

Publications (1)

Publication Number Publication Date
WO2012097555A1 true WO2012097555A1 (zh) 2012-07-26

Family

ID=44268947

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2011/073787 WO2012097555A1 (zh) 2011-01-19 2011-05-06 视频监控方法及监控终端

Country Status (2)

Country Link
CN (1) CN102131076B (zh)
WO (1) WO2012097555A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274872A (zh) * 2020-01-08 2020-06-12 哈尔滨融智爱科智能科技有限公司 基于模板匹配的视频监控动态不规则多监管区域判别方法
CN115460347A (zh) * 2022-08-18 2022-12-09 科大讯飞股份有限公司 监控设备的控制方法、监控设备及存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139458B (zh) * 2011-11-24 2015-11-18 天津市亚安科技股份有限公司 一种视频监控系统中前端设备转动方式的自动识别方法
CN102831745B (zh) * 2012-08-28 2014-05-28 深圳市创维群欣安防科技有限公司 基于报警信号并自动放大报警区域的报警方法及装置
CN105763797B (zh) * 2016-02-29 2018-05-18 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
TWI571830B (zh) * 2016-05-31 2017-02-21 和碩聯合科技股份有限公司 移動物偵測方法
EP3293963A1 (en) * 2016-09-12 2018-03-14 Axis AB Improved monitoring camera direction control
CN106506963A (zh) * 2016-11-30 2017-03-15 努比亚技术有限公司 一种基于双摄像头的拍照方法及终端
CN107222661A (zh) * 2017-06-26 2017-09-29 努比亚技术有限公司 一种自动拍摄运动物体的方法及对应的系统、终端设备
CN107404615B (zh) * 2017-06-29 2020-08-25 联想(北京)有限公司 图像录制方法及电子设备
TWI657697B (zh) * 2017-12-08 2019-04-21 財團法人工業技術研究院 搜尋視訊事件之方法、裝置、及電腦可讀取記錄媒體
CN108230362A (zh) * 2017-12-29 2018-06-29 北京视觉世界科技有限公司 环境监控方法、装置、电子设备和存储介质
CN110653837B (zh) * 2019-10-31 2021-08-13 灵动科技（北京）有限公司 自主移动装置及仓储物流系统
CN112945015B (zh) * 2019-12-11 2023-08-22 杭州海康威视数字技术股份有限公司 一种无人机监测系统、方法、装置及存储介质
CN111147763B (zh) * 2019-12-29 2022-03-01 眸芯科技（上海）有限公司 基于灰度值的图像处理方法及应用
CN111582125B (zh) * 2020-04-30 2024-08-13 平安国际智慧城市科技股份有限公司 运动识别反馈方法、装置、计算机设备及存储介质
CN113466791B (zh) * 2021-07-14 2022-05-20 深圳市武测空间信息有限公司 一种激光测绘定位设备及方法
CN114513608A (zh) * 2022-02-21 2022-05-17 深圳市美科星通信技术有限公司 移动侦测方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056375A (ja) * 1999-08-19 2001-02-27 Tokimec Inc 運動予測装置
CN101035273A (zh) * 2007-04-24 2007-09-12 北京中星微电子有限公司 视频监控中的自动跟踪控制方法和控制装置
CN101098465A (zh) * 2007-07-20 2008-01-02 哈尔滨工程大学 一种视频监控中运动目标检测与跟踪方法
US20090175500A1 (en) * 2008-01-07 2009-07-09 Victor Company Of Japan, Limited Object tracking apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056375A (ja) * 1999-08-19 2001-02-27 Tokimec Inc 運動予測装置
CN101035273A (zh) * 2007-04-24 2007-09-12 北京中星微电子有限公司 视频监控中的自动跟踪控制方法和控制装置
CN101098465A (zh) * 2007-07-20 2008-01-02 哈尔滨工程大学 一种视频监控中运动目标检测与跟踪方法
US20090175500A1 (en) * 2008-01-07 2009-07-09 Victor Company Of Japan, Limited Object tracking apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274872A (zh) * 2020-01-08 2020-06-12 哈尔滨融智爱科智能科技有限公司 基于模板匹配的视频监控动态不规则多监管区域判别方法
CN111274872B (zh) * 2020-01-08 2023-08-22 哈尔滨融智爱科智能科技有限公司 基于模板匹配的视频监控动态不规则多监管区域判别方法
CN115460347A (zh) * 2022-08-18 2022-12-09 科大讯飞股份有限公司 监控设备的控制方法、监控设备及存储介质
CN115460347B (zh) * 2022-08-18 2024-06-04 科大讯飞股份有限公司 监控设备的控制方法、监控设备及存储介质

Also Published As

Publication number Publication date
CN102131076B (zh) 2015-05-20
CN102131076A (zh) 2011-07-20

Similar Documents

Publication Publication Date Title
WO2012097555A1 (zh) 视频监控方法及监控终端
JP4311457B2 (ja) 動き検出装置、動き検出方法、撮像装置および監視システム
US8988529B2 (en) Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
US9426409B2 (en) Time-lapse video capture with optimal image stabilization
US8421905B2 (en) Image pickup apparatus and image pickup method used for the same
WO2019050654A1 (en) IMAGE CAPTURE SETTING DETERMINATION IN DEVICES HAVING ACCESS TO MULTIPLE CAMERAS
US20120189263A1 (en) Imaging apparatus and imaging method for taking moving image
US8675094B2 (en) Imaging apparatus that preferentially suppresses occurrence of flicker in a through-the-lens image and method and computer program for controlling the imaging apparatus
US7889265B2 (en) Imaging apparatus, control method for the imaging apparatus, and storage medium storing computer program which causes a computer to execute the control method for the imaging apparatus
US11159719B2 (en) Image processing apparatus and output information control method
US9860507B2 (en) Dynamic frame skip for auto white balance
US8036479B2 (en) Image processing apparatus and method, and storage medium for controlling gradation of moving images
US9338368B2 (en) Imaging apparatus, method of detecting flicker, and information processing unit
CN110383335A (zh) 视频内容中基于光流和传感器输入的背景减除
US10594921B2 (en) Dual phase detection power optimizations
US20130120608A1 (en) Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus
JP6351377B2 (ja) 画像処理システム、撮像装置及び記録装置
WO2019021412A1 (ja) 位置推定装置、位置推定方法及びプログラム記録媒体
US10075661B2 (en) Image processing apparatus, image processing method, and image capturing apparatus
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN109327655B (zh) 连续自动对焦方法及系统
US11843846B2 (en) Information processing apparatus and control method therefor
US11356611B2 (en) Image capture apparatus and control method thereof
JP4397766B2 (ja) 撮像装置
CN111246076A (zh) 一种网络摄像机图像日视和夜视的切换方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11856249

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11856249

Country of ref document: EP

Kind code of ref document: A1