WO2013189202A1 - 一种智能视频分析系统及方法 - Google Patents

一种智能视频分析系统及方法 Download PDF

Info

Publication number
WO2013189202A1
WO2013189202A1 PCT/CN2013/074521 CN2013074521W WO2013189202A1 WO 2013189202 A1 WO2013189202 A1 WO 2013189202A1 CN 2013074521 W CN2013074521 W CN 2013074521W WO 2013189202 A1 WO2013189202 A1 WO 2013189202A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
alarm
metadata
algorithm
image
Prior art date
Application number
PCT/CN2013/074521
Other languages
English (en)
French (fr)
Inventor
金升鹏
管国辰
邹拓宇
Original Assignee
杭州海康威视数字技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州海康威视数字技术股份有限公司 filed Critical 杭州海康威视数字技术股份有限公司
Publication of WO2013189202A1 publication Critical patent/WO2013189202A1/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Definitions

  • the present invention relates to the field of video surveillance, and in particular to an intelligent video analysis system and method. Background of the invention
  • Intelligent Video System is a computer image visual analysis technology that analyzes and traces the target object to be analyzed corresponding to the target image appearing in the scene corresponding to the background image by separating the background image and the target image in the scene.
  • the intelligent video analysis technology is applied to the video surveillance system, the system according to the alarm algorithm preset for the scene corresponding to the background image, the target to be analyzed corresponding to the target image appearing in the scene meets the alarm condition included in the alarm algorithm.
  • the system generates and outputs an alarm message. Summary of the invention
  • the object of the present invention is to provide an intelligent video analysis method, which can speed up the processing speed of video data, save time and improve work efficiency.
  • An intelligent video analysis system comprising:
  • the first metadata includes at least a first target identification number ID and target location information
  • any pre-processing server decodes the received video data or the video data saved in the first memory, and uses the intelligent video analysis IVS algorithm to extract the target image from the decoded video data to obtain the first The target ID and the target location information, and storing the first target ID and the target location information as the first metadata to the second memory;
  • At least one search server any search server searches for a second metadata matching the search condition from the second memory according to the externally input search condition, and determines that the second metadata meets the alarm according to a preset alarm algorithm When conditions are met, an alarm message is generated and output.
  • the pre-processing server includes:
  • the image processing unit decodes each frame of the received video data or the video data saved in the first memory, and outputs the decoded image to an IVS processing unit; the IVS processing unit uses the IVS algorithm to receive Decoding the target image and the background image included in the decoded image of each frame to be obtained, calculating a first target coordinate and assigning the first target ID, and using the first target ID and the first target position information
  • the target coordinates are stored in a user-defined metadata storage structure named in the second memory in a frame number of the frame image in which the target having the first target ID is located.
  • the pre-processing server includes:
  • the image processing unit decodes each frame of the received video data or the video data saved in the first memory, and outputs the decoded image to an IVS processing unit;
  • the IVS processing unit uses the IVS algorithm to receive Decoding the target image and the background image included in the decoded image of each frame to be obtained, calculating the first target coordinate and assigning the first target ID, and the frame number corresponding to each frame image, the first target The ID and the first target coordinate are output to the trajectory generating unit;
  • the trajectory generating unit extracts, according to the frame number corresponding to each frame image and the first target ID, a plurality of target coordinates having the first target ID and consecutive frame numbers in the first time, according to the plurality of target coordinates Generating a first target trajectory corresponding to the first time, and storing the first target ID and the first target trajectory as target location information into a user defined by the first target ID in the second memory In the metadata storage structure;
  • the first time is a duration corresponding to a data frame required to generate the first target trajectory.
  • the retrieval server comprises:
  • the condition analysis unit receives the retrieval condition of the external input, extracts a preset time period and an alarm algorithm ID from the retrieval condition, and outputs the preset time period and the alarm algorithm ID to the alarm analysis unit;
  • the alarm analysis unit searches for an alarm algorithm according to the alarm algorithm ID, and reads, according to the preset time period, the second metadata corresponding to the frame number corresponding to the preset time period from the second memory, Determining whether the second target coordinate included in the second metadata meets an alarm condition, and if so, triggering the result output unit;
  • the result output unit generates and outputs an alarm information according to the trigger; the alarm information includes at least an alarm trigger time and a second target ID included in the second metadata; and the alarm trigger time is video data that satisfies an alarm condition. Image acquisition time.
  • the retrieval server comprises:
  • the condition analyzing unit receives the external input search condition, extracts the second target ID of the target to be tested and the alarm algorithm ID from the search condition, and outputs the second target ID and the alarm algorithm ID to the alarm analysis unit;
  • the alarm analysis unit searches for an alarm algorithm according to the alarm algorithm ID, according to The second target ID reads the second metadata corresponding to the second target ID from the second memory, determines whether the second target track included in the second metadata meets an alarm condition, and if so, triggers a result Output unit
  • the result output unit generates and outputs an alarm information according to the trigger; the alarm information includes at least an alarm trigger time and the second target ID; and the alarm trigger time is an image acquisition time of the video data that satisfies the alarm condition.
  • An intelligent video analysis method comprising:
  • Decoding the received or saved video data and acquiring the first target identification number ID and the target location information from the decoded video data by using an intelligent video analysis IVS algorithm, and using the first target ID and the target location information as the first
  • the first metadata is saved; the external input search condition is parsed, the second metadata matching the search condition is searched from the second memory, and the second metadata is determined according to the preset alarm algorithm and the second metadata. Whether the alarm condition is met, and if so, an alarm message is generated and output.
  • the intelligent video analysis IVS algorithm is used to obtain the first target ID and the target location information from the decoded video data, including:
  • the target image and the background image are separated by using the IVS algorithm for each frame image of the decoded video data, and the first target coordinates are calculated and the first target ID is allocated.
  • the saving the first target ID and the target location information as the first metadata includes:
  • the first target ID and the first target coordinate as the target location information are saved to a user-defined metadata storage structure named after the frame number of the frame image in which the target having the first target ID is located.
  • the saving the first target ID and the target location information as the first metadata includes:
  • Extracting the first time according to the frame number corresponding to each frame image and the first target ID The target coordinates of the plurality of targets having the first target ID and the frame number are consecutive; wherein, the first time is a duration corresponding to a data frame required to generate the first target track;
  • the analyzing the externally input search condition, searching the second memory for the second metadata that matches the search condition, and determining the second metadata according to the preset alarm algorithm and the second metadata. Whether the alarm condition is met, if yes, generating and outputting alarm information includes:
  • Resolving the retrieval condition of the external input obtaining a preset time period and an alarm algorithm ID; searching an alarm algorithm according to the alarm algorithm ID, and determining, according to the preset time period, a second target coordinate included in the second metadata Whether the alarm condition is met, and if so, generate and output an alarm message;
  • the alarm information includes at least an alarm triggering time and a second target ID included in the second metadata; and the alarm triggering time is an image capturing time of the video data that satisfies the alarm condition.
  • the analyzing the externally input search condition, searching the second memory for the second metadata that matches the search condition, and determining the second metadata according to the preset alarm algorithm and the second metadata. Whether the alarm condition is met, if yes, generating and outputting alarm information includes:
  • the alarm information includes at least an alarm trigger time and the second target ID; and the alarm trigger time is an image acquisition time of video data that satisfies an alarm condition.
  • the present invention provides an intelligent video analysis system in which a pre-processing server decodes received video data or video data saved in any first memory, and uses an intelligent video analysis IVS algorithm. Extracting the target image from the decoded video data, assigning a unique target identification number (identity, ID) corresponding thereto, obtaining the target ID, and obtaining the target location information by calculation, and using the target ID and the target location information as metadata Storing to the second memory; the retrieval server searches for metadata matching the retrieval condition from the second memory according to the retrieval condition input by the external, and generates and outputs the metadata according to the preset alarm algorithm when determining that the metadata meets the alarm condition Alarm information.
  • the invention also provides an intelligent video analysis method.
  • the system and method of the present invention can speed up video data processing, save time, and improve work efficiency.
  • FIG. 1 is a schematic structural diagram of an existing intelligent video analysis system.
  • FIG. 2 is a schematic structural diagram of an intelligent video analysis system according to an embodiment of the present invention.
  • FIG. 3 is a schematic structural diagram of an intelligent video analysis system according to an embodiment of the present invention.
  • 4 is a schematic structural diagram of an intelligent video analysis system according to another embodiment of the present invention.
  • FIG. 5 is a flowchart of an intelligent video analysis method according to an embodiment of the present invention. Mode for carrying out the invention
  • FIG. 1 is a schematic structural diagram of an existing intelligent video analysis system.
  • the intelligent video analysis system comprises: an intelligent video analysis server 10 and a plurality of first memories 11.
  • the first memory 11 of the plurality of first memories 11 is used to store the video data output by the front-end image capturing device.
  • the intelligent video analysis server 10 uses an image processing algorithm according to the externally input target information to be used.
  • the video data corresponding to the target information to be measured stored in the first memory 11 is decoded, and the background image and the target image in the multi-frame image included in the video data are separated by using the existing IVS algorithm, according to the multi-frame image.
  • the target image obtains the motion track of the target to be tested, and uses the preset alarm algorithm and the motion track of the target to be tested to determine whether the target to be tested meets the alarm condition. If yes, the alarm information is generated and output.
  • the intelligent video analysis server in the existing intelligent video analysis system decodes the video data related to the target information to be measured stored in all the first memories every time the external target information to be measured is received. , analysis and alarm determination, intelligent video in the existing intelligent video analysis system for the application of the video data corresponding to the target information to be measured, the external input of the target information, and the wide variety of objects to be tested.
  • the analysis server consumes too much computing resources, takes too long, and is inefficient, unable to meet the needs of practical applications.
  • the embodiment of the present invention provides an intelligent video analysis system and method. Compared with the existing intelligent video analysis system, the intelligent video analysis system provided by the embodiment of the present invention is no longer based on each external input retrieval condition, each time Decoding, analyzing, and alarming the video data related to the search condition stored in the plurality of first memories, but pre-processing the received video data or the number of videos saved in the plurality of first memories by the pre-processing server According to the decoding and analysis, the metadata is extracted and stored in a second memory. When the retrieval server receives the externally input retrieval condition, the metadata is directly searched from the second memory, and the alarm is determined according to the metadata and the alarm algorithm.
  • the intelligent video analysis system provided by the embodiment of the present invention is more intelligent than the existing ones in the case where the data amount of the video data corresponding to the target information to be tested is large, the external target information is frequently input, and the types of the objects to be tested are various.
  • the video analysis system can effectively save computing resources, save time spent on video processing, and improve retrieval efficiency.
  • a plurality of moving people and/or objects such as a moving car
  • those moving people and/or objects may be referred to as targets, that is, in this video.
  • targets that is, in this video.
  • the system includes: a plurality of first memories 21, at least one pre-processing server 20, at least one second memory 22, and at least one retrieval server 23.
  • the plurality of first memories 21 can be connected to the front end image capturing device;
  • the preprocessing server 20 is connected to the plurality of first memories 21 and the second memory 22, and can also be connected to the front end image collecting device;
  • the search server 23 is connected to the second memory 22 .
  • the first memory 21 is used to store video data output by the image acquisition device of the front end.
  • the second memory 22 is used to store metadata (Metadata).
  • the metadata includes at least a target identification number (ID) and target location information.
  • the metadata may further include a target type (such as a person, a car, an object, etc.), a target color, and an image collection time. And so on, specifically can be determined according to the algorithm and actual needs.
  • the target position information may be a target coordinate or a target trajectory.
  • the second memory 22 of the embodiment of the present invention may be configured with any type of database, such as a common mysql, a google bigtable, an open source hbase, a hypertable, and the like.
  • Any pre-processing server 20 decodes video data saved by one or more first memories 21, or images of the front end
  • the video data output by the device is decoded, and the target image is extracted from the decoded image by using the intelligent video analysis IVS algorithm to obtain the target ID and the target location information, and the target ID and the target location information are stored as metadata to the second memory 22 .
  • the pre-processing server 20 is configured to store the video data in the first memory 21 or the video data stored in the first memory 21 after the video data is written in the one or more first memories 21 or received.
  • the video data is decoded and analyzed to obtain the target location information and the target ID, without traversing the first memory 21 and decoding and analyzing the video data related to the retrieval condition held by the first memory 21 according to each retrieval condition. , effectively reducing the number of decoding and analysis, saving computing resources and time.
  • Any search server 23 searches for metadata matching the search condition from the second memory 22 based on the externally input search condition, and generates and outputs the alarm information when determining that the metadata meets the alarm condition according to a preset alarm algorithm.
  • the alarm algorithm may be an algorithm that crosses the warning line algorithm, enters or leaves the warning area algorithm, and the alarm condition is a judgment basis for triggering the generation of the alarm information in the alarm algorithm, and may be a coordinate sequence representing the spatial position.
  • FIG. 3 is a schematic structural diagram of an intelligent video analysis system according to an embodiment of the present invention.
  • the second memory 22 stores the metadata according to the frame number, that is, the user-defined metadata storage structure divided by the frame number, such as a folder, and storage.
  • the target ID of the plurality of targets included in the image corresponding to the frame number and its target coordinates in other words, the target IDs of the plurality of targets included in the same frame image and their target coordinates are stored in the image of the frame
  • the target location information included in the metadata is the target coordinates.
  • the metadata may be stored in other storage structures, such as a database, etc., and is not limited herein.
  • the pre-processing server 20 includes: an image processing unit 201 and an IVS processing unit 202.
  • the image processing unit 201 decodes the received video data output by the image capturing device of the front end or the image data of the video data held by the one or more first memories 21, and outputs the decoded image to the IVS processing unit. 202.
  • the video data in the first memory 21 is stored in a frame, and the image capturing device at the front end outputs the video data in the form of a video frame.
  • the image processing unit 201 outputs the decoded image to the IVS processing unit 202, and also outputs the frame number corresponding to the image to the IVS processing unit 202.
  • the IVS processing unit 202 separates the target image and the background image included in each received image by using the IVS algorithm, calculates the target coordinates of the target in the frame image according to the target image and the background image, and assigns a target ID to the target.
  • the target ID and the target coordinates of the target included in the frame image are stored as metadata in the second memory 22 in accordance with the frame number corresponding to each frame of the image.
  • the IVS processing unit 202 determines the type of the target according to the extracted features and feature templates, such as: a person, a car, or an object, and assigns a target ID to the target.
  • the retrieval server 23 includes: a condition analysis unit 231, an alarm analysis unit 232, and a result output unit 233.
  • the condition analyzing unit 231 receives the retrieval condition of the external input, extracts the preset time period and the alarm algorithm ID from the retrieval condition, and outputs the preset time period and the alarm algorithm ID to the alarm analysis unit 232.
  • the preset time period may be a continuous time, a plurality of separated time points or a time point in a continuous time.
  • the alarm analysis unit 232 searches for an alarm algorithm according to the alarm algorithm ID, and reads metadata corresponding to the frame number corresponding to the preset time period from the second memory 22 according to the preset time period, that is, reads from the second memory 22
  • the metadata corresponding to the frame number of the preset time period is taken, and it is determined whether the target coordinate included in the metadata meets the alarm condition. If yes, the result output unit 233 is triggered, otherwise the result output unit 233 is not triggered.
  • the alarm algorithm is to enter the alert area algorithm
  • the alarm condition is the coordinate of the polygon vertex used to represent the alert area
  • the police analysis unit 232 determines that the metadata of the target coordinate belongs to the alarm when determining that the target coordinate falls into the alert area.
  • the result output unit 233 generates an alarm information based on the trigger and outputs it.
  • the alarm information in the embodiment of the present invention includes at least an alarm triggering time and a target ID; wherein, the alarm triggering time is an image capturing time corresponding to a certain frame data that meets the alarm condition.
  • the result output unit 233 can determine the time stamp of the data frame corresponding to the frame number according to the trigger and the frame number of the frame, and further output the image acquisition time corresponding to the time stamp as the alarm trigger time.
  • the first memory 21, the pre-processing server 20, the second memory 22, and the retrieval server 23 may be located in the same physical entity, or may be located in different physical entities;
  • the software module, the hardware module, or the combination of the hardware and software in the physical entity is not specifically limited in the embodiment of the present invention.
  • the second memory 32 stores the metadata according to the target ID.
  • the target location information included in the metadata is the target trajectory; and the target trajectory also carries the image acquisition time of the data frame in which the trajectory is generated.
  • the pre-processing server 30 includes: an image processing unit 201, an IVS processing unit 202, and a trajectory generation unit 303.
  • the pre-processing server 30 in the embodiment of the present invention is increased by one compared with the pre-processing server 20 in FIG.
  • the trajectory generating unit 303 correspondingly, in the embodiment of the present invention, the IVS processing unit 202 outputs the frame number, the target ID, and the target coordinates corresponding to each frame of the image to the trajectory generating unit 303.
  • the trajectory generating unit 303 extracts a plurality of target coordinates having the same target ID and consecutive frame numbers in the first time according to the frame number and the target ID corresponding to each frame image, and generates a target trajectory corresponding to the first time according to the plurality of target coordinates, according to
  • the target ID stores the target ID and the target trajectory corresponding to the target ID as metadata to the second memory 32.
  • the target trajectory generated by the trajectory generating unit 303 further includes a frame number of the data frame for generating the target trajectory, so as to subsequently determine an alarm triggering time corresponding to the data frame that satisfies the alarm condition according to the frame number, that is, an image corresponding to the data frame satisfying the alarm condition. Acquisition time.
  • the first time is the duration of the data frame required to generate the target trajectory, such as 5 minutes or 10 minutes, and is not specifically limited herein; for example, if the first time is 10 minutes, the generated target trajectory is 10 minutes.
  • the trajectory generating unit 303 stores the target trajectory included in the metadata with the same target ID in the same user-defined metadata storage structure, such as a folder, when the metadata is stored according to the target ID, and the folder can be identified by the target ID.
  • the metadata may be stored in other storage structures, such as a database, etc., and is not limited herein.
  • all target trajectories with a target ID of 10 for the goal of 10 can be set (for example, a target trajectory from 9:00 AM-9:10 AM, from 9:10 AM) -9:20 AM target trajectory, etc.) are stored in the metadata storage structure named "Human 01"; all target trajectories with a target ID of Vehicle 01 for 10 minutes are stored in "Vehicle 01" "Named in the metadata storage structure.
  • the retrieval server 33 includes: a condition analysis unit 331, an alarm analysis unit 332, and a result output unit 333.
  • the condition analyzing unit 331 receives the externally input search condition, extracts the target ID of the target to be tested and the alarm algorithm ID from the search condition, and outputs the target ID of the target to be tested and the alarm algorithm ID to the alarm analyzing unit 332.
  • the alarm analysis unit 332 searches the alarm algorithm according to the alarm algorithm ID, reads the metadata from the second memory 32 according to the target ID of the target to be tested, and determines whether the target track included in the metadata meets the alarm condition. If yes, the trigger result output unit 333 Otherwise, the result output unit 333 is not triggered. If the alarm algorithm is a traversing warning line algorithm, the alarm analysis unit 332 compares the target trajectories of the same target ID and the coordinate areas of the warning line. When there is a coordinate of the coordinate area corresponding to the warning line in the target trajectory, The determination metadata conforms to the alarm condition, and the result output unit 333 is triggered.
  • the result output unit 333 generates an alarm information based on the trigger and outputs it.
  • the alarm information in the embodiment of the present invention includes at least the target ID and the alarm triggering time; wherein, the alarm triggering time is the image capturing time corresponding to a certain frame data that satisfies the alarm condition included in the target trajectory that meets the alarm condition.
  • the result output unit 333 can determine the timestamp of the data frame corresponding to the frame number according to the trigger and the frame number of the frame, and further output the image acquisition time corresponding to the timestamp as the alarm trigger time.
  • the first memory 21, the pre-processing server 30, the second memory 32, and the retrieval server 33 may be located in the same physical entity, or located in different physical entities;
  • the software module, the hardware module, or the combination of the hardware and software in the physical entity is not specifically limited in the embodiment of the present invention.
  • FIG. 5 is a flowchart of an intelligent video analysis method according to an embodiment of the present invention. The method includes the following steps.
  • Step 401 Obtain a target identity identification number ID and target location information from the decoded video data by using an intelligent video analysis IVS algorithm.
  • the step includes: separating the target image and the background image by using the IVS algorithm for each frame image of the decoded video data, calculating the target location information, and assigning the target ID.
  • Step 402 Save the target ID and the target location information as metadata.
  • the step includes:
  • the target ID and the target coordinate of the target included in the frame image are saved as metadata according to the frame number corresponding to each frame image; specifically, for the plurality of targets included in the same frame image, the frame image is included
  • the target ID of the different targets and their target coordinates are saved under the folder named with the same frame number of the frame image.
  • the steps include:
  • Step 4021 Extract target coordinates of multiple targets with the same target ID and consecutive frame numbers in the first time according to the frame number and the target ID corresponding to each frame of the image;
  • Step 4022 Generate, according to the target coordinates of the plurality of targets having the same target ID in step 4021, a target trajectory corresponding to the first time;
  • Step 4023 Save the target ID and the target trajectory corresponding to the target ID as the target location information according to the target ID.
  • step 4023 saving the metadata according to the target ID is to save the target trajectory corresponding to the first time acquired at different times under the folder corresponding to the same target ID.
  • Step 403 According to the retrieval condition, it is determined whether the metadata meets the alarm condition, and if so, step 404 is performed, otherwise step 405 is performed;
  • the steps include:
  • Step 4031 receiving and parsing the retrieval condition of the external input, and obtaining a preset time period and an alarm algorithm ID;
  • Step 4032 Find an alarm algorithm according to the alarm algorithm ID, and according to the preset time period, step 4033, determine whether the target coordinates included in the metadata meet the alarm condition, such as If yes, go to step 404, otherwise go to step 405.
  • the steps include:
  • Step 4034 receiving and parsing the retrieval condition of the external input, obtaining the target ID of the target to be tested and the ID of the alarm algorithm;
  • Step 4035 Find an alarm algorithm according to the alarm algorithm ID, and read the saved metadata according to the target ID.
  • Step 4036 Determine whether the target trajectory included in the metadata meets the alarm condition. If yes, go to step 404, otherwise go to step 405.
  • Step 404 Generate and output an alarm message
  • the alarm information of this step includes at least the alarm trigger time and the target ID.
  • the alarm trigger time is the image acquisition time of the video data that satisfies the alarm condition.
  • Step 405 End.
  • the above-described embodiments of the present invention do not need to decode, analyze, and alarm the images of a large amount of video data one by one according to the retrieval condition each time, but use the elements generated by the large amount of video data stored in the database on the second memory.
  • the intelligent video analysis system provided by the embodiment of the present invention can effectively reduce resource consumption, save time spent on video processing, and improve retrieval efficiency.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).
  • ROM read-only memory
  • RAM random access memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种智能视频分析系统,该系统包含:多台第一存储器,任一第一存储器用以保存视频数据;至少一台第二存储器,用以保存第一元数据;所述第一元数据至少包含第一目标身份标识号ID及目标位置信息;至少一台预处理服务器,任一预处理服务器对接收到的视频数据或第一存储器保存的视频数据进行解码,利用智能视频分析IVS算法,从解码后的视频数据中提取目标图像,获得所述第一目标ID及目标位置信息,将所述第一目标ID及目标位置信息作为第一元数据存储至第二存储器;至少一台检索服务器,任一检索服务器根据外部输入的检索条件,从第二存储器中查找与检索条件匹配的第二元数据,根据预设的报警算法,在判定所述第二元数据符合报警条件时,生成并输出报警信息。本发明还提供了一种智能视频分析方法。采用本发明的系统及方法,能够加快视频数据的处理速度,节省时间,提高工作效率。

Description

一种智能视频分析系统及方法 技术领域
本发明涉及视频监控领域,特别涉及一种智能视频分析系统及方 法。 发明背景
智能视频分析 (Intelligent Video System, IVS )是一种计算机图 像视觉分析技术,通过分离场景中的背景图像和目标图像来分析并追 踪在背景图像对应的场景内出现的目标图像对应的待分析目标。在将 智能视频分析技术应用于视频监控系统中时, 系统根据对背景图像对 应的场景预设的报警算法,在该场景内出现的与目标图像对应的待分 析目标符合报警算法中包含的报警条件时, 系统会产生并输出报警信 息。 发明内容
本发明的目的在于提供一种智能视频分析系统,该系统能够加快 视频数据的处理速度, 节省时间, 提高工作效率。
本发明的目的在于提供一种智能视频分析方法,该方法能够加快 视频数据的处理速度, 节省时间, 提高工作效率。
为达到上述目的, 本发明的技术方案具体实现如下:
一种智能视频分析系统, 该系统包含:
多台第一存储器, 任一第一存储器用以保存视频数据; 至少一台第二存储器, 用以保存第一元数据; 所述第一元数据至 少包含第一目标身份标识号 ID及目标位置信息;
至少一台预处理服务器,任一预处理服务器对接收到的视频数据 或第一存储器保存的视频数据进行解码, 利用智能视频分析 IVS 算 法, 从解码后的视频数据中提取目标图像, 获得第一目标 ID及目标 位置信息, 将所述第一目标 ID及目标位置信息作为第一元数据存储 至第二存储器;
至少一台检索服务器, 任一检索服务器根据外部输入的检索条 件, 从第二存储器中查找与检索条件匹配的第二元数据, 根据预设的 报警算法, 在判定所述第二元数据符合报警条件时, 生成并输出报警 信息。
上述系统中, 所述预处理服务器包含:
图像处理单元,对接收到的视频数据或第一存储器保存的视频数 据的每帧图像进行解码, 将解码后的图像输出至 IVS处理单元; 所述 IVS处理单元, 利用所述 IVS算法, 对接收到的解码后的 每帧图像包含的目标图像和背景图像进行分离,计算获得第一目标坐 标并分配所述第一目标 ID, 将所述第一目标 ID及作为目标位置信息 的所述第一目标坐标存储至第二存储器中的以具有所述第一目标 ID 的目标所在的帧图像的帧号命名的用户自定义元数据存储结构中。
上述系统中, 所述预处理服务器包含:
图像处理单元,对接收到的视频数据或第一存储器保存的视频数 据的每帧图像进行解码, 将解码后的图像输出至 IVS处理单元; 所述 IVS处理单元, 利用所述 IVS算法, 对接收到的解码后的 每帧图像包含的目标图像和背景图像进行分离,计算获得第一目标坐 标并分配所述第一目标 ID, 将每帧图像对应的帧号、 所述第一目标 ID及第一目标坐标输出至轨迹生成单元;
轨迹生成单元, 根据每帧图像对应的帧号及所述第一目标 ID, 提取第一时间内都具有所述第一目标 ID 且帧号连续的多个目标坐 标, 根据所述多个目标坐标生成与第一时间对应的第一目标轨迹, 将 所述第一目标 ID及作为目标位置信息的所述第一目标轨迹存储至第 二存储器中的以所述第一目标 ID命名的用户自定义元数据存储结构 中;
其中,所述第一时间为生成所述第一目标轨迹所需数据帧对应的 时长。
上述系统中, 所述检索服务器包含:
条件解析单元, 接收外部输入的检索条件, 从检索条件中提取出 预设的时间段及报警算法 ID, 输出所述预设的时间段及报警算法 ID 至报警分析单元;
所述报警分析单元, 根据所述报警算法 ID查找报警算法, 根据 所述预设的时间段从第二存储器中读取与所述预设时间段对应的帧 号所对应的第二元数据,判断所述第二元数据包含的第二目标坐标是 否符合报警条件, 如果是, 触发结果输出单元;
所述结果输出单元, 根据触发生成报警信息并输出; 所述报警信 息至少包含报警触发时间及所述第二元数据包含的第二目标 ID; 所 述报警触发时间为满足报警条件的视频数据的图像采集时间。
上述系统中, 所述检索服务器包含:
条件解析单元, 接收外部输入的检索条件, 从检索条件中提取出 待测目标的第二目标 ID及4艮警算法 ID, 输出所述第二目标 ID及才艮 警算法 ID至报警分析单元;
所述报警分析单元, 根据所述报警算法 ID查找报警算法, 根据 所述第二目标 ID从第二存储器中读取与所述第二目标 ID对应的第二 元数据, 判断所述第二元数据包含的第二目标轨迹是否符合报警条 件, 如果是, 触发结果输出单元;
所述结果输出单元, 根据触发生成报警信息并输出; 所述报警信 息至少包含报警触发时间及所述第二目标 ID; 所述报警触发时间为 满足报警条件的视频数据的图像采集时间。
一种智能视频分析方法, 该方法包括:
解码接收到的或保存的视频数据,并利用智能视频分析 IVS算法 从解码后的视频数据中获取第一目标身份标识号 ID 及目标位置信 息, 将所述第一目标 ID及目标位置信息作为第一元数据进行保存; 解析外部输入的检索条件,从第二存储器中查找与检索条件匹配 的第二元数据, 根据预设的报警算法及所述第二元数据, 判断所述第 二元数据是否符合报警条件, 如果是, 生成并输出报警信息。
上述方法中,所述利用智能视频分析 IVS算法从解码后的视频数 据中获取第一目标 ID及目标位置信息, 包括:
对解码后的视频数据的每帧图像利用所述 IVS 算法分离出目标 图像和背景图像, 计算获得第一目标坐标并分配所述第一目标 ID。
上述方法中, 所述将所述第一目标 ID及目标位置信息作为第一 元数据进行保存, 包括:
保存所述第一目标 ID及作为目标位置信息的所述第一目标坐标 至以具有所述第一目标 ID的目标所在的帧图像的帧号命名的用户自 定义元数据存储结构中。
上述方法中, 所述将所述第一目标 ID及目标位置信息作为第一 元数据进行保存, 包括:
根据每帧图像对应的帧号及所述第一目标 ID, 提取第一时间内 都具有所述第一目标 ID且帧号连续的多个目标的目标坐标; 其中, 所述第一时间为生成第一目标轨迹所需数据帧对应的时长;
根据所述多个目标的目标坐标,生成与第一时间对应的所述第一 3标轨迹;
保存所述第一目标 ID及作为目标位置信息的所述第一目标轨迹 至以所述第一目标 ID命名的用户自定义元数据存储结构中。
上述方法中, 所述解析外部输入的检索条件, 从第二存储器中查 找与检索条件匹配的第二元数据,根据预设的报警算法及所述第二元 数据, 判断所述第二元数据是否符合报警条件, 如果是, 生成并输出 报警信息包括:
解析外部输入的检索条件, 获得预设的时间段及报警算法 ID; 根据所述报警算法 ID查找报警算法, 根据所述预设的时间段, 判断所述第二元数据包含的第二目标坐标是否符合报警条件,如 果是, 生成并输出报警信息;
其中,所述报警信息至少包含报警触发时间及所述第二元数据包 含的第二目标 ID; 所述报警触发时间为满足报警条件的视频数据的 图像采集时间。
上述方法中, 所述解析外部输入的检索条件, 从第二存储器中查 找与检索条件匹配的第二元数据,根据预设的报警算法及所述第二元 数据, 判断所述第二元数据是否符合报警条件, 如果是, 生成并输出 报警信息包括:
解析外部输入的检索条件, 获得待测目标的第二目标 ID及报警 算法 ID;
根据所述报警算法 ID查找报警算法,根据所述第二目标 ID读取 保存的与所述第二目标 ID对应的第二元数据;
判断所述第二元数据包含的第二目标轨迹是否符合报警条件,如 果是, 生成并输出报警信息;
其中, 所述报警信息至少包含报警触发时间及所述第二目标 ID; 所述报警触发时间为满足报警条件的视频数据的图像采集时间。
由上述的技术方案可见, 本发明提供了一种智能视频分析系统, 该系统中预处理服务器对接收到的视频数据或任一第一存储器保存 的视频数据进行解码, 利用智能视频分析 IVS算法, 从解码后的视频 数据中提取目标图像、 分配与之对应的唯一的目标身份标识号 ( Identity, ID ) , 获得目标 ID及通过计算获取目标位置信息, 并将 目标 ID及目标位置信息作为元数据存储至第二存储器; 检索服务器 根据外部输入的检索条件,从第二存储器中查找与检索条件匹配的元 数据, 根据预设的报警算法, 在判定所述元数据符合报警条件时, 生 成并输出报警信息。 本发明还提供了一种智能视频分析方法。 采用本 发明的系统及方法, 能够加快视频数据处理速度、 节省时间, 提高工 作效率。 附图简要说明
图 1为现有的智能视频分析系统的结构示意图。
图 2为依据本发明实施例的智能视频分析系统的结构示意图。 图 3为依据本发明实施例的智能视频分析系统的结构示意图。 图 4 为依据本发明另一实施例的智能视频分析系统的结构示意 图。
图 5为依据本发明实施例的智能视频分析方法的流程图。 实施本发明的方式
为使本发明的目的、技术方案及优点更加清楚明白, 以下参照附 图并举实施例对本发明进一步详细说明。
图 1为现有的智能视频分析系统的结构示意图。 如图 1所示, 该 智能视频分析系统包含: 智能视频分析服务器 10及多台第一存储器 11。 其中, 多台第一存储器 11中的任一第一存储器 11用以保存前端 图像采集装置输出的视频数据; 智能视频分析服务器 10根据外部输 入的待测目标信息, 利用图像处理算法, 对多台第一存储器 11 中保 存的与待测目标信息对应的视频数据进行解码, 利用现有的 IVS 算 法, 将视频数据包含的多帧图像中的背景图像和目标图像进行分离, 根据多帧图像中的目标图像获得待测目标的运动轨迹,利用预设的报 警算法及待测目标的运动轨迹, 判断待测目标是否符合报警条件, 如 果是, 则生成并输出报警信息。
综上所述,现有的智能视频分析系统中的智能视频分析服务器每 收到外部输入的待测目标信息,就会对所有第一存储器中保存的与待 测目标信息相关的视频数据进行解码、 分析及报警判定, 对于待测目 标信息对应的视频数据的数据量巨大、 外部频繁输入待测目标信息、 且待测目标的种类繁多的应用场合,现有的智能视频分析系统中的智 能视频分析服务器耗费计算资源过大、 耗时过长、 效率低下, 无法满 足实际应用的需求。
本发明实施例提供了一种智能视频分析系统及方法,与现有的智 能视频分析系统相比,本发明实施例提供的智能视频分析系统不再根 据每一次外部输入的检索条件,每次都对多台第一存储器中保存的与 检索条件相关的视频数据进行解码、 分析及报警判断, 而是由预处理 服务器预先对接收到的视频数据或多台第一存储器中保存的视频数 据进行解码和分析, 提取元数据并保存在一台第二存储器中, 在检索 服务器接收到外部输入的检索条件时,直接从第二存储器中查找元数 据, 根据元数据及报警算法进行报警判断; 在与待测目标信息对应的 视频数据的数据量巨大、 外部频繁输入待测目标信息、 且待测目标的 种类繁多的情况下,本发明实施例提供的智能视频分析系统较现有的 智能视频分析系统, 能够有效地节约计算资源, 节省视频处理所耗费 的时间, 提高检索的工作效率。
在本发明实施例中, 如果视频中同时出现多个运动的人和 /或物 体(如运动的汽车) , 那么这些运动的人和 /或物体都可被称为目标, 也即在此视频中存在有多个目标。
图 2为依据本发明实施例的智能视频分析系统的结构示意图。如 图 2所示, 该系统包含: 多台第一存储器 21、 至少一台预处理服务 器 20、 至少一台第二存储器 22及至少一台检索服务器 23。 其中, 多 台第一存储器 21可连接前端的图像采集装置;预处理服务器 20连接 多台第一存储器 21及第二存储器 22,还可连接前端的图像采集装置; 检索服务器 23连接第二存储器 22。
第一存储器 21用以保存前端的图像采集装置输出的视频数据。 第二存储器 22 用以保存元数据 (Metadata ) 。 其中, 元数据至 少包含目标身份标识号 ( Identification, ID ) 及目标位置信息; 在本 发明实施例中, 元数据还可包括目标类型 (如人、 车、 物等) , 目标 颜色, 图像采集时间等等, 具体地可根据算法和实际需求确定。 目标 位置信息可为目标坐标或目标轨迹。 本发明实施例的第二存储器 22 上可配置有任一类型的数据库,比如常见的 mysql、google的 bigtable、 开源的 hbase、 hypertable等数据库。 任一预处理服务器 20对一台或 多台第一存储器 21保存的视频数据进行解码, 或者对前端的图像采 集装置输出的视频数据进行解码, 利用智能视频分析 IVS算法,从解 码后的图像中提取目标图像, 获得目标 ID及目标位置信息, 将目标 ID及目标位置信息作为元数据存储至第二存储器 22。 其中, 预处理 服务器 20是在一台或多台第一存储器 21中被写入了视频数据后,或 前端的图像采集装置输出视频数据时, 对第一存储器 21 中保存的视 频数据或接收到的视频数据进行解码和分析,以获得目标位置信息及 目标 ID, 而无需根据每次的检索条件, 遍历第一存储器 21并对第一 存储器 21保存的与检索条件相关的视频数据进行解码和分析, 有效 地减少了解码和分析的次数, 节省了计算资源及时间。
任一检索服务器 23根据外部输入的检索条件, 从第二存储器 22 中查找与检索条件匹配的元数据, 根据预设的报警算法, 在判定元数 据符合报警条件时, 生成并输出报警信息。 其中, 报警算法可为穿越 警戒线算法、 进入或离开警戒区域算法等算法; 报警条件为报警算法 中触发生成报警信息的判断依据, 可为代表空间位置的坐标序列。
图 3为依据本发明实施例的智能视频分析系统的结构示意图。在 本发明实施例提供的智能视频分析系统中, 第二存储器 22中是根据 帧号对元数据进行存储的,即按照帧号划分的用户自定义的元数据存 储结构中, 如文件夹, 存储有该帧号对应的图像中所包含的多个目标 的目标 ID及其目标坐标, 换句话说, 同一帧图像中包含的多个目标 的目标 ID 及其目标坐标都存储在以该帧图像的帧号命名的文件夹 下; 在本发明实施例中, 元数据包含的目标位置信息为目标坐标。 在 本发明实施例中, 元数据也可保存在其它存储结构中, 如数据库等, 在此不作限定。
在图 3所示的智能视频分析系统中, 预处理服务器 20包含: 图 像处理单元 201及 IVS处理单元 202。 图像处理单元 201 对接收到的由前端的图像采集装置输出的视 频数据或由一台或多台第一存储器 21保存的视频数据的每帧图像进 行解码, 将解码后的图像输出至 IVS处理单元 202。 其中, 第一存储 器 21 中的视频数据是按帧进行存储的, 前端的图像采集装置以视频 帧的形式输出视频数据。 图像处理单元 201 在输出解码后的图像至 IVS处理单元 202的同时,将该图像对应的帧号也输出至 IVS处理单 元 202。
IVS处理单元 202利用 IVS算法,对接收到的每帧图像包含的目 标图像和背景图像进行分离, 根据目标图像及背景图像, 计算获得该 帧图像中的目标的目标坐标并为该目标分配目标 ID, 按照每帧图像 对应的帧号, 将该帧图像中包含的目标的目标 ID及目标坐标作为元 数据存储至第二存储器 22。 其中, IVS处理单元 202根据提取到的特 征及特征模板确定目标的类型, 比如: 人、 车或物等, 并为目标分配 目标 ID。
在本发明实施例中, 检索服务器 23 包含: 条件解析单元 231、 报警分析单元 232及结果输出单元 233。
条件解析单元 231接收外部输入的检索条件,从检索条件中提取 出预设的时间段及报警算法 ID, 输出预设的时间段及报警算法 ID至 报警分析单元 232。 其中, 预设的时间段可为一段连续的时间、 一段 连续的时间内的多个分离的时间点或一个时间点。
报警分析单元 232根据报警算法 ID查找报警算法, 根据预设的 时间段, 从第二存储器 22中读取与预设时间段对应的帧号所对应的 元数据, 即从第二存储器 22中读取图像采集时间属于预设时间段的 帧号所对应的元数据, 判断元数据包含的目标坐标是否符合报警条 件, 如果是, 触发结果输出单元 233 , 否则不触发结果输出单元 233。 其中, 若报警算法为进入警戒区域算法, 则报警条件为用以表示警戒 区域的多边形顶点坐标, 警分析单元 232在确定目标坐标落入警戒 区域中时, 判定该目标坐标所属的元数据符合报警条件, 触发结果输 出单元 233; 若报警算法为离开警戒区域算法, 则报警条件为除警戒 区域外的其他区域的多边形顶点坐标 , 警分析单元 232在确定目标 坐标未落入警戒区域时, 判定该目标坐标所属的元数据符合报警条 件, 触发结果输出单元 233。
结果输出单元 233根据触发生成报警信息并输出。本发明实施例 中的报警信息至少包含报警触发时间及目标 ID; 其中, 报警触发时 间即为符合报警条件的某一帧数据对应的图像采集时间。结果输出单 元 233 可根据触发及该帧的帧号确定与该帧号对应的数据帧的时间 戳, 进而将与该时间戳对应的图像采集时间作为报警触发时间输出。
在本发明实施例提供的智能视频分析系统中, 所述第一存储器 21、 预处理服务器 20、 第二存储器 22和检索服务器 23可以位于同 一物理实体, 或者, 位于不同的物理实体; 可以是内置于物理实体中 的软件模块、硬件模块或者软硬件相结合的模块, 本发明实施例不作 具体限定。
图 4 为依据本发明另一实施例的智能视频分析系统的结构示意 图。 在本发明实施例提供的智能视频分析系统中, 第二存储器 32 中 是根据目标 ID对元数据进行存储的。 在本发明实施例中, 元数据包 含的目标位置信息为目标轨迹; 目标轨迹中还携带有生成轨迹的数据 帧的图像采集时间。
在图 4所示的智能视频分析系统中, 预处理服务器 30包含: 图 像处理单元 201、 IVS处理单元 202及轨迹生成单元 303。 本发明实 施例中的预处理服务器 30与图 3中的预处理服务器 20相比增加了一 个轨迹生成单元 303 ,相应地, 在本发明实施例中, IVS处理单元 202 将每帧图像对应的帧号、 目标 ID 及目标坐标输出至轨迹生成单元 303。
轨迹生成单元 303根据每帧图像对应的帧号及目标 ID, 提取第 一时间内目标 ID相同且帧号连续的多个目标坐标, 根据多个目标坐 标生成与第一时间对应的目标轨迹, 按照目标 ID , 将目标 ID及与该 目标 ID对应的目标轨迹作为元数据存储至第二存储器 32。 轨迹生成 单元 303生成的目标轨迹中还包含生成该目标轨迹的数据帧的帧号, 以便后续根据帧号确定满足报警条件的数据帧对应的报警触发时间, 即满足报警条件的数据帧对应的图像采集时间。
其中, 第一时间为生成目标轨迹所需数据帧对应的时长, 如 5分 钟或 10分钟等, 在此不作具体限定; 比如第一时间为 10分钟, 则生 成的目标轨迹为时长为 10分钟的目标的运动轨迹。轨迹生成单元 303 在按照目标 ID存储元数据时,将目标 ID相同的元数据包含的目标轨 迹存储于同一用户自定义的元数据存储结构中, 如文件夹, 该文件夹 可以目标 ID进行标识。 在本发明实施例中, 元数据也可保存在其它 存储结构中, 如数据库等, 在此不作限定。
例如, 在按照目标 ID存储元数据时, 可将目标 ID为 Human 01 的目标的时长为 10分钟的所有目标轨迹(如从 9:00 AM-9:10 AM的 目标轨迹, 从 9:10 AM-9:20 AM的目标轨迹等)都存储在以 "Human 01" 命名的元数据存储结构中; 将目标 ID为 Vehicle 01的目标的时 长为 10分钟的所有目标轨迹都存储在以 "Vehicle 01" 命名的元数据 存储结构中。
在本发明实施例中, 检索服务器 33 包含: 条件解析单元 331、 报警分析单元 332及结果输出单元 333。 条件解析单元 331接收外部输入的检索条件,从检索条件中提取 出待测目标的目标 ID及报警算法 ID, 输出待测目标的目标 ID及报 警算法 ID至报警分析单元 332。
报警分析单元 332根据报警算法 ID查找报警算法, 根据待测目 标的目标 ID从第二存储器 32中读取元数据,判断元数据包含的目标 轨迹是否符合报警条件, 如果是, 触发结果输出单元 333 , 否则不触 发结果输出单元 333。 其中, 若报警算法为穿越警戒线算法, 则报警 分析单元 332对相同目标 ID的多个目标轨迹及警戒线的坐标区域进 行比较, 在目标轨迹中存在超出警戒线对应的坐标区域的坐标时, 判 定元数据符合报警条件, 触发结果输出单元 333。
结果输出单元 333根据触发生成报警信息并输出。本发明实施例 中的报警信息至少包含目标 ID和报警触发时间; 其中, 报警触发时 间即为符合报警条件的目标轨迹所包含的满足报警条件的某一帧数 据对应的图像采集时间。结果输出单元 333可根据触发及该帧的帧号 确定与该帧号对应的数据帧的时间戳,进而将与该时间戳对应的图像 采集时间作为报警触发时间输出。
在本发明实施例提供的智能视频分析系统中, 所述第一存储器 21、 预处理服务器 30、 第二存储器 32和检索服务器 33可以位于同 一物理实体, 或者, 位于不同的物理实体; 可以是内置于物理实体中 的软件模块、硬件模块或者软硬件相结合的模块, 本发明实施例不作 具体限定。
图 5为依据本发明实施例的智能视频分析方法的流程图。该方法 包括以下步骤。
步骤 401: 利用智能视频分析 IVS算法从解码后的视频数据中获 取目标身份标识号 ID及目标位置信息; 该步骤包括:对解码后的视频数据的每帧图像利用 IVS算法分离 出目标图像和背景图像, 计算获得目标位置信息并分配目标 ID。
步骤 402: 将目标 ID及目标位置信息作为元数据进行保存; 在目标位置信息为目标坐标时, 该步骤包括:
按照每帧图像对应的帧号, 将该帧图像中包含的目标的目标 ID 及目标坐标作为元数据进行保存; 具体地, 对于同一帧图像中包含的 多个目标来说, 将该帧图像包含的不同目标的目标 ID及其目标坐标 保存于以该帧图像的同一帧号命名的文件夹下。
在目标位置信息为目标轨迹时, 该步骤包括:
步骤 4021 , 根据每帧图像对应的帧号及目标 ID, 提取第一时间 内目标 ID相同且帧号连续的多个目标的目标坐标;
步骤 4022, 根据步骤 4021 中的具有相同目标 ID的多个目标的 目标坐标, 生成与第一时间对应的目标轨迹;
步骤 4023 ,按照目标 ID, 保存目标 ID及作为目标位置信息的与 该目标 ID对应的目标轨迹。
在步骤 4023中,按照目标 ID保存元数据即为将不同时间获取的 与第一时间对应的目标轨迹保存于同一目标 ID对应的文件夹下。 步 骤 403: 根据检索条件, 判断元数据是否符合报警条件, 如果是, 执 行步骤 404 , 否则执行步骤 405;
当元数据是根据帧号存储时, 该步骤包括:
步骤 4031 , 接收并解析外部输入的检索条件, 获得预设的时间 段及报警算法 ID;
步骤 4032,根据报警算法 ID查找报警算法,根据预设的时间段, 步骤 4033 , 判断元数据包含的目标坐标是否符合报警条件, 如 果是, 则执行步骤 404, 否则执行步骤 405。
或者, 当元数据是根据目标 ID存储时, 该步骤包括:
步骤 4034, 接收并解析外部输入的检索条件, 获得待测目标的 目标 ID及^艮警算法 ID;
步骤 4035 , 根据报警算法 ID查找报警算法, 根据目标 ID读取 保存的元数据;
步骤 4036, 判断元数据包含的目标轨迹是否符合报警条件, 如 果是, 执行步骤 404, 否则执行步骤 405。
步骤 404: 生成并输出报警信息;
该步骤的报警信息至少包含报警触发时间及目标 ID。 其中, 报 警触发时间为满足报警条件的视频数据的图像采集时间。
步骤 405: 结束。
本发明的上述实施例无需每次都根据检索条件对大量的视频数 据逐一进行图像的解码、 分析和报警判断, 而是利用保存在第二存储 器上的数据库中的由大量的视频数据生成的元数据, 在每次检索时, 根据检索条件及已生成的元数据进行报警判断,避免了每次检索时都 需要对大量视频数据进行的图像的解码和分析操作;在视频监控系统 需要对大量视频数据进行分析检索的应用场合,本发明实施例提供的 智能视频分析系统较现有的智能视频分析系统能有效地降低资源消 耗, 节省视频处理所耗费的时间, 提高检索的工作效率。
通过以上的实施例的描述,本领域普通技术人员可以清楚地了解 到本发明实施例可借助软件加必需的硬件平台的方式来实现, 当然也 可以通过硬件来实现,但很多情况下前者是更佳的实施方式。基于此, 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分 流程, 是可以通过计算机程序来指令相关的硬件来完成的, 该程序可 存储于一计算机可读取存储介质中, 包括若干指令用以使得一台终端 设备(可以是手机, 个人计算机, 服务器, 或者网络设备等)执行本 发明各个实施例所述的方法。其中,所述的存储介质可为磁碟、光盘、 只读存储记忆体 ( Read-Only Memory , ROM ) 或随机存储记忆体 ( Random Access Memory, RAM ) 等。 以上所述仅为本发明的较佳 实施例而已, 并不用以限制本发明, 凡在本发明的精神和原则之内, 所做的任何修改、 等同替换、 改进等, 均应包含在本发明保护的范围 之内。

Claims

权利要求书
1、 一种智能视频分析系统, 其特征在于, 该系统包含: 多台第一存储器, 任一第一存储器用以保存视频数据; 至少一台第二存储器, 用以保存第一元数据; 所述第一元数据至 少包含第一目标身份标识号 ID及目标位置信息;
至少一台预处理服务器,任一预处理服务器对接收到的视频数据 或第一存储器保存的视频数据进行解码, 利用智能视频分析 IVS 算 法, 从解码后的视频数据中提取目标图像, 获得所述第一目标 ID及 目标位置信息, 将所述第一目标 ID及目标位置信息作为第一元数据 存储至第二存储器;
至少一台检索服务器, 任一检索服务器根据外部输入的检索条 件, 从第二存储器中查找与检索条件匹配的第二元数据, 根据预设的 报警算法, 在判定所述第二元数据符合报警条件时, 生成并输出报警 信息。
2、 根据权利要求 1所述的系统, 其特征在于, 所述预处理服务 器包含:
图像处理单元,对接收到的视频数据或第一存储器保存的视频数 据的每帧图像进行解码, 将解码后的图像输出至 IVS处理单元; 所述 IVS处理单元, 利用所述 IVS算法, 对接收到的解码后的 每帧图像包含的目标图像和背景图像进行分离,计算获得第一目标坐 标并分配所述第一目标 ID, 将所述第一目标 ID及作为目标位置信息 的所述第一目标坐标存储至第二存储器中的以具有所述第一目标 ID 的目标所在的帧图像的帧号命名的用户自定义元数据存储结构中。
3、 根据权利要求 1所述的系统, 其特征在于, 所述预处理服务 器包含:
图像处理单元,对接收到的视频数据或第一存储器保存的视频数 据的每帧图像进行解码, 将解码后的图像输出至 IVS处理单元; 所述 IVS处理单元, 利用所述 IVS算法, 对接收到的解码后的 每帧图像包含的目标图像和背景图像进行分离,计算获得第一目标坐 标并分配所述第一目标 ID, 将每帧图像对应的帧号、 所述第一目标 ID及第一目标坐标输出至轨迹生成单元;
轨迹生成单元, 根据每帧图像对应的帧号及所述第一目标 ID, 提取第一时间内都具有所述第一目标 ID 且帧号连续的多个目标坐 标, 根据所述多个目标坐标生成与第一时间对应的第一目标轨迹, 将 所述第一目标 ID及作为目标位置信息的所述第一目标轨迹存储至第 二存储器中的以所述第一目标 ID命名的用户自定义元数据存储结构 中;
其中,所述第一时间为生成所述第一目标轨迹所需数据帧对应的 时长。
4、 根据权利要求 2所述的系统, 其特征在于, 所述检索服务器 包含:
条件解析单元, 接收外部输入的检索条件, 从检索条件中提取出 预设的时间段及报警算法 ID, 输出所述预设的时间段及报警算法 ID 至报警分析单元;
所述报警分析单元, 根据所述报警算法 ID查找报警算法, 根据 所述预设的时间段从第二存储器中读取与所述预设时间段对应的帧 号所对应的第二元数据,判断所述第二元数据包含的第二目标坐标是 否符合报警条件, 如果是, 触发结果输出单元;
所述结果输出单元, 根据触发生成报警信息并输出; 所述报警信 息至少包含报警触发时间及所述第二元数据包含的第二目标 ID; 所 述报警触发时间为满足报警条件的视频数据的图像采集时间。
5、 根据权利要求 3所述的系统, 其特征在于, 所述检索服务器 包含:
条件解析单元, 接收外部输入的检索条件, 从检索条件中提取出 待测目标的第二目标 ID及4艮警算法 ID, 输出所述第二目标 ID及才艮 警算法 ID至报警分析单元;
所述报警分析单元, 根据所述报警算法 ID查找报警算法, 根据 所述第二目标 ID从第二存储器中读取与所述第二目标 ID对应的第二 元数据, 判断所述第二元数据包含的第二目标轨迹是否符合报警条 件, 如果是, 触发结果输出单元;
所述结果输出单元, 根据触发生成报警信息并输出; 所述报警信 息至少包含报警触发时间及所述第二目标 ID; 所述报警触发时间为 满足报警条件的视频数据的图像采集时间。
6、 一种智能视频分析方法, 其特征在于, 该方法包括: 解码接收到的或保存的视频数据,并利用智能视频分析 IVS算法 从解码后的视频数据中获取第一目标身份标识号 ID 及目标位置信 息, 将所述第一目标 ID及目标位置信息作为第一元数据进行保存; 解析外部输入的检索条件,从第二存储器中查找与检索条件匹配 的第二元数据, 根据预设的报警算法及所述第二元数据, 判断所述第 二元数据是否符合报警条件, 如果是, 生成并输出报警信息。
7、 根据权利要求 6所述的方法, 其特征在于, 所述利用智能视 频分析 IVS算法从解码后的视频数据中获取第一目标 ID及目标位置 信息, 包括:
对解码后的视频数据的每帧图像利用所述 IVS 算法分离出目标 图像和背景图像, 计算获得第一目标坐标并分配所述第一目标 ID。
8、 根据权利要求 7所述的方法, 其特征在于, 所述将所述第一 目标 ID及目标位置信息作为第一元数据进行保存, 包括:
保存所述第一目标 ID及作为目标位置信息的所述第一目标坐标 至以具有所述第一目标 ID的目标所在的帧图像的帧号命名的用户自 定义元数据存储结构中。
9、 根据权利要求 7所述的方法, 其特征在于, 所述将所述第一 目标 ID及目标位置信息作为第一元数据进行保存, 包括:
根据每帧图像对应的帧号及所述第一目标 ID, 提取第一时间内 都具有所述第一目标 ID且帧号连续的多个目标的目标坐标; 其中, 所述第一时间为生成第一目标轨迹所需数据帧对应的时长;
根据所述多个目标的目标坐标,生成与第一时间对应的所述第一 3标轨迹;
保存所述第一目标 ID及作为目标位置信息的所述第一目标轨迹 至以所述第一目标 ID命名的用户自定义元数据存储结构中。
10、 根据权利要求 8所述的方法, 其特征在于, 所述解析外部输 入的检索条件, 从第二存储器中查找与检索条件匹配的第二元数据, 根据预设的报警算法及所述第二元数据,判断所述第二元数据是否符 合报警条件, 如果是, 生成并输出报警信息包括:
解析外部输入的检索条件, 获得预设的时间段及报警算法 ID; 根据所述报警算法 ID查找报警算法, 根据所述预设的时间段, 判断所述第二元数据包含的第二目标坐标是否符合报警条件,如 果是, 生成并输出报警信息;
其中,所述报警信息至少包含报警触发时间及所述第二元数据包 含的第二目标 ID; 所述报警触发时间为满足报警条件的视频数据的 图像采集时间。
11、 根据权利要求 9所述的方法, 其特征在于, 所述解析外部输 入的检索条件, 从第二存储器中查找与检索条件匹配的第二元数据, 根据预设的报警算法及所述第二元数据,判断所述第二元数据是否符 合报警条件, 如果是, 生成并输出报警信息包括:
解析外部输入的检索条件, 获得待测目标的第二目标 ID及报警 算法 ID;
根据所述报警算法 ID查找报警算法,根据所述第二目标 ID读取 保存的与所述第二目标 ID对应的第二元数据;
判断所述第二元数据包含的第二目标轨迹是否符合报警条件,如 果是, 生成并输出报警信息;
其中, 所述报警信息至少包含报警触发时间及所述第二目标 ID; 所述报警触发时间为满足报警条件的视频数据的图像采集时间。
PCT/CN2013/074521 2012-06-19 2013-04-22 一种智能视频分析系统及方法 WO2013189202A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2012102072560A CN102752582A (zh) 2012-06-19 2012-06-19 一种智能视频分析系统及方法
CN201210207256.0 2012-06-19

Publications (1)

Publication Number Publication Date
WO2013189202A1 true WO2013189202A1 (zh) 2013-12-27

Family

ID=47032460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/074521 WO2013189202A1 (zh) 2012-06-19 2013-04-22 一种智能视频分析系统及方法

Country Status (2)

Country Link
CN (1) CN102752582A (zh)
WO (1) WO2013189202A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752582A (zh) * 2012-06-19 2012-10-24 杭州海康威视系统技术有限公司 一种智能视频分析系统及方法
CN108257249A (zh) * 2017-12-29 2018-07-06 广州视声光电有限公司 一种危险评估方法及行车记录仪
CN110569690B (zh) * 2018-06-06 2022-05-13 浙江宇视科技有限公司 目标信息获取方法及装置
CN110677699B (zh) * 2019-10-10 2022-03-08 上海依图网络科技有限公司 视频流和/或图片流数据的共享方法、装置及电子设备
CN113723259A (zh) * 2021-08-24 2021-11-30 罗家泳 监控视频处理方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281593A (zh) * 2008-04-16 2008-10-08 安防科技(中国)有限公司 智能视频监控事件检索方法及系统
CN101299812A (zh) * 2008-06-25 2008-11-05 北京中星微电子有限公司 视频分析和存储方法、系统,及视频检索方法、系统
CN101854516A (zh) * 2009-04-02 2010-10-06 北京中星微电子有限公司 视频监控系统、视频监控服务器及视频监控方法
CN102752582A (zh) * 2012-06-19 2012-10-24 杭州海康威视系统技术有限公司 一种智能视频分析系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100487739C (zh) * 2007-06-01 2009-05-13 北京汇大通业科技有限公司 基于智能视频监控的多层次实时预警系统
CN101436337B (zh) * 2008-12-23 2013-12-11 北京中星微电子有限公司 一种事件监测方法及装置
CN101631237B (zh) * 2009-08-05 2011-02-02 青岛海信网络科技股份有限公司 一种视频监控数据存储管理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281593A (zh) * 2008-04-16 2008-10-08 安防科技(中国)有限公司 智能视频监控事件检索方法及系统
CN101299812A (zh) * 2008-06-25 2008-11-05 北京中星微电子有限公司 视频分析和存储方法、系统,及视频检索方法、系统
CN101854516A (zh) * 2009-04-02 2010-10-06 北京中星微电子有限公司 视频监控系统、视频监控服务器及视频监控方法
CN102752582A (zh) * 2012-06-19 2012-10-24 杭州海康威视系统技术有限公司 一种智能视频分析系统及方法

Also Published As

Publication number Publication date
CN102752582A (zh) 2012-10-24

Similar Documents

Publication Publication Date Title
US11354901B2 (en) Activity recognition method and system
CN105574506B (zh) 基于深度学习和大规模集群的智能人脸追逃系统及方法
US20220092881A1 (en) Method and apparatus for behavior analysis, electronic apparatus, storage medium, and computer program
CN107392222B (zh) 一种人脸聚类方法、装置以及存储介质
CN109033440A (zh) 一种视频侦查多维轨迹分析方法
US8938092B2 (en) Image processing system, image capture apparatus, image processing apparatus, control method therefor, and program
US9471675B2 (en) Automatic face discovery and recognition for video content analysis
WO2022227490A1 (zh) 行为识别方法、装置、设备、存储介质、计算机程序及程序产品
US20210357678A1 (en) Information processing method and apparatus, and storage medium
CN109783685A (zh) 一种查询方法及装置
CN109426785B (zh) 一种人体目标身份识别方法及装置
JP2022518469A (ja) 情報処理方法および装置、記憶媒体
WO2013189202A1 (zh) 一种智能视频分析系统及方法
WO2022156234A1 (zh) 一种目标重识别方法、装置及计算机可读存储介质
WO2021212759A1 (zh) 动作识别方法、装置及电子设备
WO2014193220A2 (en) System and method for multiple license plates identification
Wang et al. Spatio-temporal point process for multiple object tracking
CN109963113B (zh) 一种感兴趣目标的监控方法及装置
CN113111838A (zh) 行为识别方法及装置、设备和存储介质
CN113239792A (zh) 一种大数据分析处理系统和方法
CN113949823A (zh) 一种视频浓缩方法及装置
CN112487082B (zh) 一种生物特征识别的方法及相关设备
CN115994781A (zh) 一种基于大数据的精准获客系统及方法
WO2023273132A1 (zh) 行为检测方法、装置、计算机设备、存储介质和程序
CN110751065B (zh) 训练数据的采集方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13807483

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 29-05-2015)

122 Ep: pct application non-entry in european phase

Ref document number: 13807483

Country of ref document: EP

Kind code of ref document: A1