WO2018223960A1 - 监控视频处理方法、装置、系统、电子终端及可读存储介质 - Google Patents

监控视频处理方法、装置、系统、电子终端及可读存储介质 Download PDF

Info

Publication number
WO2018223960A1
WO2018223960A1 PCT/CN2018/089963 CN2018089963W WO2018223960A1 WO 2018223960 A1 WO2018223960 A1 WO 2018223960A1 CN 2018089963 W CN2018089963 W CN 2018089963W WO 2018223960 A1 WO2018223960 A1 WO 2018223960A1
Authority
WO
WIPO (PCT)
Prior art keywords
video image
structured
preset target
preset
query condition
Prior art date
Application number
PCT/CN2018/089963
Other languages
English (en)
French (fr)
Inventor
张赟龙
党晓斌
肖可伟
吴将
陈瑞军
Original Assignee
北京深瞐科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京深瞐科技有限公司 filed Critical 北京深瞐科技有限公司
Publication of WO2018223960A1 publication Critical patent/WO2018223960A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Definitions

  • the present application relates to the technical field of image processing, and in particular, to a monitoring video processing method, apparatus, system, electronic terminal, and readable storage medium.
  • the purpose of the present application is to provide a monitoring video processing method, apparatus, system, electronic terminal, and readable storage medium to solve the technical problem of low image feature extraction accuracy in the prior art.
  • the embodiment of the present application provides a monitoring video processing method, including:
  • the identified structured video images are classified and stored.
  • the embodiment of the present application provides a first possible implementation manner of the first aspect, wherein after identifying the identified preset target, the method further includes:
  • the copied preset target is identified.
  • the embodiment of the present application provides the second possible implementation manner of the first aspect, wherein the preset target of the structured video image of each frame is The step of copying to one side of the structured video image of the frame includes:
  • a predetermined target of the structured video image of each frame is copied to the left, right, bottom or upper portion of the structured video image of the frame.
  • the embodiment of the present application provides a third possible implementation manner of the first aspect, where the classified structured video image is classified and stored, including:
  • the identified structured video image is stored to the preset database.
  • the embodiment of the present application provides a fourth possible implementation manner of the first aspect, wherein after the classified structured video image is classified and stored, the method further includes:
  • the query condition includes a feature value of a preset target object, or association information of the feature value
  • the embodiment of the present application provides the fifth possible implementation manner of the first aspect, wherein the step of arranging the search results according to the similarity includes:
  • the search results are arranged in descending order according to the similarity.
  • the embodiment of the present application provides the sixth possible implementation manner of the first aspect, wherein the contour of the preset target of the structured video image includes the identifier information, And the step of searching, in the preset database, the identified structured video image that carries the preset target that matches the query condition, including:
  • the embodiment of the present application provides the seventh possible implementation manner of the first aspect, wherein the searching in the preset database carries the query condition
  • the step of matching the identified structured video image of the preset target object further includes:
  • the feature value associated with the query condition is obtained according to the association information
  • the embodiment of the present application provides the eighth possible implementation manner of the first aspect, wherein the query condition is a text description, a code, or a feature picture.
  • the embodiment of the present application provides the ninth possible implementation manner of the first aspect, wherein, when the query condition is the feature image, the After the structured video image classification is stored, the following steps are also included:
  • the embodiment of the present application further provides a monitoring video processing device, including:
  • a video image acquisition and decoding module configured to acquire a video image and decode the video image into an RGB video image
  • the video image structuring module is configured to perform structured processing on the RGB video image to generate a structured video image, where the structured video image includes a contour of the preset target and a feature value corresponding to the contour of the preset target;
  • a preset target recognition module configured to perform preset target recognition on the structured video image frame by frame according to the feature value
  • a preset target identification module configured to identify the identified preset target
  • the classification storage module is configured to classify and store the identified structured video images.
  • the embodiment of the present application provides the first possible implementation manner of the second aspect, wherein the classification storage module is specifically configured to determine whether the identifier of the structured video image after each frame identifier includes a preset. Characteristic information of the database;
  • the identified structured video image is stored to the preset database.
  • the embodiment of the present application provides the second possible implementation manner of the second aspect, further including:
  • the query condition receiving module is configured to receive a query condition, where the query condition includes a feature value of the preset target object, or association information of the feature value;
  • a search module configured to search, in the preset database, a structured video image that carries an identifier of a preset target that matches the query condition
  • a display module configured to rank search results by similarity.
  • the embodiment of the present application further provides a monitoring video processing system, including: a camera, and the above-mentioned monitoring video processing device;
  • the camera is configured to acquire a video image
  • the surveillance video processing device is configured to store and query video images.
  • an embodiment of the present application further provides an electronic terminal, including a memory and a processor;
  • the monitoring video processing method as described above is implemented when the processor executes the computer program.
  • the embodiment of the present application further provides a readable storage medium, where the readable storage medium stores program code executable by a processor, where the program code is configured to cause the processor to execute as described above. Monitoring video processing methods.
  • the monitoring video processing method decodes the video image into an RGB video image, and performs structural processing on the RGB video image, where the structured video image includes a contour of the preset target and a feature value corresponding to the contour;
  • the feature value identifies the preset target object frame by frame for the structured video image, and identifies the recognized preset object, and after structuring the video, the preset target object is identified by the feature value, and the operation speed is fast.
  • the identification accuracy is high; the structured video images after the identification are classified and stored, thereby improving the query speed of the preset target.
  • FIG. 1 is a flowchart of a method for processing a surveillance video according to Embodiment 1 of the present application;
  • FIG. 2 is a flowchart of another implementation manner of a monitoring video processing method according to Embodiment 1 of the present application;
  • FIG. 3 is a flowchart of still another embodiment of a method for processing a surveillance video according to Embodiment 1 of the present application;
  • FIG. 4 is a schematic diagram of a monitoring video processing apparatus according to Embodiment 2 of the present application.
  • FIG. 5 is a schematic diagram of another embodiment of a monitoring video processing apparatus according to Embodiment 2 of the present application.
  • FIG. 6 is a schematic diagram of a surveillance video processing system according to Embodiment 3 of the present application.
  • Icons 1-monitoring video processing device; 11-video image acquisition and decoding module; 12-video image structuring module; 13-preset target recognition module; 14-preset target identification module; 15-class storage module; 16-Query condition receiving module; 17-search module; 18-display module; 2-camera.
  • the current image feature extraction accuracy is low and the operation complexity is high. Based on this, the monitoring video processing method, device, system, electronic terminal and readable storage medium provided by the embodiments of the present application can reduce computational complexity and improve The accuracy of the identification of the target.
  • the embodiment provides a monitoring video processing method.
  • the execution subject is a monitoring video processing device.
  • the device includes a processor, a receiver, and a decoder.
  • the method includes the following steps:
  • the processor acquires a surveillance video image captured by the camera and decodes the video image into a video image of the RGB mode through the decoder.
  • RGB mode is a color standard in the industry. Through the changes of the three color channels of red (R), green (G), and blue (B) and their superposition with each other, various colors are obtained. RGB It represents the color of the three channels of red, green and blue. This standard covers almost all colors that human vision can perceive.
  • the step of decoding the video image into the RGB mode video image by the processor includes: starting a plurality of threads to decode the video image in the task, providing the prompt information when the number of threads reaches the upper limit, and entering the waiting execution state, and continuing when the thread is idle. task.
  • the video image with thread execution rights enters the video decoding module and decodes the video image into standard RGB mode.
  • the processor performs structuring on the RGB video image, and circles the preset target contour in the video image, and simultaneously generates feature values of each preset target object, and different feature values of different preset objects are different.
  • the RGB video image can be processed by using target detection, object recognition, depth learning and other analysis means to extract target objects and motion trajectories in RGB video images; classify target objects to obtain targets of different categories; further extraction
  • the high-level structured attribute features of the target including the target color feature, classification feature, velocity feature, etc., and the target trajectory information and high-level features form efficient index data for structural retrieval, so that the outline of the target object can be obtained.
  • the processor identifies, according to the feature value, a preset target corresponding to the preset target contour in each frame of the structured video image.
  • the processor may directly identify the preset target in the original structured video image; or copy the preset target of the structured video image to one side of the frame structured video image, and then copy the pre-target Set the target for identification. When used, you can copy the preset target to the left, right, bottom and top of the structured video image.
  • the processor classifies the identified structured video image into a preset database, and preferably stores the identified structured video image by using the following steps:
  • the identified structured video image is stored to the preset database.
  • the speed of searching for a preset object in the structured video image can be greatly improved.
  • step S15 the processor further performs the following steps:
  • the processor receives the query condition input by the user through the receiver, and the query condition may be a textual description, a code, or a feature picture, and any one of the query conditions includes a feature value of the preset target object, or a feature value. Associated information. If the query condition includes association information of the feature value, the association value is first associated with the feature value.
  • the preset target object in the structured video image stored in the monitoring video processing device contains the identification information, and the processor may query the video image of the preset target according to the matching degree between the query condition and the identification information.
  • the processor When the query condition includes the association information of the feature value, the processor first obtains the feature value associated with the query condition according to the association information, and then searches for the related structured video image in the video processing device through the feature value search.
  • the processor first determines which of the preset video databases of the video processing device to be searched for is stored in the monitoring video processing device according to the query condition, and then searches for the related structured video image by the feature value in the preset database.
  • the processor preferably arranges the feature value information carried according to the query condition and the similarity degree of the feature value information associated with the identifier information, and is preferably arranged in descending order of similarity.
  • step S15 the processor further performs the following steps:
  • the processor receives the feature image uploaded by the user through the receiver.
  • the processor circles the preset target contours in the feature image, and generates feature values of each preset target object, and the feature values of different preset target objects are different.
  • the search results are arranged according to the similarity.
  • the search results may be arranged in descending order according to the similarity.
  • the embodiment provides a monitoring video processing device, including a video image acquiring and decoding module 11, a video image structuring module 12, a preset target recognition module 13, a preset target identification module 14, and The classification storage module 15, the video image acquisition and decoding module 11 is configured to acquire a video image and decode the video image into an RGB video image; the video image structuring module 12 is configured to perform structured processing on the RGB video image to generate a structured video image.
  • the structured video image includes a contour of the preset target and a feature value corresponding to the contour of the preset target; the preset target recognition module 13 is configured to perform preset target recognition on the structured video image frame by frame by the feature value.
  • the preset target identification module 14 is configured to identify the identified preset target; the classification storage module 15 is configured to classify and store the identified structured video image.
  • the classification storage module 15 in this embodiment is specifically configured to determine whether the identifier of the structured video image after each frame identifier includes the feature information of the preset database, wherein the preset database has multiple; if yes, the identifier is The structured video image is stored to the preset database.
  • the method further includes: a query condition receiving module 16, a search module 17, and a display module 18.
  • the query condition receiving module 16 is configured to receive a query condition, and the query condition includes a preset.
  • the search module 17 is configured to search the preset database for the structured video image carrying the identifier of the preset target that matches the query condition;
  • the display module 18 is configured to Search results are ranked by similarity.
  • the monitoring video processing device provided in the embodiment of the present application has the same technical features as the monitoring video processing method provided in the foregoing embodiment, so that the same technical problem can be solved and the same technical effect can be achieved.
  • the embodiment provides a surveillance video processing system, including: a camera 2, and a surveillance video processing device 1 as described in Embodiment 2; the camera 2 is configured to acquire a video image; and the surveillance video processing device 1 Configuring to store and query the video image.
  • the computer program product of the monitoring video processing method, apparatus and system provided by the embodiments of the present application comprising a readable storage medium storing program code, the program code comprising instructions configurable to execute the method described in the foregoing method embodiment
  • the program code comprising instructions configurable to execute the method described in the foregoing method embodiment
  • the terms “installation”, “connected”, and “connected” are to be understood broadly, and may be a fixed connection or a detachable connection, unless explicitly stated and defined otherwise. , or connected integrally; may be mechanical connection or electrical connection; may be directly connected, or may be indirectly connected through an intermediate medium, and may be internal communication between the two elements.
  • installation may be a fixed connection or a detachable connection, unless explicitly stated and defined otherwise.
  • connected integrally may be mechanical connection or electrical connection; may be directly connected, or may be indirectly connected through an intermediate medium, and may be internal communication between the two elements.
  • the functions may be stored in a computer readable storage medium if implemented in the form of a software functional unit and sold or used as a standalone product.
  • the technical solution of the present application which is essential or contributes to the prior art, or a part of the technical solution, may be embodied in the form of a software product, which is stored in a storage medium, including
  • the instructions are used to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present application.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like. .
  • the computational complexity of the surveillance video processing can be reduced, and the identification accuracy of the target object can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种监控视频处理方法、装置、系统、电子终端及可读存储介质，涉及图像处理的技术领域，其中，一种监控视频处理方法，包括：获取视频图像，并将所述视频图像解码为RGB视频图像；对所述RGB视频图像进行结构化处理生成结构化视频图像，所述结构化视频图像包括预设目标物的轮廓，以及与所述轮廓对应的特征值；通过特征值对所述结构化视频图像逐帧进行预设目标物的识别；对识别出的预设目标物进行标识；将标识后的结构化视频图像分类储存，解决了现有技术中存在的视频图像特征提取准确率低的技术问题，达到了提高视频图像特征提取准确率的技术效果。

Description

监控视频处理方法、装置、系统、电子终端及可读存储介质
相关申请的交叉引用
本申请要求于2017年6月8日提交中国专利局的申请号为2017104297326，名称为“监控视频处理方法、装置及系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理的技术领域，尤其是涉及一种监控视频处理方法、装置、系统、电子终端及可读存储介质。
背景技术
现有的视频处理技术大多采用图像特征检测的传统方法，针对不同的特征需要选择不同的提取方法，如常用的基于颜色特征的颜色直方图或基于纹理的灰度共生矩阵和小波变换等。由于原始特征可能维数很高，或包含大量的冗余特征和无关特征，会使后续算法计算复杂度变得很高，并且伴随着准确率低下的问题，而且检出物的具体属性信息也很难获取。
发明内容
有鉴于此，本申请的目的包括，提供一种监控视频处理方法、装置、系统、电子终端及可读存储介质，以解决现有技术中存在的图像特征提取准确率低的技术问题。
第一方面，本申请实施例提供了一种监控视频处理方法，包括：
获取视频图像，并将视频图像解码为RGB视频图像；
对RGB视频图像进行结构化处理生成结构化视频图像，结构化视频图像包括预设目标物的轮廓，以及与轮廓对应的特征值；
通过特征值对结构化视频图像逐帧进行预设目标物的识别；
对识别出的预设目标物进行标识；
将标识后的结构化视频图像分类储存。
结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，对识别出的预设目标物进行标识之后，还包括：
将每一帧结构化视频图像的预设目标物复制至该帧结构化视频图像的一侧；
对复制的预设目标物进行标识。
结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述将每一帧所述结构化视频图像的预设目标物复制至该帧所述结构化视频图像的一侧的步骤，包括：
将每一帧所述结构化视频图像的预设目标物复制至该帧所述结构化视频图像的左侧、右侧、底部或上部。
结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，将标识后的结构化视频图像分类储存，包括：
判断每一帧标识后的结构化视频图像的标识是否包括某一预设数据库的特征信息；
若是，则将标识后的结构化视频图像存储至该预设数据库。
结合第一方面的第三种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，将标识后的结构化视频图像分类储存之后，还包括：
接收查询条件，查询条件包括预设目标物的特征值，或者特征值的关联信息；
在预设数据库中搜索携带有与查询条件匹配的预设目标物的标识后的结构化视频图像；
将搜索结果按照相似度进行排列。
结合第一方面的第四种可能的实施方式，本申请实施例提供了第一方面的第五种可能的实施方式，其中，所述将搜索结果按照相似度进行排列的步骤，包括：
将所述搜索结果按照所述相似度进行降序排列。
结合第一方面的第四种可能的实施方式，本申请实施例提供了第一方面的第六种可能的实施方式，其中，所述结构化视频图像的预设目标物的轮廓含有标识信息，所述在所述预设数据库中搜索携带有与所述查询条件匹配的预设目标物的所述标识后的结构化视频图像的步骤，包括：
根据所述查询条件与所述标识信息的匹配度在所述预设数据库中搜索携带有所述预设目标物的所述标识后的结构化视频图像。
结合第一方面的第四种可能的实施方式，本申请实施例提供了第一方面的第七种可能的实施方式，其中，所述在所述预设数据库中搜索携带有与所述查询条件匹配的预设目标物的所述标识后的结构化视频图像的步骤，还包括：
当所述查询条件包括特征值的关联信息时，根据所述关联信息求取所述查询条件关联的特征值；
在所述预设数据库中搜索携带有与所述特征值匹配的所述预设目标物的所述标识后的结构化视频图像。
结合第一方面，本申请实施例提供了第一方面的第八种可能的实施方式，其中，所述查询条件为文字描述、代码或特征图片。
结合第一方面的第八种可能的实施方式，本申请实施例提供了第一方面的第九种可能的实施方式，其中，当所述查询条件为所述特征图片时，所述将标识后的结构化视频图像分类储存之后，还包括以下步骤：
接收上传的特征图片；
对特征图片进行结构化处理；
提取结构化处理后的特征图片的预设目标物的特征值；
在预设数据库中搜索携带有与特征值匹配的标识后的结构化视频图像；
将搜索结果按照相似度进行排列。
第二方面，本申请实施例还提供了一种监控视频处理装置，包括：
视频图像获取与解码模块，配置成获取视频图像，并将视频图像解码为RGB视频图像；
视频图像结构化模块，配置成对RGB视频图像进行结构化处理生成结构化视频图像，结构化视频图像包括预设目标物的轮廓，以及与预设目标物的轮廓对应的特征值；
预设目标物识别模块，配置成通过特征值对结构化视频图像逐帧进行预设目标物识别；
预设目标物标识模块，配置成对识别出的预设目标物进行标识；
分类存储模块，配置成将标识后的结构化视频图像分类储存。
结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，分类存储模块具体配置成判断每一帧标识后的结构化视频图像的标识是否包括某一预设数据库的特征信息；
若是，则将标识后的结构化视频图像存储至该预设数据库。
结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第二种可能的实施方式，其中，还包括：
查询条件接收模块，配置成接收查询条件，查询条件包括预设目标物的特征值，或者特征值的关联信息；
搜索模块，配置成在预设数据库中搜索携带有与查询条件匹配的预设目标物的标识后的结构化视频图像；
显示模块，配置成将搜索结果按照相似度进行排列。
第三方面，本申请实施例还提供了一种监控视频处理系统，包括：摄像头，以及上述的监控视频处理装置；
摄像头配置成获取视频图像；
监控视频处理装置配置成对视频图像进行存储和查询。
第四方面，本申请实施例还提供了一种电子终端，包括存储器和处理器；
所述存储器中存储有可在所述处理器上运行的计算机程序；
所述处理器执行所述计算机程序时实现如上所述的监控视频处理方法。
第五方面，本申请实施例还提供了一种可读存储介质，所述可读存储介质存储有处理器可执行的程序代码，所述程序代码被配置成使所述处理器执行如上所述的监控视频处理方法。
本申请实施例带来了以下有益效果：
本实施例提供的监控视频处理方法将视频图像解码为RGB视频图像，对RGB视频图像进行结构化处理，结构化视频图像包括预设目标物的轮廓，以及与所述轮廓对应的特征值；通过特征值对结构化视频图像逐帧进行预设目标物的识别，并对对识别出的预设目标物进行标识，将视频结构化后，再通过特征值标识预设目标物，运算速度快，标识准确率高；将标识后的结构化视频图像分类储存，从而提高了预设目标物的查询速度。
本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见 地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例1提供的监控视频处理方法的流程图；
图2为本申请实施例1提供的监控视频处理方法的另一种实施方式的流程图；
图3为本申请实施例1提供的监控视频处理方法的又一种实施方式的流程图；
图4为本申请实施例2提供的监控视频处理装置的示意图；
图5为本申请实施例2提供的监控视频处理装置的另一种实施方式的示意图；
图6为本申请实施例3提供的监控视频处理系统的示意图。
图标：1-监控视频处理装置；11-视频图像获取与解码模块；12-视频图像结构化模块；13-预设目标物识别模块；14-预设目标物标识模块；15-分类存储模块；16-查询条件接收模块；17-搜索模块；18-显示模块；2-摄像头。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前的图像特征提取准确率低、运算复杂度较高，基于此，本申请实施例提供的一种监控视频处理方法、装置、系统、电子终端及可读存储介质，可以降低运算复杂度，提高目标物的标识准确度。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种监控视频处理方法、装置及系统。
实施例1
如图1所示，本实施例提供了一种监控视频处理方法，执行主体为监控视频处理装置，该装置包括处理器、接收器、解码器，方法包括以下步骤：
S11.获取视频图像，并将视频图像解码为RGB视频图像。
具体地，处理器获取摄像头拍摄的监控视频图像，并通过解码器将视频图像解码为RGB模式的视频图像。RGB模式是工业界的一种颜色标准，通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色，RGB即代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色。
处理器将视频图像解码为RGB模式的视频图像的步骤包括：启动多个线程来解码任务中的视频图像，线程数到达上限时提供提示信息，并进入等待执行状态，当有线程空闲时继续进行任务。拥有线程执行权的视频图像进入视频解码模块，将视频图像解码为标准RGB模式。S12.对RGB视频图像进行结构化处理生成结构化视频图像，结构化视频图像包括预设目标物的轮廓，以及与轮廓对应的特征值。
处理器对RGB视频图像进行结构化处理，将视频图像中的预设目标物轮廓圈出来，同时生成每一个预设目标物的特征值，且不同预设目标物的特征值不同。具体地，对RGB视频图像进行结构化处理可以采用目标检测、对象识别、深度学习等分析手段提取RGB视频图像中的目标对象及运动轨迹；对目标对象进行分类，得到不同类别的目标；进一步提取目标的高层结构化属性特征，包括目标颜色特征、分类特征、速度特征等，并把目标的轨迹信息以及高层特征形成高效的索引数据进行结构化检索，从而可以得到目标对象的轮廓。通过上述处理方式可以得到视频图像中的预设目标物的轮廓，进而将预设目标物的轮廓圈出来。
S13.通过特征值对结构化视频图像逐帧进行预设目标物的识别。
本步骤中，处理器根据特征值识别每一帧结构化视频图像中的预设目标物轮廓对应的预设目标物。
S14.对识别出的预设目标物进行标识。
本步骤中，处理器可以直接在原结构化视频图像中对预设目标物进行标识；也可以将结构化视频图像的预设目标复制至该帧结构化视频图像的一侧，然后对复制的预设目标进行标识，具体使用时，可以将预设目标物复制至结构化视频图像的左侧、右侧、底部和上部。
S15.将标识后的结构化视频图像分类储存。
本实施例中，处理器将标识后的结构化视频图像分类储存至预设数据库中，优选通过以下步骤将标识后的结构化视频图像分类储存：
判断每一帧标识后的结构化视频图像的标识是否包括某一预设数据库的特征信息；
若是，则将标识后的结构化视频图像存储至该预设数据库。
通过本步骤所述的分类存储，可以大大提高在结构化视频图像中搜索预设目标物的速度。
如图2所示，作为本实施例的另一种实施方式，步骤S15之后，处理器还执行以下步骤：
S16.接收查询条件，查询条件包括预设目标物的特征值，或者特征值的关联信息。
具体地，处理器通过接收器接收用户输入的查询条件，查询条件可以是文字性描述、代码或是特征图片，无论哪一种查询条件，均包括预设目标物的特征值，或者特征值的关联信息。若查询条件包括特征值的关联信息，则首先通过关联信息关联至特征值。
S17.在预设数据库中搜索携带有与查询条件匹配的预设目标物的标识后的结构化视频图像。
监控视频处理装置中存储的结构化视频图像中的预设目标物轮廓含有标识信息，处理器可以根据查询条件与标识信息的匹配度查询预设目标物的视频图像。
当查询条件包括特征值的关联信息时，处理器先根据关联信息求取查询条件关联的特征值，然后通过特征值搜索监控视频处理装置中的相关结构化视频图像。
优选地，处理器先根据查询条件确定要搜索的结构化视频图像存储在监控视频处理装置中的哪一个预设数据库，然后在此预设数据库中通过特征值搜索相关结构化视频图像。
S18.将搜索结果按照相似度进行排列。
本步骤中，处理器优选按照查询条件携带的特征值信息与标识信息关联的特征值信息的相似度进行排列，优选按照相似度的降序排列。
如图3所示，作为本实施例的另一种实施方式，当查询条件为特征图片时，在步骤S15之后，处理器还执行以下步骤：
S19，接收上传的特征图片；
具体地，处理器通过接收器接收用户上传的特征图片。
S20，对特征图片进行结构化处理；
S21，提取结构化处理后的特征图片的预设目标物的特征值；
具体地，处理器将特征图片中的预设目标物轮廓圈出来，同时生成每一个预设目标物的特征值，且不同预设目标物的特征值不同。
S22，在预设数据库中搜索携带有与特征值匹配的预设目标物的标识后的结构化视频图像；
S23，将搜索结果按照相似度进行排列。
具体地，可以将搜索结果按照相似度进行降序排列。
实施例2
如图3所示，本实施例提供了一种监控视频处理装置，包括视频图像获取与解码模块11、视频图像结构化模块12、预设目标物识别模块13、预设目标物标识模块14和分类存储模块15，视频图像获取与解码模块11配置成获取视频图像，并将视频图像解码为RGB视频图像；视频图像结构化模块12配置成对RGB视频图像进行结构化处理生成结构化视频图像，结构化视频图像包括预设目标物的轮廓，以及与预设目标物的轮廓对应的特征值；预设目标物识别模块13配置成通过特征值对结构化视频图像逐帧进行预设目标物识别；预设目标物标识模块14配置成对识别出的预设目标物进行标识；分类存储模块15配置成将标识后的结构化视频图像分类储存。
本实施例中的分类存储模块15具体配置成判断每一帧标识后的结构化视频图像的标识是否包括预设数据库的特征信息，其中，预设数据库有多个；若是，则将标识后的结构化视频图像存储至该预设数据库。
如图4所示，作为本实施例的另一种实施方式，还包括：查询条件接收模块16、搜索模块17和显示模块18，查询条件接收模块16配置成接收查询条件，查询条件包括预设目标物的特征值，或者特征值的关联信息；搜索模块17配置成在预设数据库中搜索携带有与查询条件匹配的预设目标物的标识后的结构化视频图像；显示模块18配置成将搜索结果按照相似度进行排列。
本申请实施例提供的监控视频处理装置，与上述实施例提供的监控视频处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
实施例3
如图5所示，本实施例提供了一种监控视频处理系统，包括：摄像头2，以及如实施例2所述的监控视频处理装置1；摄像头2配置成获取视频图像；监控视频处理装置1配置成对所述视频图像进行存储和查询。
本申请实施例所提供的监控视频处理方法、装置及系统的计算机程序产品，包括存储了程序代码的可读存储介质，所述程序代码包括的指令可配置成执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本申请实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为 对本申请的限制。此外，术语“第一”、“第二”、“第三”仅配置成描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
工业实用性：
通过应用本申请的技术方案，可以降低监控视频处理的运算复杂度，提高目标物的标识准确度。

Claims (16)

  1. 一种监控视频处理方法，其特征在于，包括：
    获取视频图像，并将所述视频图像解码为RGB视频图像；
    对所述RGB视频图像进行结构化处理生成结构化视频图像，所述结构化视频图像包括预设目标物的轮廓，以及与所述轮廓对应的特征值；
    通过所述特征值对所述结构化视频图像逐帧进行预设目标物的识别；
    对识别出的预设目标物进行标识；
    将标识后的结构化视频图像分类储存。
  2. 根据权利要求1所述的监控视频处理方法，其特征在于，所述对识别出的预设目标物进行标识之后，还包括：
    将每一帧所述结构化视频图像的预设目标物复制至该帧所述结构化视频图像的一侧；
    对复制的所述预设目标物进行标识。
  3. 根据权利要求2所述的监控视频处理方法，其特征在于，所述将每一帧所述结构化视频图像的预设目标物复制至该帧所述结构化视频图像的一侧的步骤，包括：
    将每一帧所述结构化视频图像的预设目标物复制至该帧所述结构化视频图像的左侧、右侧、底部或上部。
  4. 根据权利要求2所述的监控视频处理方法，其特征在于，所述将标识后的结构化视频图像分类储存，包括：
    判断每一帧所述标识后的结构化视频图像的标识是否包括某一预设数据库的特征信息；
    若是，则将所述标识后的结构化视频图像存储至该预设数据库。
  5. 根据权利要求4所述的监控视频处理方法，其特征在于，将标识后的结构化视频图像分类储存之后，还包括：
    接收查询条件，所述查询条件包括预设目标物的特征值，或者特征值的关联信息；
    在所述预设数据库中搜索携带有与所述查询条件匹配的预设目标物的所述标识后的结构化视频图像；
    将搜索结果按照相似度进行排列。
  6. 根据权利要求5所述的监控视频处理方法，其特征在于，所述将搜索结果按照相似度进行排列的步骤，包括：
    将所述搜索结果按照所述相似度进行降序排列。
  7. 根据权利要求5所述的监控视频处理方法，其特征在于，所述结构化视频图像的预设目标物的轮廓含有标识信息，所述在所述预设数据库中搜索携带有与所述查询条件匹配的预设目标物的所述标识后的结构化视频图像的步骤，包括：
    根据所述查询条件与所述标识信息的匹配度在所述预设数据库中搜索携带有所述预设目标物的所述标识后的结构化视频图像。
  8. 根据权利要求5所述的监控视频处理方法，其特征在于，所述在所述预设数据库中搜索携带有与所述查询条件匹配的预设目标物的所述标识后的结构化视频图像的步骤，还包括：
    当所述查询条件包括特征值的关联信息时，根据所述关联信息求取所述查询条件关联的特征值；
    在所述预设数据库中搜索携带有与所述特征值匹配的所述预设目标物的所述标识后的结构化视频图像。
  9. 根据权利要求5至8任一项所述的监控视频处理方法，其特征在于，
    所述查询条件为文字描述、代码或特征图片。
  10. 根据权利要求9所述的监控视频处理方法，其特征在于，当所述查询条件为所述特征图片时，所述将标识后的结构化视频图像分类储存之后，还包括以下步骤：
    接收上传的所述特征图片；
    对所述特征图片进行结构化处理；
    提取结构化处理后的特征图片的预设目标物的特征值；
    在所述预设数据库中搜索携带有与所述特征值匹配的所述标识后的结构化视频图像；
    将搜索结果按照相似度进行排列。
  11. 一种监控视频处理装置，其特征在于，包括：
    视频图像获取与解码模块，配置成获取视频图像，并将所述视频图像解码为RGB视频图像；
    视频图像结构化模块，配置成对所述RGB视频图像进行结构化处理生成结构化视频图像，所述结构化视频图像包括预设目标物的轮廓，以及与所述轮廓对应的特征值；
    预设目标物识别模块，配置成通过特征值对所述结构化视频图像逐帧进行预设目标物识别；
    预设目标物标识模块，配置成对识别出的预设目标物进行标识；
    分类存储模块，配置成将标识后的结构化视频图像分类储存。
  12. 根据权利要求11所述的监控视频处理装置，其特征在于，所述分类存储模块具体配置成判断每一帧所述标识后的结构化视频图像的标识是否包括某一预设数据库的特征信息；
    若是，则将所述标识后的结构化视频图像存储至该预设数据库。
  13. 根据权利要求12所述的监控视频处理装置，其特征在于，还包括：
    查询条件接收模块，配置成接收查询条件，所述查询条件包括预设目标物的特征值，或者特征值的关联信息；
    搜索模块，配置成在所述预设数据库中搜索携带有与所述查询条件匹配的预设目标物的所述标识后的结构化视频图像；
    显示模块，配置成将搜索结果按照相似度进行排列。
  14. 一种监控视频处理系统，其特征在于，包括：摄像头，以及如权利要求11-13任一项所述的监控视频处理装置；
    所述摄像头配置成获取视频图像；
    所述监控视频处理装置配置成对所述视频图像进行存储和查询。
  15. 一种电子终端，其特征在于，包括存储器和处理器；
    所述存储器中存储有可在所述处理器上运行的计算机程序；
    所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述的监控视频处理方法。
  16. 一种可读存储介质，其特征在于，所述可读存储介质存储有处理器可执行的程序代码，所述程序代码被配置成使所述处理器执行所述权利要求1至10任一项所述的监控视频处理方法。
PCT/CN2018/089963 2017-06-08 2018-06-05 监控视频处理方法、装置、系统、电子终端及可读存储介质 WO2018223960A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710429732.6A CN107203638B (zh) 2017-06-08 2017-06-08 监控视频处理方法、装置及系统
CN201710429732.6 2017-06-08

Publications (1)

Publication Number Publication Date
WO2018223960A1 true WO2018223960A1 (zh) 2018-12-13

Family

ID=59907375

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/089963 WO2018223960A1 (zh) 2017-06-08 2018-06-05 监控视频处理方法、装置、系统、电子终端及可读存储介质

Country Status (2)

Country Link
CN (1) CN107203638B (zh)
WO (1) WO2018223960A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203638B (zh) * 2017-06-08 2020-09-25 北京深瞐科技有限公司 监控视频处理方法、装置及系统
CN108984799A (zh) * 2018-08-21 2018-12-11 北京深瞐科技有限公司 一种视频数据处理方法及装置
CN109271949A (zh) * 2018-09-28 2019-01-25 中国科学院长春光学精密机械与物理研究所 多谱段图像数据提取方法、装置、设备及可读存储介质
CN110597114A (zh) * 2019-09-04 2019-12-20 上海新储集成电路有限公司 一种监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110235925A1 (en) * 2007-06-25 2011-09-29 Masaya Itoh Image monitoring system
CN103577812A (zh) * 2013-11-22 2014-02-12 昆山视杰维光电科技有限公司 一种目标物识别系统及方法
CN106454229A (zh) * 2016-09-27 2017-02-22 成都理想境界科技有限公司 一种监测方法、摄像装置和图像处理设备和监测系统
CN107203638A (zh) * 2017-06-08 2017-09-26 北京深瞐科技有限公司 监控视频处理方法、装置及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794384B (zh) * 2010-03-12 2012-04-18 浙江大学 基于人体轮廓图提取与分组运动图查询的投篮动作识别
CN102207966B (zh) * 2011-06-01 2013-07-10 华南理工大学 基于对象标签的视频内容快速检索方法
CN102543125B (zh) * 2012-01-17 2016-01-20 中兴通讯股份有限公司 一种基于视频识别技术提供增值服务的方法及系统
CN103916626A (zh) * 2013-01-05 2014-07-09 中兴通讯股份有限公司 一种监控录像信息提供方法、装置及视频监控系统
KR20140122952A (ko) * 2013-04-11 2014-10-21 삼성전자주식회사 이미지 합성 방법 및 이를 구현하는 전자 장치
CN103500230A (zh) * 2013-10-25 2014-01-08 苏州千视通信科技有限公司 基于样本图像的视频检索方法
CN103778261A (zh) * 2014-03-04 2014-05-07 福建瑞恒信息技术有限公司 一种基于移动云计算图像识别的自助导游方法及系统
CN106557760A (zh) * 2016-11-28 2017-04-05 江苏鸿信系统集成有限公司 一种基于视频识别技术的图像画面检索过滤监控系统
CN106777334A (zh) * 2017-01-12 2017-05-31 珠海格力电器股份有限公司 一种照片分类存储方法、装置及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110235925A1 (en) * 2007-06-25 2011-09-29 Masaya Itoh Image monitoring system
CN103577812A (zh) * 2013-11-22 2014-02-12 昆山视杰维光电科技有限公司 一种目标物识别系统及方法
CN106454229A (zh) * 2016-09-27 2017-02-22 成都理想境界科技有限公司 一种监测方法、摄像装置和图像处理设备和监测系统
CN107203638A (zh) * 2017-06-08 2017-09-26 北京深瞐科技有限公司 监控视频处理方法、装置及系统

Also Published As

Publication number Publication date
CN107203638B (zh) 2020-09-25
CN107203638A (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
US20240070214A1 (en) Image searching method and apparatus
US9367756B2 (en) Selection of representative images
CN108460389B (zh) 一种识别图像中对象的类型预测方法、装置及电子设备
WO2018223960A1 (zh) 监控视频处理方法、装置、系统、电子终端及可读存储介质
US9875303B2 (en) System and process for building a catalog using visual objects
US9720934B1 (en) Object recognition of feature-sparse or texture-limited subject matter
JP6188954B2 (ja) コンテンツベースの画像検索
US20170351934A1 (en) Object recognition device, object recognition method, and program
CN104537341B (zh) 人脸图片信息获取方法和装置
US20230029323A1 (en) Visual Recognition Using User Tap Locations
WO2019080411A1 (zh) 电子装置、人脸图像聚类搜索方法和计算机可读存储介质
CN111797653A (zh) 基于高维图像的图像标注方法和装置
CA2871512A1 (en) Method for binary classification of a query image
WO2016139964A1 (ja) 注目領域抽出装置および注目領域抽出方法
CN107533547B (zh) 产品索引编排方法及其系统
US8655016B2 (en) Example-based object retrieval for video surveillance
CN112000024A (zh) 用于控制家电设备的方法及装置、设备
JP6377917B2 (ja) 画像検索装置及び画像検索プログラム
JP4824820B2 (ja) 語彙表現による画像管理
KR101758869B1 (ko) 멀티미디어 콘텐츠 분류장치 및 이를 이용한 분류방법
CN112069331A (zh) 一种数据处理、检索方法、装置、设备及存储介质
US20150026013A1 (en) System and methods for cognitive visual product search
US10956493B2 (en) Database comparison operation to identify an object
Sangeetha et al. An Enhanced Triadic Color Scheme for Content‐Based Image Retrieval
JP2015187770A (ja) 画像認識装置、画像認識方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18813219

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18813219

Country of ref document: EP

Kind code of ref document: A1