WO2020057159A1 - 一种高校餐厅食品加工违规行为视频分析系统及方法 - Google Patents

一种高校餐厅食品加工违规行为视频分析系统及方法 Download PDF

Info

Publication number
WO2020057159A1
WO2020057159A1 PCT/CN2019/087707 CN2019087707W WO2020057159A1 WO 2020057159 A1 WO2020057159 A1 WO 2020057159A1 CN 2019087707 W CN2019087707 W CN 2019087707W WO 2020057159 A1 WO2020057159 A1 WO 2020057159A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
video analysis
picture
module
violations
Prior art date
Application number
PCT/CN2019/087707
Other languages
English (en)
French (fr)
Inventor
周鹏
戴永寿
孙伟峰
万勇
李立刚
曲晓俊
郝宪锋
李林
Original Assignee
中国石油大学(华东)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国石油大学(华东) filed Critical 中国石油大学(华东)
Publication of WO2020057159A1 publication Critical patent/WO2020057159A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]

Definitions

  • the invention belongs to the field of image processing, and particularly relates to a video analysis system and method for food processing violations in a university restaurant.
  • the present invention proposes a video analysis system and method for food processing violations in a restaurant of a university, which has a reasonable design, overcomes the shortcomings of the prior art, and has good effects.
  • a video analysis system for food processing violations in a university restaurant including a hardware system and a software system;
  • Hardware system including cameras, access switches, optical modules, convergence switches, network video recorders, monitors, and video analysis workstations; cameras, access switches, optical modules, convergence switches, network video recorders, and monitors are connected in sequence through optical cables or network cables.
  • the video analysis workstation and the aggregation switch are connected through a network cable;
  • the software system includes a video analysis subsystem that runs on the hardware platform of a video analysis workstation; the video analysis subsystem includes a real-time video reading module, a video analysis module, a picture of violations, a cell phone alarm module, a log recording module, and Parameter configuration module;
  • Real-time video reading module configured to read video from a network video recorder in real time after reading a configuration file
  • Video analysis module configured to detect possible violations during food processing
  • Violation picture storage module configured to store pictures of detected violations
  • Mobile phone SMS alarm module is configured to automatically send SMS messages to management personnel when violations are detected
  • the logging module is configured to record information including the time, place, and type of behavior when the violation occurred, and is also used to automatically maintain and display database access records;
  • the parameter configuration module is configured for users to configure various parameters.
  • the present invention also provides a video analysis method for food processing violations in a university restaurant.
  • the method uses the above-mentioned video analysis system for food processing violations in a university restaurant.
  • the system is provided with N cameras, and there are M video analysis workstations.
  • CPU core, N >> M
  • the integer quotient of N divided by M is K
  • the remainder is L, 0 ⁇ L ⁇ M
  • i represents the current CPU core number for video reading and processing, 1 ⁇ i ⁇ M;
  • P is a variable related to i and has:
  • the first CPU core is responsible for video analysis of the video captured by the first, M + 1, 2M + 1, ..., PM + 1 cameras
  • the second CPU core is responsible for the second, M +2, 2M + 2, ..., PM + 2 camera video analysis of video collected, ...
  • M CPU core is responsible for M, 2M, 3M, ..., ( P + 1) Video analysis of video collected by M cameras;
  • Step 2 Through the real-time video reading module, read the configuration file, obtain the respective video analysis cycle and the number of the behavior to be detected of the camera responsible for the i-th CPU core, and record the camera set as C i ;
  • the detected behavior types are stored in the configuration file in advance through the parameter configuration module;
  • Step 3 The real-time video reading module reads C i in the first camera of an image corresponding to the video frame, and based on the behavior of the camera to be detected by the video analysis module, the corresponding behavior detection sequentially, when found In the case of violations, the offending pictures are stored through the offending picture storage module, the SMS is sent to the management personnel through the SMS alert module, and the log is recorded through the log recording module;
  • Step 4 real-time video reading module, in order to read the other cameras C i of a video frame corresponding to the image, and the camera according to the behavior to be detected by the video analysis module, the corresponding behavior detection sequentially, when found in violation During the behavior, the offending picture is stored through the offending picture storage module, the SMS is sent to the manager through the mobile phone SMS alarm module, and the log is recorded through the log recording module;
  • Step 5 The C i in the respective video camera of each analysis period, to determine the order of the camera video analysis
  • Step 6 According to the analysis order, complete the video analysis of other video frames of each camera in turn. When violations are found, the violations are stored in the violations picture storage module, and the SMS is sent to the management staff via the SMS alert module. Module completes logging;
  • the violations include the behavior of employees not wearing work clothes and processing raw meat with a vegetarian chopping board.
  • the video analysis method for the behavior of employees without work clothes is as follows:
  • Step S01 reading the video frame of the camera to generate a picture to be analyzed
  • Step S02 Read the information of the effective area in the database, and retain only the effective area of the picture to be analyzed;
  • Step S03 Perform face detection on the image to be analyzed
  • Step S04 determine whether a face region is detected
  • a shirt area can be determined according to a ratio and a distance, and graying is completed;
  • Step S05 Read the workwear template picture and complete the grayscale
  • Step S06 determine whether the shirt area is smaller than the work clothes template
  • step S07 is performed
  • Step S07 Calculate the cross-correlation result value according to the cross-correlation formula (1), and perform template matching on the picture of the shirt area and the picture of the work clothes template;
  • T is a grayed-out template image with a size of M ′ ⁇ N ′
  • S is a top-left image of the grayed-down shirt area picture with the same T size
  • S i, j is a grayed-down shirt area.
  • i and j are the number of pixels translated in the row and column directions, respectively.
  • the video analysis method for processing raw meat with a vegetarian chopping board is as follows:
  • Step S11 Read the video frame of the camera to generate a picture to be analyzed
  • Step S12 Binarize the picture
  • Step S13 noise reduction of the picture
  • Step S14 performing edge detection on the picture
  • Step S15 use the Hough transform to perform chopping board detection in the pre-processed picture, and intercept the chopping board area from the original picture;
  • Step S16 Perform RGB segmentation on the chopping board area intercepted in the original picture
  • Step S17 determine whether a red area is detected; if the determination result is that a red area is detected, then read the raw meat template picture; or if the determination result is that a red area is not detected, it is determined that there are no violations and the process ends;
  • Step S18 Calculate the value of the cross-correlation result, and perform template matching on the chopping board area intercepted in the original picture and the raw meat picture; determine whether the maximum value in the cross-correlation result is greater than a threshold value;
  • the invention designs and develops a set of video analysis subsystems for a new generation of school restaurant food safety management information system, which can analyze the videos collected by the camera of the school restaurant, and realizes two typical violations of processing raw meat without using work clothes and using vegetarian food boards.
  • Automatic detection based on traditional visual detection algorithms such as face detection and raw meat detection, a video analysis algorithm is designed to detect the above two violations; the test results verify the correctness of the system's functions; the developed video analyzer
  • the system improves the ability to prevent food safety risks.
  • Figure 1 shows the hardware composition of a complete video surveillance system.
  • FIG. 2 is a block diagram of the video analysis subsystem.
  • Figure 3 is the main flow chart of the work of the video analysis subsystem.
  • FIG. 4 is a flowchart of a video analysis method for detecting the behavior of employees not wearing work clothes.
  • FIG. 5 is a flowchart of a video analysis method for detecting raw meat processing behavior using a vegetarian chopping board.
  • Figure 6 is a schematic diagram of the test results of whether employees wear work clothes;
  • Figure (a) is a schematic diagram when employees wear work clothes;
  • Figure (b) is a schematic diagram when employees do not wear work clothes;
  • Figure (c) is a schematic diagram of the shirt area when wearing work clothes ;
  • (D) is a schematic diagram of the shirt area when not wearing work clothes.
  • FIG. 7 is a schematic diagram of automatically sending a mobile phone text message to a system administrator when a violation of an employee's work clothes is found.
  • FIG. 8 is a schematic diagram of test results of processing raw meat on a vegetarian chopping board.
  • Figure (a) is a schematic diagram of the picture to be detected
  • Figure (b) is a schematic diagram of the chopped chopping board area
  • Figure (c) is a schematic diagram of the detected chopping board area after RGB segmentation
  • Figure (d) is the detection after template matching Schematic diagram of the picture after getting the raw meat.
  • the complete video surveillance hardware system consists of high-definition cameras, access switches, aggregation switches, optical modules, network video recorders, monitors, network cables and optical cables, and video analysis workstations.
  • the video captured by the HD camera is transmitted to the network video recorder for storage in real time.
  • the video analysis workstation collects the video stored by the network video recorder in real time and runs the video analysis algorithm.
  • the local GSM (Global System for Mobile Communication) module or the network is called to the management staff through the network. Send an alarm text message.
  • GSM Global System for Mobile Communication
  • the video analysis subsystem is a software subsystem in the food safety management information system developed and runs on the hardware platform of the video analysis workstation. As shown in Figure 2, the video analysis subsystem is composed of 6 modules: real-time video reading, video analysis, illegal behavior picture storage, mobile phone SMS alarm, log recording, and parameter configuration.
  • the real-time video reading module is used to read the video from the network video recorder in real time after reading the configuration file.
  • the video analysis module is used to detect possible violations during food processing.
  • the violation picture storage module is used to store pictures when violations are detected, and the stored pictures are retained as evidence for a long time.
  • the mobile phone short message alarm module is used to automatically send a short message to the manager for alarm when a violation is detected.
  • the logging module is used to record information such as the time, place, and behavior type when the violation occurred, and is also used to automatically maintain and display the database access records.
  • the parameter configuration module is used for users to configure various parameters, such as the IP address and port number of the network video recorder, the type of violation detected by each camera, and the video frame acquisition cycle of each camera.
  • the current video analysis module supports the detection of two violations of processing raw meat without using work clothes and using a vegetarian chopping board. This module can be expanded in the future to detect other violations of sub-modules, thereby ensuring that the system has good scalability.
  • the setup is equipped with N cameras, and the video analysis workstation has M CPU cores (N >> M).
  • the integer quotient of N divided by M is K, and the remainder is L.
  • 0 ⁇ L ⁇ M, i means that the video is currently being read.
  • processing CPU core number 1 ⁇ i ⁇ M.
  • K and L are determined, P is a variable related to i and has:
  • Figure 3 shows the main work flow of the video analysis subsystem.
  • the first CPU core is responsible for the video analysis of the video collected by the first, M + 1, 2M + 1, ..., PM + 1 cameras
  • the second CPU core responsible for the video analysis of the video captured by the 2nd, M + 2, 2M + 2, ..., PM + 2 cameras, ...
  • the Mth CPU core is responsible for the Mth, 2M, and 2nd cameras Video analysis of 3M, ..., (P + 1) M cameras.
  • the workflow of other CPU cores is similar.
  • the type of behavior to be detected by each camera is stored in the configuration file in advance through the parameter configuration module.
  • the picture corresponding to the first video frame of camera 1 is read, and the corresponding behavior detection is performed sequentially according to the behavior to be detected by camera 1.
  • the corresponding video analysis sequence can be determined as : The second video frame of camera 1, the third video frame of camera 1, the second video frame of camera M + 1, the fourth video frame of camera 1, the second video frame of camera 2M + 1, ..., the second video frame of camera PM + 1, the fifth video frame of camera 1, the third video frame of camera M + 1, the sixth video frame of camera 1, the seventh video frame of camera 1 , The fourth video frame of the camera M + 1, the third video frame of the camera 2M + 1, ..., the third video frame of the camera PM + 1, ....
  • the time interval between two adjacent video frames of each camera is equal to the video analysis period that is set.
  • the sequence of video analysis for cameras 1, M + 1, 2M + 1, ..., PM + 1 is determined, the video analysis of subsequent video frames is sequentially completed according to the analysis order.
  • violations are discovered, the work of storing violation pictures, sending mobile phone text messages, and violation log records are performed separately.
  • the key technology is to determine the shirt area in the picture and match the work clothes template picture.
  • a mature face detection algorithm can be used to determine the face area first, and then according to the number of pixels of the detected face length and width, according to the normal ratio of face length and width and upper body length and width, The normal distance between the face and the upper body can determine the area where the top is located in the picture.
  • a picture of the work clothes needs to be stored in advance as a template, and then the method of matching the template can be used to determine whether the worker is wearing work clothes.
  • the workwear template image is reduced in proportion to ensure the length of the shirt area And the width is greater than the length and width of the reduced template image.
  • T is a grayed-out template image with a size of M ′ ⁇ N ′
  • S is a top-left image of the grayed-down shirt area image with the same T size
  • S i, j is a grayed-down shirt area image.
  • i and j are the number of pixels translated in the row and column directions, respectively.
  • corr (i, j) corr is the result of the cross-correlation operation.
  • FIG. 4 shows the flow of a video analysis method to detect the behavior of employees not wearing work clothes.
  • the chopping board is generally circular or rectangular with a known size, and can be detected by extracting a circular or rectangular object with a known size from the figure. Whether it is a circular or rectangular object, Hough transform can be used to transform the image coordinate space to a parameter plane to achieve detection.
  • Hough transform can be used to transform the image coordinate space to a parameter plane to achieve detection. The following describes the working principle of circle detection as an example.
  • the circular equation can be expressed as:
  • (x 0 , y 0 ) is the coordinates of the center of the circle
  • r is the radius of the circle
  • (x, y) is the coordinates of any point on the circle
  • ⁇ is the angle between the radius and the positive direction of the x axis.
  • Matlab language is mainly used to implement the functions of image reading and image analysis, and other functions are implemented by C # language.
  • Figure 6 is a schematic diagram of the test results of whether employees wear work clothes;
  • Figure (a) is a schematic diagram when employees wear work clothes;
  • Figure (b) is a schematic diagram when employees do not wear work clothes;
  • Figure (c) is a schematic diagram of the shirt area when wearing work clothes ;
  • (D) is a schematic diagram of the shirt area when not wearing work clothes.
  • FIG. 8 is a schematic diagram of test results of processing raw meat on a vegetarian chopping board.
  • Figure (a) is a schematic diagram of the picture to be detected
  • Figure (b) is a schematic diagram of the chopped chopping board area
  • Figure (c) is a schematic diagram of the detected chopping board area after RGB segmentation
  • Figure (d) is the detection after template matching Schematic diagram of the picture after getting the raw meat.
  • Detection Based on the traditional visual detection algorithms such as face detection and raw meat detection, a video analysis algorithm is designed to detect the above two violations. The test results verify the correctness of the system functions.
  • the developed video analytics subsystem improves the ability to prevent food safety risks. The next step is to expand the video analysis module to achieve automatic detection of some other typical violations.

Abstract

本发明公开了一种高校餐厅食品加工违规行为视频分析系统及方法，属于图像处理领域，系统包括硬件系统和软件系统；软件系统，包括视频分析子系统，其运行在视频分析工作站的硬件平台上；视频分析子系统包括实时视频读取模块、视频分析模块、违规行为图片存储模块、手机短信报警模块、日志记录模块和参数配置模块。本发明视频分析子系统，可对学校餐厅摄像机采集的视频进行分析，实现员工不着工作服、用素食案板加工生肉两种典型违规行为的自动检测；在传统的人脸检测、生肉检测等视觉检测算法的基础上，设计了检测上述两种违规行为的视频分析方法；测试结果验证了系统功能的正确性；本发明方法提高了预防食品安全风险的能力。

Description

一种高校餐厅食品加工违规行为视频分析系统及方法 技术领域
本发明属于图像处理领域，具体涉及一种高校餐厅食品加工违规行为视频分析系统及方法。
背景技术
高校餐厅作为学校广大师生员工集中就餐的场所，对食品安全的要求非常严格。一旦出现食品安全事故，由于学校人员高度密集的特点，其造成的后果将非常严重。尽管目前很多食品生产经营企业(例如：高校餐厅)都布设了很多摄像机用于采集食品生产、经营行为的视频。但受各种客观条件的限制，多数企业都不能安排专门的监管人员进行实时监视。另外，即便安排了专门的监管人员进行监视，由于摄像机的机位较多，造成工作人员的劳动强度大、工作效率低、监视效果差。在上述现状下，所采集的视频一般只能用于事后的责任追溯，不能及时预防食品安全风险的发生。为此，有必要在食品安全管理信息化系统中建设专门的视频分析子系统，对一些典型的食品加工违规行为进行自动监视和报警，提高食品安全风险的预防能力。
发明内容
针对现有技术中存在的上述技术问题，本发明提出了一种高校餐厅食品加工违规行为视频分析系统及方法，设计合理，克服了现有技术的不足，具有良好的效果。
为了实现上述目的，本发明采用如下技术方案：
一种高校餐厅食品加工违规行为视频分析系统，包括硬件系统和软件系统；其中，
硬件系统，包括摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器和视频分析工作站；摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器通过光缆或网线依次连接，视频分析工作站和汇聚交换机通过网线连接；
软件系统，包括视频分析子系统，其运行在视频分析工作站的硬件平台上；视频分析子系统包括实时视频读取模块、视频分析模块、违规行为图片存储模块、手机短信报警模块、日志记录模块和参数配置模块；
实时视频读取模块，被配置用于读取配置文件后从网络录像机实时读取视频；
视频分析模块，被配置用于对食品加工过程中可能出现的违规行为进行检测；
违规行为图片存储模块，被配置用于存储检测到的违规行为的图片；
手机短信报警模块，被配置用于检测到违规行为时自动向管理人员发送短信进行报警；
日志记录模块，被配置用于记录违规行为出现时的包括时间、地点、行为类型在内的信息，也用于自动维护和显示数据库的访问记录；
参数配置模块，被配置用于供用户进行各种参数的配置。
此外，本发明还提出一种高校餐厅食品加工违规行为视频分析方法，该方法采用如上所述的高校餐厅食品加工违规行为视频分析系统，设该系统布设有N台摄像机，视频分析工作站有M个CPU核，N＞＞M，N除以M的整数商是K、余数是L，0≤L<M，i表示当前要进行视频读取和处理的CPU核编号，1≤i≤M；
当K和L确定后，P是与i有关的变量，且有：
当L<i时，P＝K-1；
当L≥i时，P＝K；
第1个CPU核负责第1台、第M+1台、第2M+1台、…、第PM+1台摄像机所采集视频的视频分析工作，第2个CPU核负责第2台、第M+2台、第2M+2台、…、第PM+2台摄像机所采集视频的视频分析工作，…，第M个CPU核负责第M台、第2M台、第3M台、…、第(P+1)M台摄像机所采集视频的视频分析工作；
具体包括如下步骤：
步骤1：设i＝1；
步骤2：通过实时视频读取模块，读取配置文件，获取第i个CPU核所负责摄像机的各自的视频分析周期和需检测行为的编号，并将摄像机集合记为C i；每台摄像机需检测的行为类型通过参数配置模块事先存储在配置文件中；
步骤3：通过实时视频读取模块，读取C i中第1台摄像机第1个视频帧对应的图片，并根据该摄像机需检测的行为，通过视频分析模块，依次进行对应行为检测，当发现违规行为时，通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；
步骤4：通过实时视频读取模块，依次读取C i中其它摄像机第1个视频帧对应的图片，并根据这些摄像机需检测的行为，通过视频分析模块，依次进行对应行为检测，当发现违规行为时，通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；
步骤5：根据C i中各摄像机各自的视频分析周期，确定对这些摄像机进行视频分析的顺序；
步骤6：根据分析顺序，依次完成各摄像机其它视频帧的视频分析，当发现违规行为时通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；
步骤7：令i＝i+1，重复步骤2-6，直至完成所有M个CPU核所负责摄像机的视频分析工作。
优选地，违规行为，包括员工不着工作服行为和用素食案板加工生肉行为。
优选地，员工不着工作服行为的视频分析方法如下：
步骤S01：读取摄像机视频帧，生成待分析图片；
步骤S02：读取数据库中有效区域的信息，仅保留待分析图片的有效区域；
步骤S03：对待分析图片进行人脸检测；
步骤S04：判断是否检测到人脸区域；
若：判断结果是检测到人脸区域，则根据检测到的人脸区域长度和宽度，按比例和间距可确定上衣区域，并完成灰度化；
或判断结果是没有检测到人脸区域，则判定无违规行为，结束；
步骤S05：读取工作服模板图片，并完成灰度化；
步骤S06：判断上衣区域是否小于工作服模板；
若：判断结果是上衣区域小于工作服模板，则对工作服模板图片的长度和宽度进行同比例缩小；
判断结果是上衣区域大于或者等于工作服模板，则执行步骤S07；
步骤S07：根据互相关公式(1)，计算互相关结果值，对上衣区域图片和工作服模板图片进行模板匹配；
Figure PCTCN2019087707-appb-000001
其中，T为尺寸为M′×N′的灰度化后的模板图片，S为灰度化后上衣区域图片中左上方与同T尺寸的图片，S i,j为灰度化后上衣区域图片中对S进行平移后的图片，i和j分别是行和列方向的平移像素数，
Figure PCTCN2019087707-appb-000002
为图片T所有像素灰度值的平均值，
Figure PCTCN2019087707-appb-000003
为图片S i,j所有像素灰度值的平均值，corr(i,j)为互相关运算的结果值；
判断互相关结果中的最大值是否大于阈值；
若：判断结果是互相关结果中的最大值大于阈值，则判定无违规行为，结束；
或判断结果是互相关结果中的最大值小于或者等于阈值，则判定有违规行为。
优选地，用素食案板加工生肉行为的视频分析方法如下：
步骤S11：读取摄像机视频帧，生成待分析图片；
步骤S12：对图片进行二值化；
步骤S13：对图片进行降噪；
步骤S14：对图片进行边缘检测；
步骤S15：利用Hough变换，在预处理后的图片中进行案板检测，并在原始图片中截取案板区域；
步骤S16：对原始图片中截取的案板区域进行RGB分割；
步骤S17：判断是否检测到红色区域；若：判断结果是检测到红色区域，则读取生肉模板图片；或判断结果是没有检测到红色区域，则判定无违规行为，结束；
步骤S18：计算互相关结果值，将原始图片中截取的案板区域与生肉图片进行模板匹配；判断互相关结果中的最大值是否大于阈值；
若：判断结果是互相关结果中的最大值大于阈值，则判定有违规行为，结束；
或判断结果是互相关结果中的最大值小于或者等于阈值，则判定无违规行为。
本发明所带来的有益技术效果：
本发明设计并开发了一套用于新一代学校餐厅食品安全管理信息系统的视频分析子系统，可对学校餐厅摄像机采集的视频进行分析，实现员工不着工作服、用素食案板加工生肉两种典型违规行为的自动检测；在传统的人脸检测、生肉检测等视觉检测算法的基础上，设计了检测上述两种违规行为的视频分析算法；测试结果验证了系统功能的正确性；所开发的视频分析子系统可提高预防食品安全风险的能力。
附图说明
图1为完整的视频监控系统的硬件组成图。
图2为视频分析子系统的模块组成图。
图3为视频分析子系统的工作主流程图。
图4为检测员工不着工作服行为的视频分析方法的流程图。
图5为检测用素食案板加工生肉行为的视频分析方法的流程图。
图6为员工是否着工作服行为的测试结果示意图；图(a)为员工着工作服时的示意图；图(b)为员工未着工作服时的示意图；图(c)为着工作服时的上衣区域示意图；图(d)为未着工作服时的上衣区域示意图。
图7为当发现员工未着工作服的违规行为时向系统管理员自动发送手机短信的示意图。
图8为素食案板上加工生肉行为的测试结果示意图。图(a)是待检测图片的示意图，图(b)是截取的案板区域示意图，图(c)是检测到的案板区域进行RGB分割后的结果示意图，图(d)是经模板匹配后检测到生肉后的图片的示意图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
1视频分析子系统的组成和主流程图
1.1视频分析子系统的组成
如图1所示，完整的视频监控硬件系统由高清摄像机、接入交换机、汇聚交换机、光模块、网络录像机、监视器、网线和光缆、视频分析工作站等连接组成。高清摄像机所采集的视频实时地传输至网络录像机进行存储。视频分析工作站则实时地采集网络录像机存储的视频，运行视频分析算法，当检测到违规行为时则通过本地GSM(Global System for Mobile communications，全球移动通信系统)模块或通过网络调用GSM服务器向管理人员发送报警短信。
视频分析子系统是所研发的食品安全管理信息系统中的一个软件子系统，它运行在视频分析工作站的硬件平台上。如图2所示，视频分析子系统由实时视频读取、视频分析、违规行为图片存储、手机短信报警、日志记录、参数配置6个模块组成。实时视频读取模块用于读取配置文件后从网络录像机实时读取视频。视频分析模块用于对食品加工过程中可能出现的违规行为进行检测。违规行为图片存储模块用于存储检测到违规行为时的图片，所存储的图片作为证据长期留存。手机短信报警模块用于检测到违规行为时自动向管理人员发送短信进行报警。日志记录模块用于记录违规行为出现时的时间、地点、行为类型等信息，也用于自动维护和显示数据库的访问记录。参数配置模块用于供用户进行各种参数的配置，如：网络录像机的IP地址和端口号、每台摄像机检测的违规行为类型、每台摄像机的视频帧采集周期等。
目前的视频分析模块支持员工不着工作服、用素食案板加工生肉2种违规行为的检测。该模块将来可以扩充检测其它违规行为的子模块，从而保证了系统具有良好的扩展性。
1.2视频分析子系统的工作主流程图
设布设有N台摄像机，视频分析工作站有M个CPU核(N＞＞M)，N除以M的整数商是K、余数是L，0≤L<M，i表示当前要进行视频读取和处理的CPU核编号，1≤i≤M。当K和L确定后，P是与i有关的变量，且有：
当L<i时，P＝K-1；
当L≥i时，P＝K；
图3给出了视频分析子系统的工作主流程。从图中可以看出，第1个CPU核负责第1台、第M+1台、第2M+1台、…、第PM+1台摄像机所采集视频的视频分析工作，第2个CPU核负责第2台、第M+2台、第2M+2台、…、第PM+2台摄像机所采集视频的视频分析工作，…，第M个CPU核负责第M台、第2M台、第3M台、…、第(P+1)M台摄像机所采集视频的视频分析工作。
下面以第1个CPU核为例，介绍其工作流程。其它CPU核的工作流程与之类似。首先读取配置文件，获得摄像机1、M+1、2M+1、…、PM+1的视频分析周期和需检测行为的编号。这里需指出的是，有的摄像机只需要检测员工不着工作服的违规行为，有的摄像机只需要检测用素食案板加工生肉的违规行为，有的摄像机需要同时检测2种违规行为。每台摄像机需检测的行为类型都通过参数配置模块事先存储在配置文件中。接下来，读取摄像机1第1个视频帧对应的图片，并根据摄像机1需检测的行为，依次进行对应行为检测，当发现违规行为时进行违规图片存储、发送手机短信、完成日志记录。之后，摄像机M+1、2M+1、…、PM+1依次完成各自第1个视频帧的图片读取、行为检测。当发现违规行为时，分别进行违规图片存储、发送手机短信、违规日志记录的工作。然后，根据摄像机1、M+1、2M+1、…、PM+1各自的视频分析周期，确定对这些摄像机进行视频分析的顺序。例如，设摄像机1的视频分析周期为10s，摄像机M+1的视频分析周期为20s，摄像机2M+1、…、PM+1的视频分析周期为30s，则可确定出对应的视频分析顺序为：摄像机1的第2个视频帧、摄像机1的第3个视频帧、摄像机M+1的第2个视频帧、摄像机1的第4个视频帧、摄像机2M+1的第2个视频帧、…、摄像机PM+1的第2个视频帧、摄像机1的第5个视频帧、摄像机M+1的第3个视频帧、摄像机1的第6个视频帧、摄像机1的第7个视频帧、摄像机M+1的第4个视频帧、摄像机2M+1的第3个视频帧、…、摄像机PM+1的第3个视频帧、…。这里，每台摄像机两个相邻视频帧的时间间隔等于各自所设置的视频分析周期。当确定了对摄像机1、M+1、2M+1、…、PM+1进行视频分析的顺序后，根据分析顺序，依次完成后继视频帧的视频分析。当发现违规行为时，分别进行违规图片存储、发送手机短信、违规日志记录的工作。
2视频分析算法原理
2.1员工不着工作服行为的视频分析算法
为检测员工在工作区域内是否着工作服，其技术关键是图片中上衣区域的确定和与工作服模板图片的匹配。为实现上衣区域的确定，可首先利用成熟的人脸检测算法确定人脸区域，然后根据检测到的人脸长度和宽度的像素数，按人脸长度与宽度和上身长度与宽度的正常比例和人脸与上身的正常间距，可确定图片中上衣所在区域。为检测图片中上衣所在区域是否确实是餐厅员工的工作服，需事先存储工作服的图片作为模板，然后即可通过模板匹配的方法确定员工是否着工作服。考虑到工作人员处于监视区域不同位置时人脸所占据像素数的不同，当像素数相对较少从而上衣区域的像素数也较少时，对工作服模板图片进行同比例缩小，保证上衣区域的长度和宽度大于缩小后模板图片的长度和宽度。
在进行模板匹配时，用到如下互相关公式：
Figure PCTCN2019087707-appb-000004
其中，T为尺寸为M′×N′的灰度化后模板图片，S为灰度化后上衣区域图片中左上方与同T尺寸的图片，S i,j为灰度化后上衣区域图片中对S进行平移后的图片，i和j分别是行和列方向的平移像素数，
Figure PCTCN2019087707-appb-000005
为图片T所有像素灰度值的平均值，
Figure PCTCN2019087707-appb-000006
为图片S i,j所有像素灰度值的平均值，corr(i,j)corr为互相关运算的结果值。当计算出的互相关值中的最大值超过阈值时，则判定员工着工作服，否则判定员工未着工作服。考虑到所监视区域中可能只有部分区域属于工作人员的工作区域，为提高处理效率，可事先在数据库中存储各摄像机监控区域中的有效区域信息，在进行违规行为检测时只需在有效区域中检测即可。图4给出了检测员工不着工作服行为的视频分析方法的流程。
2.2用素食案板加工生肉行为的视频分析算法
为检测是否有在素食案板上加工生肉的行为，其技术关键是案板的检测和生肉与红色蔬菜的区分。案板一般为圆形或长方形且尺寸已知，可利用从图形中提取尺寸已知的圆形或长方形物体的方法进行检测。无论是圆形还是长方形的物体，均可采用Hough(霍夫)变换，将图像坐标空间变换到参数平面实现检测。下面以圆形检测为例简述其工作原理。圆形的方程可表示为：
Figure PCTCN2019087707-appb-000007
其中，(x 0,y 0)为圆心的坐标，r为圆的半径，(x,y)为圆上任意一点的坐标，θ为半径与x轴正向的夹角。以xy平面为参数平面，参数平面上任意一点的强度值等于图像平面上以该点为圆心，以r为半径的圆对应的像素点的强度值之和。参数平面上强度值最大的点对应检测到的圆心。在图像平面上以该点为圆心，以已知的半径r画出的圆即为检测到的圆形物体。需说明的是，在进行圆形检测前，需对图片进行二值化、降噪、边缘检测等预处理。实现案板的检测后，需对案板上摆放的生肉和蔬菜进行区分。可先利用RGB分割后得到的颜色信息进行初步划分，黄瓜、生菜等蔬菜为绿色，生肉为红色。但西红柿、胡萝卜等蔬菜也为红色，因此仅通过颜色信息不能完全准确区分。为实现生肉与红色蔬菜的区分，可利用与生肉模板图片进行模板匹配的方法完成。图5给出了检测用素食案板加工生肉行为的视频分析方法的流程。
3测试结果
利用C#和Matlab进行了混合编程，实现了视频实时读取、违规行为检测、违规行为短信报警等功能。Matlab语言主要用于实现图片读取、图片分析的功能，其它功能由C#语言实现。
图6为员工是否着工作服行为的测试结果示意图；图(a)为员工着工作服时的示意图；图(b)为员工未着工作服时的示意图；图(c)为着工作服时的上衣区域示意图；图(d)为未着工作服时的上衣区域示意图。经过与事先存储的工作服模板图片进行匹配，图(c)互相关的结果超过阈值，图(d)互相关的结果远小于阈值。图7显示了当发现员工未着工作服的违规行为时向系统管理员自动发送的手机短信。
图8是素食案板上加工生肉行为的测试结果示意图。图(a)是待检测图片的示意图，图(b)是截取的案板区域示意图，图(c)是检测到的案板区域进行RGB分割后的结果示意图，图(d)是经模板匹配后检测到生肉后的图片的示意图。
4结论
设计并开发了一套用于新一代学校餐厅食品安全管理信息系统的视频分析子系统，可对学校餐厅摄像机采集的视频进行分析，实现员工不着工作服、用素食案板加工生肉2种典型违规行为的自动检测。在传统的人脸检测、生肉检测等视觉检测算法的基础上，设计了检测上述2种违规行为的视频分析算法。测试结果验证了系统功能的正确性。所开发的视频分析子系统可提高预防食品安全风险的能力。下一步将对视频分析模块进行扩展，实现其它一些典型违规行为的自动检测。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (5)

  1. 一种高校餐厅食品加工违规行为视频分析系统，其特征在于：包括硬件系统和软件系统；其中，
    硬件系统，包括摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器和视频分析工作站；摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器通过光缆或网线依次连接，视频分析工作站和汇聚交换机通过网线连接；
    软件系统，包括视频分析子系统，其运行在视频分析工作站的硬件平台上；视频分析子系统包括实时视频读取模块、视频分析模块、违规行为图片存储模块、手机短信报警模块、日志记录模块和参数配置模块；
    实时视频读取模块，被配置用于读取配置文件后从网络录像机实时读取视频；
    视频分析模块，被配置用于对食品加工过程中可能出现的违规行为进行检测；
    违规行为图片存储模块，被配置用于存储检测到的违规行为的图片；
    手机短信报警模块，被配置用于检测到违规行为时自动向管理人员发送短信进行报警；
    日志记录模块，被配置用于记录违规行为出现时的包括时间、地点、行为类型在内的信息，也用于自动维护和显示数据库的访问记录；
    参数配置模块，被配置用于供用户进行各种参数的配置。
  2. 一种高校餐厅食品加工违规行为视频分析方法，其特征在于：采用如权利要求1所述的高校餐厅食品加工违规行为视频分析系统，设该系统布设有N台摄像机，视频分析工作站有M个CPU核，N＞＞M，N除以M的整数商是K、余数是L，0≤L<M，i表示当前要进行视频读取和处理的CPU核编号，1≤i≤M；
    当K和L确定后，P是与i有关的变量，且有：
    当L<i时，P＝K-1；
    当L≥i时，P＝K；
    第1个CPU核负责第1台、第M+1台、第2M+1台、…、第PM+1台摄像机所采集视频的视频分析工作，第2个CPU核负责第2台、第M+2台、第2M+2台、…、第PM+2台摄像机所采集视频的视频分析工作，…，第M个CPU核负责第M台、第2M台、第3M台、…、第(P+1)M台摄像机所采集视频的视频分析工作；
    具体包括如下步骤：
    步骤1：设i＝1；
    步骤2：通过实时视频读取模块，读取配置文件，获取第i个CPU核所负责摄像机的各自的视频分析周期和需检测行为的编号，并将摄像机集合记为C i；每台摄像机需检测的行为类型通过参数配置模块事先存储在配置文件中；
    步骤3：通过实时视频读取模块，读取C i中第1台摄像机第1个视频帧对应的图片，并根据该摄像机需检测的行为，通过视频分析模块，依次进行对应行为检测，当发现违规行为时，通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；
    步骤4：通过实时视频读取模块，依次读取C i中其它摄像机第1个视频帧对应的图片，并根据这些摄像机需检测的行为，通过视频分析模块，依次进行对应行为检测，当发现违规行为时，通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；
    步骤5：根据C i中各摄像机各自的视频分析周期，确定对这些摄像机进行视频分析的顺序；
    步骤6：根据分析顺序，依次完成各摄像机其它视频帧的视频分析，当发现违规行为时通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录；
    步骤7：令i＝i+1，重复步骤2-6，直至完成所有M个CPU核所负责摄像机的视频分析工作。
  3. 根据权利要求2所述的高校餐厅食品加工违规行为视频分析方法，其特征在于：违规行为，包括员工不着工作服行为和用素食案板加工生肉行为。
  4. 根据权利要求3所述的高校餐厅食品加工违规行为视频分析方法，其特征在于：员工不着工作服行为的视频分析方法如下：
    步骤S01：读取摄像机视频帧，生成待分析图片；
    步骤S02：读取数据库中有效区域的信息，仅保留待分析图片的有效区域；
    步骤S03：对待分析图片进行人脸检测；
    步骤S04：判断是否检测到人脸区域；
    若：判断结果是检测到人脸区域，则根据检测到的人脸区域长度和宽度，按比例和间距可确定上衣区域，并完成灰度化；
    或判断结果是没有检测到人脸区域，则判定无违规行为，结束；
    步骤S05：读取工作服模板图片，并完成灰度化；
    步骤S06：判断上衣区域是否小于工作服模板；
    若：判断结果是上衣区域小于工作服模板，则对工作服模板图片的长度和宽度进行同比例缩小；
    判断结果是上衣区域大于或者等于工作服模板，则执行步骤S07；
    步骤S07：根据互相关公式(1)，计算互相关结果值，对上衣区域图片和工作服模板图 片进行模板匹配；
    Figure PCTCN2019087707-appb-100001
    其中，T为尺寸为M′×N′的灰度化后的模板图片，S为灰度化后上衣区域图片中左上方与同T尺寸的图片，S i,j为灰度化后上衣区域图片中对S进行平移后的图片，i和j分别是行和列方向的平移像素数，
    Figure PCTCN2019087707-appb-100002
    为图片T所有像素灰度值的平均值，
    Figure PCTCN2019087707-appb-100003
    为图片S i,j所有像素灰度值的平均值，corr(i,j)为互相关运算的结果值；
    判断互相关结果中的最大值是否大于阈值；
    若：判断结果是互相关结果中的最大值大于阈值，则判定无违规行为，结束；
    或判断结果是互相关结果中的最大值小于或者等于阈值，则判定有违规行为。
  5. 根据权利要求3所述的高校餐厅食品加工违规行为视频分析方法，其特征在于：用素食案板加工生肉行为的视频分析方法如下：
    步骤S11：读取摄像机视频帧，生成待分析图片；
    步骤S12：对图片进行二值化；
    步骤S13：对图片进行降噪；
    步骤S14：对图片进行边缘检测；
    步骤S15：利用Hough变换，在预处理后的图片中进行案板检测，并在原始图片中截取案板区域；
    步骤S16：对原始图片中截取的案板区域进行RGB分割；
    步骤S17：判断是否检测到红色区域；若：判断结果是检测到红色区域，则读取生肉模板图片；或判断结果是没有检测到红色区域，则判定无违规行为，结束；
    步骤S18：计算互相关结果值，将原始图片中截取的案板区域与生肉图片进行模板匹配；判断互相关结果中的最大值是否大于阈值；
    若：判断结果是互相关结果中的最大值大于阈值，则判定有违规行为，结束；
    或判断结果是互相关结果中的最大值小于或者等于阈值，则判定无违规行为。
PCT/CN2019/087707 2018-09-19 2019-05-21 一种高校餐厅食品加工违规行为视频分析系统及方法 WO2020057159A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811091998.5 2018-09-19
CN201811091998.5A CN109089160B (zh) 2018-09-19 2018-09-19 一种高校餐厅食品加工违规行为视频分析系统及方法

Publications (1)

Publication Number Publication Date
WO2020057159A1 true WO2020057159A1 (zh) 2020-03-26

Family

ID=64842122

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/087707 WO2020057159A1 (zh) 2018-09-19 2019-05-21 一种高校餐厅食品加工违规行为视频分析系统及方法

Country Status (2)

Country Link
CN (1) CN109089160B (zh)
WO (1) WO2020057159A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553329A (zh) * 2020-06-14 2020-08-18 深圳天海宸光科技有限公司 一种基于机器视觉的加油站智能安全处理系统及方法
CN112001284A (zh) * 2020-08-14 2020-11-27 中建海峡建设发展有限公司 基于人工智能的劳务实名制管理系统
CN114339145A (zh) * 2021-12-06 2022-04-12 浪潮软件股份有限公司 一种基于智能可视化的企业经营闭环监管方法及系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089160B (zh) * 2018-09-19 2020-11-03 中国石油大学(华东) 一种高校餐厅食品加工违规行为视频分析系统及方法
CN109993069A (zh) * 2019-03-12 2019-07-09 秒针信息技术有限公司 厨具检测方法和装置及系统、存储介质
CN110166741A (zh) * 2019-04-15 2019-08-23 深圳壹账通智能科技有限公司 基于人工智能的环境监控方法、装置、设备及存储介质
CN109905680A (zh) * 2019-04-15 2019-06-18 秒针信息技术有限公司 操作的监控方法及装置、存储介质、电子装置
CN110363428A (zh) * 2019-07-16 2019-10-22 上海秒针网络科技有限公司 一种档案关联处理方法及装置
CN110460814A (zh) * 2019-08-12 2019-11-15 上海秒针网络科技有限公司 指示信息的发送方法及装置、存储介质、电子装置
CN110689054B (zh) * 2019-09-10 2022-04-01 华中科技大学 一种工人违规行为监测方法
CN110636260A (zh) * 2019-09-11 2019-12-31 安徽超清科技股份有限公司 一种基于大数据的明厨亮灶管理方法
CN111310539A (zh) * 2019-11-26 2020-06-19 上海秒针网络科技有限公司 食品加工区域的监管方法和装置
CN112541391A (zh) * 2020-10-30 2021-03-23 四川天翼网络服务有限公司 一种基于考试视频分析的违规行为识别方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1351305A (zh) * 2001-08-18 2002-05-29 贺贵明 粮库粮虫智能监测系统及方法
US20140043296A1 (en) * 2012-08-08 2014-02-13 Uni-Structure, Inc. Switch System for Outputting Multimedia Content to a Digital Sign
CN206805256U (zh) * 2017-05-26 2017-12-26 莫进惠 一种多级智能远程监管系统
CN206805626U (zh) * 2017-06-05 2017-12-26 深圳玖捌伍亮厨科技有限公司 一种可视化智能餐饮门店管理系统
CN109089160A (zh) * 2018-09-19 2018-12-25 中国石油大学(华东) 一种高校餐厅食品加工违规行为视频分析系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
CN106412513B (zh) * 2016-10-14 2019-06-11 环球大数据科技有限公司 视频处理系统及处理方法
CN106936964B (zh) * 2016-12-14 2019-11-19 惠州旭鑫智能技术有限公司 一种基于霍夫变换模板匹配的手机屏幕角点检测方法
CN106998450A (zh) * 2017-04-21 2017-08-01 林仁昌 一种提供餐厅食品加工画面的方法及系统
CN107564035B (zh) * 2017-07-31 2020-10-09 华南农业大学 基于重要区域识别和匹配的视频跟踪方法
CN107609544A (zh) * 2017-10-27 2018-01-19 华润电力技术研究院有限公司 一种检测方法以及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1351305A (zh) * 2001-08-18 2002-05-29 贺贵明 粮库粮虫智能监测系统及方法
US20140043296A1 (en) * 2012-08-08 2014-02-13 Uni-Structure, Inc. Switch System for Outputting Multimedia Content to a Digital Sign
CN206805256U (zh) * 2017-05-26 2017-12-26 莫进惠 一种多级智能远程监管系统
CN206805626U (zh) * 2017-06-05 2017-12-26 深圳玖捌伍亮厨科技有限公司 一种可视化智能餐饮门店管理系统
CN109089160A (zh) * 2018-09-19 2018-12-25 中国石油大学(华东) 一种高校餐厅食品加工违规行为视频分析系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553329A (zh) * 2020-06-14 2020-08-18 深圳天海宸光科技有限公司 一种基于机器视觉的加油站智能安全处理系统及方法
CN112001284A (zh) * 2020-08-14 2020-11-27 中建海峡建设发展有限公司 基于人工智能的劳务实名制管理系统
CN114339145A (zh) * 2021-12-06 2022-04-12 浪潮软件股份有限公司 一种基于智能可视化的企业经营闭环监管方法及系统

Also Published As

Publication number Publication date
CN109089160B (zh) 2020-11-03
CN109089160A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
WO2020057159A1 (zh) 一种高校餐厅食品加工违规行为视频分析系统及方法
CN110826538B (zh) 一种用于电力营业厅的异常离岗识别系统
CN106056079B (zh) 一种图像采集设备及人脸五官的遮挡检测方法
CN110650316A (zh) 智能巡逻及预警处理方法、装置、电子设备及存储介质
CN111932709A (zh) 一种基于ai识别实现加油站巡检作业违规安全监管的方法
CN103514694A (zh) 一种入侵检测监控系统
CN111918039B (zh) 基于5g网络的人工智能高风险作业管控系统
CN104902218A (zh) 广域安防系统中视频监控子网性能监测系统及方法
CN109460744B (zh) 一种基于深度学习的视频监控系统
CN112560816A (zh) 一种基于YOLOv4的设备指示灯识别方法及系统
CN105844245A (zh) 一种伪装人脸检测方法及系统
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN103093177A (zh) 人脸辨识监控管理方法
CN112153373A (zh) 明厨亮灶设备的故障识别方法、装置及存储介质
CN115001934A (zh) 一种工控安全风险分析系统及方法
CN211184122U (zh) 铁路作业安全防控和大客流预警联动的智能视频分析系统
CN113111771A (zh) 一种发电厂工作人员不安全行为的识别方法
CN112839200A (zh) 基于5g技术的电厂违章行为识别方法、系统和网络服务端
CN113297913B (zh) 一种配网现场作业人员穿衣规范的识别方法
CN110636077A (zh) 一种基于统一平台的网络安全防护系统及方法
CN111062932A (zh) 一种网络服务程序的监控方法
CN115618353B (zh) 一种工业生产安全的识别系统及方法
CN108073854A (zh) 一种现场巡检的检测方法及装置
CN116246416A (zh) 一种用于安防的智能分析预警平台及方法
CN115278217A (zh) 图像画面检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19862506

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19862506

Country of ref document: EP

Kind code of ref document: A1