WO2020057159A1 - 一种高校餐厅食品加工违规行为视频分析系统及方法 - Google Patents

一种高校餐厅食品加工违规行为视频分析系统及方法 Download PDF

Info

Publication number
WO2020057159A1
WO2020057159A1 PCT/CN2019/087707 CN2019087707W WO2020057159A1 WO 2020057159 A1 WO2020057159 A1 WO 2020057159A1 CN 2019087707 W CN2019087707 W CN 2019087707W WO 2020057159 A1 WO2020057159 A1 WO 2020057159A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
video analysis
picture
module
violations
Prior art date
Application number
PCT/CN2019/087707
Other languages
English (en)
French (fr)
Inventor
周鹏
戴永寿
孙伟峰
万勇
李立刚
曲晓俊
郝宪锋
李林
Original Assignee
中国石油大学(华东)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201811091998.5A priority Critical patent/CN109089160B/zh
Priority to CN201811091998.5 priority
Application filed by 中国石油大学(华东) filed Critical 中国石油大学(华东)
Publication of WO2020057159A1 publication Critical patent/WO2020057159A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for recognising patterns
    • G06K9/62Methods or arrangements for pattern recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/12Hotels or restaurants
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements
    • H04W4/14Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]

Abstract

本发明公开了一种高校餐厅食品加工违规行为视频分析系统及方法,属于图像处理领域,系统包括硬件系统和软件系统;软件系统,包括视频分析子系统,其运行在视频分析工作站的硬件平台上;视频分析子系统包括实时视频读取模块、视频分析模块、违规行为图片存储模块、手机短信报警模块、日志记录模块和参数配置模块。本发明视频分析子系统,可对学校餐厅摄像机采集的视频进行分析,实现员工不着工作服、用素食案板加工生肉两种典型违规行为的自动检测;在传统的人脸检测、生肉检测等视觉检测算法的基础上,设计了检测上述两种违规行为的视频分析方法;测试结果验证了系统功能的正确性;本发明方法提高了预防食品安全风险的能力。

Description

一种高校餐厅食品加工违规行为视频分析系统及方法 技术领域
本发明属于图像处理领域,具体涉及一种高校餐厅食品加工违规行为视频分析系统及方法。
背景技术
高校餐厅作为学校广大师生员工集中就餐的场所,对食品安全的要求非常严格。一旦出现食品安全事故,由于学校人员高度密集的特点,其造成的后果将非常严重。尽管目前很多食品生产经营企业(例如:高校餐厅)都布设了很多摄像机用于采集食品生产、经营行为的视频。但受各种客观条件的限制,多数企业都不能安排专门的监管人员进行实时监视。另外,即便安排了专门的监管人员进行监视,由于摄像机的机位较多,造成工作人员的劳动强度大、工作效率低、监视效果差。在上述现状下,所采集的视频一般只能用于事后的责任追溯,不能及时预防食品安全风险的发生。为此,有必要在食品安全管理信息化系统中建设专门的视频分析子系统,对一些典型的食品加工违规行为进行自动监视和报警,提高食品安全风险的预防能力。
发明内容
针对现有技术中存在的上述技术问题,本发明提出了一种高校餐厅食品加工违规行为视频分析系统及方法,设计合理,克服了现有技术的不足,具有良好的效果。
为了实现上述目的,本发明采用如下技术方案:
一种高校餐厅食品加工违规行为视频分析系统,包括硬件系统和软件系统;其中,
硬件系统,包括摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器和视频分析工作站;摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器通过光缆或网线依次连接,视频分析工作站和汇聚交换机通过网线连接;
软件系统,包括视频分析子系统,其运行在视频分析工作站的硬件平台上;视频分析子系统包括实时视频读取模块、视频分析模块、违规行为图片存储模块、手机短信报警模块、日志记录模块和参数配置模块;
实时视频读取模块,被配置用于读取配置文件后从网络录像机实时读取视频;
视频分析模块,被配置用于对食品加工过程中可能出现的违规行为进行检测;
违规行为图片存储模块,被配置用于存储检测到的违规行为的图片;
手机短信报警模块,被配置用于检测到违规行为时自动向管理人员发送短信进行报警;
日志记录模块,被配置用于记录违规行为出现时的包括时间、地点、行为类型在内的信息,也用于自动维护和显示数据库的访问记录;
参数配置模块,被配置用于供用户进行各种参数的配置。
此外,本发明还提出一种高校餐厅食品加工违规行为视频分析方法,该方法采用如上所述的高校餐厅食品加工违规行为视频分析系统,设该系统布设有N台摄像机,视频分析工作站有M个CPU核,N>>M,N除以M的整数商是K、余数是L,0≤L<M,i表示当前要进行视频读取和处理的CPU核编号,1≤i≤M;
当K和L确定后,P是与i有关的变量,且有:
当L<i时,P=K-1;
当L≥i时,P=K;
第1个CPU核负责第1台、第M+1台、第2M+1台、…、第PM+1台摄像机所采集视频的视频分析工作,第2个CPU核负责第2台、第M+2台、第2M+2台、…、第PM+2台摄像机所采集视频的视频分析工作,…,第M个CPU核负责第M台、第2M台、第3M台、…、第(P+1)M台摄像机所采集视频的视频分析工作;
具体包括如下步骤:
步骤1:设i=1;
步骤2:通过实时视频读取模块,读取配置文件,获取第i个CPU核所负责摄像机的各自的视频分析周期和需检测行为的编号,并将摄像机集合记为C i;每台摄像机需检测的行为类型通过参数配置模块事先存储在配置文件中;
步骤3:通过实时视频读取模块,读取C i中第1台摄像机第1个视频帧对应的图片,并根据该摄像机需检测的行为,通过视频分析模块,依次进行对应行为检测,当发现违规行为时,通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录;
步骤4:通过实时视频读取模块,依次读取C i中其它摄像机第1个视频帧对应的图片,并根据这些摄像机需检测的行为,通过视频分析模块,依次进行对应行为检测,当发现违规行为时,通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录;
步骤5:根据C i中各摄像机各自的视频分析周期,确定对这些摄像机进行视频分析的顺序;
步骤6:根据分析顺序,依次完成各摄像机其它视频帧的视频分析,当发现违规行为时通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录;
步骤7:令i=i+1,重复步骤2-6,直至完成所有M个CPU核所负责摄像机的视频分析工作。
优选地,违规行为,包括员工不着工作服行为和用素食案板加工生肉行为。
优选地,员工不着工作服行为的视频分析方法如下:
步骤S01:读取摄像机视频帧,生成待分析图片;
步骤S02:读取数据库中有效区域的信息,仅保留待分析图片的有效区域;
步骤S03:对待分析图片进行人脸检测;
步骤S04:判断是否检测到人脸区域;
若:判断结果是检测到人脸区域,则根据检测到的人脸区域长度和宽度,按比例和间距可确定上衣区域,并完成灰度化;
或判断结果是没有检测到人脸区域,则判定无违规行为,结束;
步骤S05:读取工作服模板图片,并完成灰度化;
步骤S06:判断上衣区域是否小于工作服模板;
若:判断结果是上衣区域小于工作服模板,则对工作服模板图片的长度和宽度进行同比例缩小;
判断结果是上衣区域大于或者等于工作服模板,则执行步骤S07;
步骤S07:根据互相关公式(1),计算互相关结果值,对上衣区域图片和工作服模板图片进行模板匹配;
Figure PCTCN2019087707-appb-000001
其中,T为尺寸为M′×N′的灰度化后的模板图片,S为灰度化后上衣区域图片中左上方与同T尺寸的图片,S i,j为灰度化后上衣区域图片中对S进行平移后的图片,i和j分别是行和列方向的平移像素数,
Figure PCTCN2019087707-appb-000002
为图片T所有像素灰度值的平均值,
Figure PCTCN2019087707-appb-000003
为图片S i,j所有像素灰度值的平均值,corr(i,j)为互相关运算的结果值;
判断互相关结果中的最大值是否大于阈值;
若:判断结果是互相关结果中的最大值大于阈值,则判定无违规行为,结束;
或判断结果是互相关结果中的最大值小于或者等于阈值,则判定有违规行为。
优选地,用素食案板加工生肉行为的视频分析方法如下:
步骤S11:读取摄像机视频帧,生成待分析图片;
步骤S12:对图片进行二值化;
步骤S13:对图片进行降噪;
步骤S14:对图片进行边缘检测;
步骤S15:利用Hough变换,在预处理后的图片中进行案板检测,并在原始图片中截取案板区域;
步骤S16:对原始图片中截取的案板区域进行RGB分割;
步骤S17:判断是否检测到红色区域;若:判断结果是检测到红色区域,则读取生肉模板图片;或判断结果是没有检测到红色区域,则判定无违规行为,结束;
步骤S18:计算互相关结果值,将原始图片中截取的案板区域与生肉图片进行模板匹配;判断互相关结果中的最大值是否大于阈值;
若:判断结果是互相关结果中的最大值大于阈值,则判定有违规行为,结束;
或判断结果是互相关结果中的最大值小于或者等于阈值,则判定无违规行为。
本发明所带来的有益技术效果:
本发明设计并开发了一套用于新一代学校餐厅食品安全管理信息系统的视频分析子系统,可对学校餐厅摄像机采集的视频进行分析,实现员工不着工作服、用素食案板加工生肉两种典型违规行为的自动检测;在传统的人脸检测、生肉检测等视觉检测算法的基础上,设计了检测上述两种违规行为的视频分析算法;测试结果验证了系统功能的正确性;所开发的视频分析子系统可提高预防食品安全风险的能力。
附图说明
图1为完整的视频监控系统的硬件组成图。
图2为视频分析子系统的模块组成图。
图3为视频分析子系统的工作主流程图。
图4为检测员工不着工作服行为的视频分析方法的流程图。
图5为检测用素食案板加工生肉行为的视频分析方法的流程图。
图6为员工是否着工作服行为的测试结果示意图;图(a)为员工着工作服时的示意图;图(b)为员工未着工作服时的示意图;图(c)为着工作服时的上衣区域示意图;图(d)为未着工作服时的上衣区域示意图。
图7为当发现员工未着工作服的违规行为时向系统管理员自动发送手机短信的示意图。
图8为素食案板上加工生肉行为的测试结果示意图。图(a)是待检测图片的示意图,图(b)是截取的案板区域示意图,图(c)是检测到的案板区域进行RGB分割后的结果示意图,图(d)是经模板匹配后检测到生肉后的图片的示意图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明:
1视频分析子系统的组成和主流程图
1.1视频分析子系统的组成
如图1所示,完整的视频监控硬件系统由高清摄像机、接入交换机、汇聚交换机、光模块、网络录像机、监视器、网线和光缆、视频分析工作站等连接组成。高清摄像机所采集的视频实时地传输至网络录像机进行存储。视频分析工作站则实时地采集网络录像机存储的视频,运行视频分析算法,当检测到违规行为时则通过本地GSM(Global System for Mobile communications,全球移动通信系统)模块或通过网络调用GSM服务器向管理人员发送报警短信。
视频分析子系统是所研发的食品安全管理信息系统中的一个软件子系统,它运行在视频分析工作站的硬件平台上。如图2所示,视频分析子系统由实时视频读取、视频分析、违规行为图片存储、手机短信报警、日志记录、参数配置6个模块组成。实时视频读取模块用于读取配置文件后从网络录像机实时读取视频。视频分析模块用于对食品加工过程中可能出现的违规行为进行检测。违规行为图片存储模块用于存储检测到违规行为时的图片,所存储的图片作为证据长期留存。手机短信报警模块用于检测到违规行为时自动向管理人员发送短信进行报警。日志记录模块用于记录违规行为出现时的时间、地点、行为类型等信息,也用于自动维护和显示数据库的访问记录。参数配置模块用于供用户进行各种参数的配置,如:网络录像机的IP地址和端口号、每台摄像机检测的违规行为类型、每台摄像机的视频帧采集周期等。
目前的视频分析模块支持员工不着工作服、用素食案板加工生肉2种违规行为的检测。该模块将来可以扩充检测其它违规行为的子模块,从而保证了系统具有良好的扩展性。
1.2视频分析子系统的工作主流程图
设布设有N台摄像机,视频分析工作站有M个CPU核(N>>M),N除以M的整数商是K、余数是L,0≤L<M,i表示当前要进行视频读取和处理的CPU核编号,1≤i≤M。当K和L确定后,P是与i有关的变量,且有:
当L<i时,P=K-1;
当L≥i时,P=K;
图3给出了视频分析子系统的工作主流程。从图中可以看出,第1个CPU核负责第1台、第M+1台、第2M+1台、…、第PM+1台摄像机所采集视频的视频分析工作,第2个CPU核负责第2台、第M+2台、第2M+2台、…、第PM+2台摄像机所采集视频的视频分析工作,…,第M个CPU核负责第M台、第2M台、第3M台、…、第(P+1)M台摄像机所采集视频的视频分析工作。
下面以第1个CPU核为例,介绍其工作流程。其它CPU核的工作流程与之类似。首先读取配置文件,获得摄像机1、M+1、2M+1、…、PM+1的视频分析周期和需检测行为的编号。这里需指出的是,有的摄像机只需要检测员工不着工作服的违规行为,有的摄像机只需要检测用素食案板加工生肉的违规行为,有的摄像机需要同时检测2种违规行为。每台摄像机需检测的行为类型都通过参数配置模块事先存储在配置文件中。接下来,读取摄像机1第1个视频帧对应的图片,并根据摄像机1需检测的行为,依次进行对应行为检测,当发现违规行为时进行违规图片存储、发送手机短信、完成日志记录。之后,摄像机M+1、2M+1、…、PM+1依次完成各自第1个视频帧的图片读取、行为检测。当发现违规行为时,分别进行违规图片存储、发送手机短信、违规日志记录的工作。然后,根据摄像机1、M+1、2M+1、…、PM+1各自的视频分析周期,确定对这些摄像机进行视频分析的顺序。例如,设摄像机1的视频分析周期为10s,摄像机M+1的视频分析周期为20s,摄像机2M+1、…、PM+1的视频分析周期为30s,则可确定出对应的视频分析顺序为:摄像机1的第2个视频帧、摄像机1的第3个视频帧、摄像机M+1的第2个视频帧、摄像机1的第4个视频帧、摄像机2M+1的第2个视频帧、…、摄像机PM+1的第2个视频帧、摄像机1的第5个视频帧、摄像机M+1的第3个视频帧、摄像机1的第6个视频帧、摄像机1的第7个视频帧、摄像机M+1的第4个视频帧、摄像机2M+1的第3个视频帧、…、摄像机PM+1的第3个视频帧、…。这里,每台摄像机两个相邻视频帧的时间间隔等于各自所设置的视频分析周期。当确定了对摄像机1、M+1、2M+1、…、PM+1进行视频分析的顺序后,根据分析顺序,依次完成后继视频帧的视频分析。当发现违规行为时,分别进行违规图片存储、发送手机短信、违规日志记录的工作。
2视频分析算法原理
2.1员工不着工作服行为的视频分析算法
为检测员工在工作区域内是否着工作服,其技术关键是图片中上衣区域的确定和与工作服模板图片的匹配。为实现上衣区域的确定,可首先利用成熟的人脸检测算法确定人脸区域,然后根据检测到的人脸长度和宽度的像素数,按人脸长度与宽度和上身长度与宽度的正常比例和人脸与上身的正常间距,可确定图片中上衣所在区域。为检测图片中上衣所在区域是否确实是餐厅员工的工作服,需事先存储工作服的图片作为模板,然后即可通过模板匹配的方法确定员工是否着工作服。考虑到工作人员处于监视区域不同位置时人脸所占据像素数的不同,当像素数相对较少从而上衣区域的像素数也较少时,对工作服模板图片进行同比例缩小,保证上衣区域的长度和宽度大于缩小后模板图片的长度和宽度。
在进行模板匹配时,用到如下互相关公式:
Figure PCTCN2019087707-appb-000004
其中,T为尺寸为M′×N′的灰度化后模板图片,S为灰度化后上衣区域图片中左上方与同T尺寸的图片,S i,j为灰度化后上衣区域图片中对S进行平移后的图片,i和j分别是行和列方向的平移像素数,
Figure PCTCN2019087707-appb-000005
为图片T所有像素灰度值的平均值,
Figure PCTCN2019087707-appb-000006
为图片S i,j所有像素灰度值的平均值,corr(i,j)corr为互相关运算的结果值。当计算出的互相关值中的最大值超过阈值时,则判定员工着工作服,否则判定员工未着工作服。考虑到所监视区域中可能只有部分区域属于工作人员的工作区域,为提高处理效率,可事先在数据库中存储各摄像机监控区域中的有效区域信息,在进行违规行为检测时只需在有效区域中检测即可。图4给出了检测员工不着工作服行为的视频分析方法的流程。
2.2用素食案板加工生肉行为的视频分析算法
为检测是否有在素食案板上加工生肉的行为,其技术关键是案板的检测和生肉与红色蔬菜的区分。案板一般为圆形或长方形且尺寸已知,可利用从图形中提取尺寸已知的圆形或长方形物体的方法进行检测。无论是圆形还是长方形的物体,均可采用Hough(霍夫)变换,将图像坐标空间变换到参数平面实现检测。下面以圆形检测为例简述其工作原理。圆形的方程可表示为:
Figure PCTCN2019087707-appb-000007
其中,(x 0,y 0)为圆心的坐标,r为圆的半径,(x,y)为圆上任意一点的坐标,θ为半径与x轴正向的夹角。以xy平面为参数平面,参数平面上任意一点的强度值等于图像平面上以该点为圆心,以r为半径的圆对应的像素点的强度值之和。参数平面上强度值最大的点对应检测到的圆心。在图像平面上以该点为圆心,以已知的半径r画出的圆即为检测到的圆形物体。需说明的是,在进行圆形检测前,需对图片进行二值化、降噪、边缘检测等预处理。实现案板的检测后,需对案板上摆放的生肉和蔬菜进行区分。可先利用RGB分割后得到的颜色信息进行初步划分,黄瓜、生菜等蔬菜为绿色,生肉为红色。但西红柿、胡萝卜等蔬菜也为红色,因此仅通过颜色信息不能完全准确区分。为实现生肉与红色蔬菜的区分,可利用与生肉模板图片进行模板匹配的方法完成。图5给出了检测用素食案板加工生肉行为的视频分析方法的流程。
3测试结果
利用C#和Matlab进行了混合编程,实现了视频实时读取、违规行为检测、违规行为短信报警等功能。Matlab语言主要用于实现图片读取、图片分析的功能,其它功能由C#语言实现。
图6为员工是否着工作服行为的测试结果示意图;图(a)为员工着工作服时的示意图;图(b)为员工未着工作服时的示意图;图(c)为着工作服时的上衣区域示意图;图(d)为未着工作服时的上衣区域示意图。经过与事先存储的工作服模板图片进行匹配,图(c)互相关的结果超过阈值,图(d)互相关的结果远小于阈值。图7显示了当发现员工未着工作服的违规行为时向系统管理员自动发送的手机短信。
图8是素食案板上加工生肉行为的测试结果示意图。图(a)是待检测图片的示意图,图(b)是截取的案板区域示意图,图(c)是检测到的案板区域进行RGB分割后的结果示意图,图(d)是经模板匹配后检测到生肉后的图片的示意图。
4结论
设计并开发了一套用于新一代学校餐厅食品安全管理信息系统的视频分析子系统,可对学校餐厅摄像机采集的视频进行分析,实现员工不着工作服、用素食案板加工生肉2种典型违规行为的自动检测。在传统的人脸检测、生肉检测等视觉检测算法的基础上,设计了检测上述2种违规行为的视频分析算法。测试结果验证了系统功能的正确性。所开发的视频分析子系统可提高预防食品安全风险的能力。下一步将对视频分析模块进行扩展,实现其它一些典型违规行为的自动检测。
当然,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。

Claims (5)

  1. 一种高校餐厅食品加工违规行为视频分析系统,其特征在于:包括硬件系统和软件系统;其中,
    硬件系统,包括摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器和视频分析工作站;摄像机、接入交换机、光模块、汇聚交换机、网络录像机、监视器通过光缆或网线依次连接,视频分析工作站和汇聚交换机通过网线连接;
    软件系统,包括视频分析子系统,其运行在视频分析工作站的硬件平台上;视频分析子系统包括实时视频读取模块、视频分析模块、违规行为图片存储模块、手机短信报警模块、日志记录模块和参数配置模块;
    实时视频读取模块,被配置用于读取配置文件后从网络录像机实时读取视频;
    视频分析模块,被配置用于对食品加工过程中可能出现的违规行为进行检测;
    违规行为图片存储模块,被配置用于存储检测到的违规行为的图片;
    手机短信报警模块,被配置用于检测到违规行为时自动向管理人员发送短信进行报警;
    日志记录模块,被配置用于记录违规行为出现时的包括时间、地点、行为类型在内的信息,也用于自动维护和显示数据库的访问记录;
    参数配置模块,被配置用于供用户进行各种参数的配置。
  2. 一种高校餐厅食品加工违规行为视频分析方法,其特征在于:采用如权利要求1所述的高校餐厅食品加工违规行为视频分析系统,设该系统布设有N台摄像机,视频分析工作站有M个CPU核,N>>M,N除以M的整数商是K、余数是L,0≤L<M,i表示当前要进行视频读取和处理的CPU核编号,1≤i≤M;
    当K和L确定后,P是与i有关的变量,且有:
    当L<i时,P=K-1;
    当L≥i时,P=K;
    第1个CPU核负责第1台、第M+1台、第2M+1台、…、第PM+1台摄像机所采集视频的视频分析工作,第2个CPU核负责第2台、第M+2台、第2M+2台、…、第PM+2台摄像机所采集视频的视频分析工作,…,第M个CPU核负责第M台、第2M台、第3M台、…、第(P+1)M台摄像机所采集视频的视频分析工作;
    具体包括如下步骤:
    步骤1:设i=1;
    步骤2:通过实时视频读取模块,读取配置文件,获取第i个CPU核所负责摄像机的各自的视频分析周期和需检测行为的编号,并将摄像机集合记为C i;每台摄像机需检测的行为类型通过参数配置模块事先存储在配置文件中;
    步骤3:通过实时视频读取模块,读取C i中第1台摄像机第1个视频帧对应的图片,并根据该摄像机需检测的行为,通过视频分析模块,依次进行对应行为检测,当发现违规行为时,通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录;
    步骤4:通过实时视频读取模块,依次读取C i中其它摄像机第1个视频帧对应的图片,并根据这些摄像机需检测的行为,通过视频分析模块,依次进行对应行为检测,当发现违规行为时,通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录;
    步骤5:根据C i中各摄像机各自的视频分析周期,确定对这些摄像机进行视频分析的顺序;
    步骤6:根据分析顺序,依次完成各摄像机其它视频帧的视频分析,当发现违规行为时通过违规行为图片存储模块进行违规图片存储、通过手机短信报警模块向管理人员发送短信进行报警、通过日志记录模块完成日志记录;
    步骤7:令i=i+1,重复步骤2-6,直至完成所有M个CPU核所负责摄像机的视频分析工作。
  3. 根据权利要求2所述的高校餐厅食品加工违规行为视频分析方法,其特征在于:违规行为,包括员工不着工作服行为和用素食案板加工生肉行为。
  4. 根据权利要求3所述的高校餐厅食品加工违规行为视频分析方法,其特征在于:员工不着工作服行为的视频分析方法如下:
    步骤S01:读取摄像机视频帧,生成待分析图片;
    步骤S02:读取数据库中有效区域的信息,仅保留待分析图片的有效区域;
    步骤S03:对待分析图片进行人脸检测;
    步骤S04:判断是否检测到人脸区域;
    若:判断结果是检测到人脸区域,则根据检测到的人脸区域长度和宽度,按比例和间距可确定上衣区域,并完成灰度化;
    或判断结果是没有检测到人脸区域,则判定无违规行为,结束;
    步骤S05:读取工作服模板图片,并完成灰度化;
    步骤S06:判断上衣区域是否小于工作服模板;
    若:判断结果是上衣区域小于工作服模板,则对工作服模板图片的长度和宽度进行同比例缩小;
    判断结果是上衣区域大于或者等于工作服模板,则执行步骤S07;
    步骤S07:根据互相关公式(1),计算互相关结果值,对上衣区域图片和工作服模板图 片进行模板匹配;
    Figure PCTCN2019087707-appb-100001
    其中,T为尺寸为M′×N′的灰度化后的模板图片,S为灰度化后上衣区域图片中左上方与同T尺寸的图片,S i,j为灰度化后上衣区域图片中对S进行平移后的图片,i和j分别是行和列方向的平移像素数,
    Figure PCTCN2019087707-appb-100002
    为图片T所有像素灰度值的平均值,
    Figure PCTCN2019087707-appb-100003
    为图片S i,j所有像素灰度值的平均值,corr(i,j)为互相关运算的结果值;
    判断互相关结果中的最大值是否大于阈值;
    若:判断结果是互相关结果中的最大值大于阈值,则判定无违规行为,结束;
    或判断结果是互相关结果中的最大值小于或者等于阈值,则判定有违规行为。
  5. 根据权利要求3所述的高校餐厅食品加工违规行为视频分析方法,其特征在于:用素食案板加工生肉行为的视频分析方法如下:
    步骤S11:读取摄像机视频帧,生成待分析图片;
    步骤S12:对图片进行二值化;
    步骤S13:对图片进行降噪;
    步骤S14:对图片进行边缘检测;
    步骤S15:利用Hough变换,在预处理后的图片中进行案板检测,并在原始图片中截取案板区域;
    步骤S16:对原始图片中截取的案板区域进行RGB分割;
    步骤S17:判断是否检测到红色区域;若:判断结果是检测到红色区域,则读取生肉模板图片;或判断结果是没有检测到红色区域,则判定无违规行为,结束;
    步骤S18:计算互相关结果值,将原始图片中截取的案板区域与生肉图片进行模板匹配;判断互相关结果中的最大值是否大于阈值;
    若:判断结果是互相关结果中的最大值大于阈值,则判定有违规行为,结束;
    或判断结果是互相关结果中的最大值小于或者等于阈值,则判定无违规行为。
PCT/CN2019/087707 2018-09-19 2019-05-21 一种高校餐厅食品加工违规行为视频分析系统及方法 WO2020057159A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811091998.5A CN109089160B (zh) 2018-09-19 2018-09-19 一种高校餐厅食品加工违规行为视频分析系统及方法
CN201811091998.5 2018-09-19

Publications (1)

Publication Number Publication Date
WO2020057159A1 true WO2020057159A1 (zh) 2020-03-26

Family

ID=64842122

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/087707 WO2020057159A1 (zh) 2018-09-19 2019-05-21 一种高校餐厅食品加工违规行为视频分析系统及方法

Country Status (2)

Country Link
CN (1) CN109089160B (zh)
WO (1) WO2020057159A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089160B (zh) * 2018-09-19 2020-11-03 中国石油大学(华东) 一种高校餐厅食品加工违规行为视频分析系统及方法
CN109993069A (zh) * 2019-03-12 2019-07-09 秒针信息技术有限公司 厨具检测方法和装置及系统、存储介质
CN109905680A (zh) * 2019-04-15 2019-06-18 秒针信息技术有限公司 操作的监控方法及装置、存储介质、电子装置
CN110166741A (zh) * 2019-04-15 2019-08-23 深圳壹账通智能科技有限公司 基于人工智能的环境监控方法、装置、设备及存储介质
CN110363428A (zh) * 2019-07-16 2019-10-22 上海秒针网络科技有限公司 一种档案关联处理方法及装置
CN110460814A (zh) * 2019-08-12 2019-11-15 上海秒针网络科技有限公司 指示信息的发送方法及装置、存储介质、电子装置
CN110689054B (zh) * 2019-09-10 2022-04-01 华中科技大学 一种工人违规行为监测方法
CN110636260A (zh) * 2019-09-11 2019-12-31 安徽超清科技股份有限公司 一种基于大数据的明厨亮灶管理方法
CN111310539A (zh) * 2019-11-26 2020-06-19 上海秒针网络科技有限公司 食品加工区域的监管方法和装置
CN112541391A (zh) * 2020-10-30 2021-03-23 四川天翼网络服务有限公司 一种基于考试视频分析的违规行为识别方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1351305A (zh) * 2001-08-18 2002-05-29 贺贵明 粮库粮虫智能监测系统及方法
US20140043296A1 (en) * 2012-08-08 2014-02-13 Uni-Structure, Inc. Switch System for Outputting Multimedia Content to a Digital Sign
CN206805626U (zh) * 2017-06-05 2017-12-26 深圳玖捌伍亮厨科技有限公司 一种可视化智能餐饮门店管理系统
CN206805256U (zh) * 2017-05-26 2017-12-26 莫进惠 一种多级智能远程监管系统
CN109089160A (zh) * 2018-09-19 2018-12-25 中国石油大学(华东) 一种高校餐厅食品加工违规行为视频分析系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
CN106412513B (zh) * 2016-10-14 2019-06-11 环球大数据科技有限公司 视频处理系统及处理方法
CN106936964B (zh) * 2016-12-14 2019-11-19 惠州旭鑫智能技术有限公司 一种基于霍夫变换模板匹配的手机屏幕角点检测方法
CN106998450A (zh) * 2017-04-21 2017-08-01 林仁昌 一种提供餐厅食品加工画面的方法及系统
CN107564035B (zh) * 2017-07-31 2020-10-09 华南农业大学 基于重要区域识别和匹配的视频跟踪方法
CN107609544A (zh) * 2017-10-27 2018-01-19 华润电力技术研究院有限公司 一种检测方法以及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1351305A (zh) * 2001-08-18 2002-05-29 贺贵明 粮库粮虫智能监测系统及方法
US20140043296A1 (en) * 2012-08-08 2014-02-13 Uni-Structure, Inc. Switch System for Outputting Multimedia Content to a Digital Sign
CN206805256U (zh) * 2017-05-26 2017-12-26 莫进惠 一种多级智能远程监管系统
CN206805626U (zh) * 2017-06-05 2017-12-26 深圳玖捌伍亮厨科技有限公司 一种可视化智能餐饮门店管理系统
CN109089160A (zh) * 2018-09-19 2018-12-25 中国石油大学(华东) 一种高校餐厅食品加工违规行为视频分析系统及方法

Also Published As

Publication number Publication date
CN109089160B (zh) 2020-11-03
CN109089160A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
WO2020057159A1 (zh) 一种高校餐厅食品加工违规行为视频分析系统及方法
CN106056079B (zh) 一种图像采集设备及人脸五官的遮挡检测方法
CN105160297B (zh) 基于肤色特征的蒙面人事件自动检测方法
CN103514694A (zh) 一种入侵检测监控系统
CN104902218A (zh) 广域安防系统中视频监控子网性能监测系统及方法
CN110826538A (zh) 一种用于电力营业厅的异常离岗识别系统
CN107564225A (zh) 一种图像检测报警系统
CN110650316A (zh) 智能巡逻及预警处理方法、装置、电子设备及存储介质
CN109460744B (zh) 一种基于深度学习的视频监控系统
CN103093177A (zh) 人脸辨识监控管理方法
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN112560816A (zh) 一种基于YOLOv4的设备指示灯识别方法及系统
CN111918039A (zh) 基于5g网络的人工智能高风险作业管控系统
CN109243139A (zh) 一种人员安全监控方法、终端设备、系统及存储介质
CN108174198B (zh) 一种视频图像质量诊断分析检测设备及应用系统
CN112001327A (zh) 一种阀厅设备故障识别方法及系统
CN113297913A (zh) 一种配网现场作业人员穿衣规范的识别方法
CN107820051A (zh) 监控系统及其监控方法和装置
KR102149832B1 (ko) 딥러닝 기반의 자동 폭력 감지 시스템
CN108073854A (zh) 一种现场巡检的检测方法及装置
CN109068105A (zh) 一种基于深度学习的监狱视频监控方法
CN111932709A (zh) 一种基于ai识别实现加油站巡检作业违规安全监管的方法
CN113111771A (zh) 一种发电厂工作人员不安全行为的识别方法
CN211184122U (zh) 铁路作业安全防控和大客流预警联动的智能视频分析系统
CN112153373A (zh) 明厨亮灶设备的故障识别方法、装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19862506

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19862506

Country of ref document: EP

Kind code of ref document: A1