WO2021208735A1 - 行为检测方法、装置及计算机可读存储介质 - Google Patents

行为检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
WO2021208735A1
WO2021208735A1 PCT/CN2021/084310 CN2021084310W WO2021208735A1 WO 2021208735 A1 WO2021208735 A1 WO 2021208735A1 CN 2021084310 W CN2021084310 W CN 2021084310W WO 2021208735 A1 WO2021208735 A1 WO 2021208735A1
Authority
WO
WIPO (PCT)
Prior art keywords
detected
video
target detection
target
human body
Prior art date
Application number
PCT/CN2021/084310
Other languages
English (en)
French (fr)
Inventor
芦文峰
刘伟超
郭倜颖
贾怀礼
陈远旭
Original Assignee
平安科技(深圳)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技(深圳)有限公司 filed Critical 平安科技(深圳)有限公司
Publication of WO2021208735A1 publication Critical patent/WO2021208735A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Definitions

  • the inventor realizes that the existing target detection generally uses machine vision to detect short-distance targets, but in far-away scene applications, such as the detection of small targets such as cigarettes and telephones, because the target is small, far away, Problems such as difficulty in detection result in low accuracy, high misjudgment rate, and limited application scenarios in existing target detection schemes.
  • Logistic regression processing is performed on the target detection result and the posture classification result to obtain the behavior detection result of the human body in the video to be detected.
  • an electronic device which includes:
  • the behavior detection method of the embodiment of the present application includes the following steps:
  • S122 Perform normalization processing on the key point information, and obtain conversion coordinate information corresponding to the key point information;
  • S132 Acquire a first distance between the target detection frame and the hand position, and a second distance between the target detection frame and the target to be measured;
  • the posture classification result obtaining unit 102 is configured to extract key point information of the human body in the video to be detected, and preprocess the key point information to obtain a posture classification result corresponding to the human body in the video to be detected;
  • the probability of the behavior detection result is determined based on the first distance, the second distance, the confidence of the target position to be measured, and the posture classification result.
  • FIG. 3 only shows an electronic device with components. Those skilled in the art can understand that the structure shown in FIG. 2 does not constitute a limitation on the electronic device 1, and may include fewer or more components than shown in the figure. Components, or a combination of certain components, or different component arrangements.
  • the electronic device 1 may also include a power source (such as a battery) for supplying power to various components.
  • the power source may be logically connected to the at least one processor 10 through a power management device, thereby controlling power
  • the device implements functions such as charge management, discharge management, and power consumption management.
  • the power supply may also include any components such as one or more DC or AC power supplies, recharging devices, power failure detection circuits, power converters or inverters, and power status indicators.
  • the electronic device 1 may also include various sensors, Bluetooth modules, Wi-Fi modules, etc., which will not be repeated here.
  • the electronic device 1 may also include a network interface.
  • the network interface may include a wired interface and/or a wireless interface (such as a WI-FI interface, a Bluetooth interface, etc.), which is usually used in the electronic device 1 Establish a communication connection with other electronic devices.
  • Logistic regression processing is performed on the target detection result and the posture classification result to obtain the behavior detection result of the human body in the video to be detected.
  • the training process of the target detection model includes:
  • the step of obtaining a target detection result corresponding to the video to be detected includes:
  • the categories to which the K points belong are compared, and the key points corresponding to the converted coordinate information are classified into the behavior with the highest proportion among the K points.
  • the present application also provides a computer-readable storage medium.
  • the computer-readable storage medium stores at least one instruction, and the at least one instruction is executed by a processor in an electronic device as follows:
  • the blockchain referred to in this application is a new application mode of computer technology such as distributed data storage, point-to-point transmission, consensus mechanism, and encryption algorithm.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with cryptographic methods. Each data block contains a batch of network transaction information for verification. The validity of the information (anti-counterfeiting) and the generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

一种行为检测方法,涉及深度学习技术领域,该方法包括将待检测视频输入训练完成的目标检测模型中,获取与待检测视频对应的目标检测结果(S110);提取待检测视频中人体的关键点信息,并对关键点信息进行预处理,获取与待检测视频中的人体对应的姿态分类结果(S120);对目标检测结果及姿态分类结果进行逻辑回归处理,获取待检测视频中的人体的行为检测结果(S130)。该方法可以结合姿态分类结果和目标检测结果的融合进行目标行为检测,行为检测的速度快和准确度高。

Description

行为检测方法、装置及计算机可读存储介质
本申请要求于2020年11月17日提交中国专利局、申请号为2020112859168,发明名称为“行为检测方法、装置、电子设备及计算机可读存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及行为检测技术领域,尤其涉及一种行为检测方法、装置、电子设备及计算机可读存储介质。
背景技术
目前,在公共室内场合、大型工地现场或车辆驾驶室内,吸烟、打电话或喝水等常见的行为,容易导致不文明影响或存在安全隐患,而采用传统的人工监管方式,成本较高,不能进行全程监控,存在监控疏忽或误判的情况。
而现有的目标检测作为辅助驾驶系统或者视频监控等应用中的一项重要检测项目,其通常是对无遮挡、遮挡不严重或者行动幅度较大的人体进行常规的姿态检测,但是对于目标较小或者不易察觉的目标检测精度较低,导致其检测效果差,适用范围受限。
此外,发明人意识到现有的目标检测普遍通过机器视觉对近距离的目标进行检测,但在较远场景应用中,例如对香烟、电话等微小目标进行检测时,由于目标小、距离远、不易检测等问题,导致现有的目标检测方案精度低、误判率高、适用场景受限。
发明内容
本申请提供一种行为检测方法、装置、电子设备及计算机可读存储介质,其主要目的在于解决现有目标检测方案存在的精度低、误判率高、适用场景受限等问题,以提高目标检测的速度和精度。
为实现上述目的,本申请提供的一种行为检测方法,包括:
将待检测视频输入训练完成的目标检测模型中,获取与所述待检测视频对应的目标检测结果;
提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果;
对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中 的人体的行为检测结果。
为了解决上述问题,本申请还提供一种行为检测装置,所述装置包括:
目标检测结果获取单元,用于将待检测视频输入训练完成的目标检测模型中,获取与所述待检测视频对应的目标检测结果;
姿态分类结果获取单元,用于提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果;
行为检测结果获取单元,用于对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果。
为了解决上述问题,本申请还提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现上述所述的行为检测方法。
为了解决上述问题,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行如下步骤:
将待检测视频输入训练完成的目标检测模型中,获取与所述待检测视频对应的目标检测结果;
提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果;
对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果。
本申请实施例提供的行为检测方法、装置、设备及存储介质,可通过目标检测模型获取与待检测视频对应的目标检测结果;提取人体的关键点信息,并基于关键点信息进行姿态分类,然后将姿态分类结果和目标检测结果进行逻辑回归处理,实现更高精度的人体行为检测,可实现对小目标的远距离高精度检测。
附图说明
图1为本申请一实施例提供的行为检测方法的流程示意图;
图2为本申请一实施例提供的行为检测装置的模块示意图;
图3为本申请一实施例提供的实现行为检测方法的电子设备的内部结构示意图;
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供一种行为检测方法。参照图1所示,为本申请一实施例提供的行为检测方法的流程示意图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现,该行为检测方法包括S110:将待检测视频输入训练完成的目标检测模型中,获取与待检测视频对应的目标检测结果;S120:提取待检测视频中人体的关键点信息,并对关键点信息进行预处理,获取与待检测视频中的人体对应的姿态分类结果;S130:最后对目标检测结果及姿态分类结果进行逻辑回归处理,以获取待检测视频中的人体的行为检测结果。
如图1所示,本申请实施例的行为检测方法,包括以下步骤:
S110:将待检测视频输入训练完成的目标检测模型中,获取与待检测视频对应的目标检测结果。
其中,目标检测模型的训练过程进一步包括:
S111、获取带有目标行为的训练数据集,训练数据集存储于区块链中,训练数据中包括采集到的抽烟、打手机或者喝水等各种小目标行为。
需要强调的是,为进一步保证上述训练数据集的私密和安全性,上述训练数据集还可以存储于一区块链的节点中。
S112、对训练数据集中的目标行为进行标注,并获取标注位置信息;其中,目标行为的标注主要是指对上述烟头、手机或水杯等目标的标注。
S113、利用yolo模型对标注位置信息进行参数训练,直至yolo模型收敛在预设范围内,完成目标检测模型的训练。
其中,yolo模型主要是将物体检测作为回归问题进行求解,基于一个单独的end-to-end网络,完成从原始图像的输入到物体位置和类别的输出。可知,yolo训练和检测均是在一个单独网络中进行,yolo将物体检测作为一个回归问题进行求解,输入图像经过一次inference,便能得到图像中所有物体的位置和其所属类别及相应的置信概率。
具体地,yolo检测网络可包括24个卷积层和2个全连接层。其中,卷积层用来提取图像特征,全连接层用来预测图像位置和类别概率值。
进一步地,获取与待检测视频对应的目标检测结果的步骤包括:
S114:提取待检测视频中的帧图像;
S115:将所有的帧图像均输入训练完成后的目标检测模型中进行目标检测处理;
S116:目标检测模型输出与各帧图像分别对应的目标检测框,作为目标检测结果;此 外,该目标检测结果除了包括目标检测框以外,还可以包括目标检测模型的置信度信息。
在执行上述步骤S110的同时,还可以同步执行下述步骤S120,或者,上述步骤S110和步骤S120可不分先后并列执行等,然后对两个步骤的结果进行融合即可确定最终的行为检测结果。
S120:提取待检测视频中人体的关键点信息,并对关键点信息进行预处理,获取与待检测视频中的人体对应的姿态分类结果。
在该步骤中,提取待检测视频中人体的关键点信息,并对关键点信息进行预处理,获取与待检测视频中的人体对应的姿态分类结果的步骤包括:
S121:基于alphapose开源系统提取待检测视频中人体的关键点信息;
S122:对关键点信息进行归一化处理,并获取与关键点信息对应的转换坐标信息;
S123:基于KNN邻近算法比对转换坐标信息及预设经验图像集中的标准坐标信息,获取与待检测视频中人体对应的姿态分类结果。
进一步地,KNN邻近算法比对的步骤包括:
1、获取转换坐标信息与预设经验图像集中的各样本点之间的距离,以获取与各样本点对应的距离信息;
2、对各距离信息进行排序,并选择距离小于预设值的K个点;
3、对K个点所属的类别进行比较,将转换坐标信息对应的关键点归入在K个点中占比最高的一类行为。
另外,对关键点信息进行归一化处理的过程包括:
首先,设定人体的第i个关键点为K i,K i的坐标表示为(x i,y i);其中,i=0,1,2,m,m表示关键点的个数,例如当关键点有18个时,m=18。
然后,设定以关键点1(预设目标关键点)为中心点进行坐标转换处理的公式如下:
x′ i=x i-x 1
y′ i=y i-y 1
其中,x 1表示关键点1的横坐标,y 1表示关键点1的纵坐标,x′ i表示关键点K i转换后的横坐标,y′ i表示关键点K i转换后的纵坐标。
其次,选取人体的身体各部位长度的平均值进行处理,获取与各部位对应的平均值,平均值公式如下所示:
Figure PCTCN2021084310-appb-000001
其中,l i表示身体各部位的长度,n为检测出的身体各部位的数目。
然后,对人体各部位关键点进行归一化处理,处理公式如下:
Figure PCTCN2021084310-appb-000002
Figure PCTCN2021084310-appb-000003
其中,(x″ i,y″ i)表示人体的第i个关键点K i归一化处理之后的坐标值,即转换坐标信息。
通过上述可知,对所述关键点信息的预处理即包括归一化处理以及基于KNN邻近算法比对的处理。
S130:对目标检测结果及姿态分类结果进行逻辑回归处理,获取待检测视频中的人体的行为检测结果。
在该步骤中,对目标检测结果及姿态分类结果进行逻辑回归处理,获取待检测视频中的人体的行为检测结果的步骤包括:
S131:根据关键点信息确定待检测视频中人体的手部位置及待测目标位置的置信度;
S132:获取目标检测框与手部位置之间的第一距离,以及目标检测框与待测目标之间的第二距离;
S133:基于第一距离、第二距离、待测目标位置的置信度和姿态分类结果,确定行为检测结果的概率。
作为示例,当检测的目标行为是抽烟行为时,在对目标检测结果及姿态分类结果进行逻辑回归处理时,首先,获取香烟检测框(即目标检测框)与手部位置的距离x1、香烟检测框与手部位置的距离x2、香烟位置的置信度x3、姿态分类结果x4,共4个数值;
然后,利用如下逻辑回归方法,输入(x1,x2,x3,x4)的4维数据,计算最终吸烟行为的概率:
Figure PCTCN2021084310-appb-000004
Figure PCTCN2021084310-appb-000005
其中,Y=1表示吸烟行为的概率,Y=0表示未吸烟行为的概率,x表示(x1,x2,x3,x4)组成的4维数据,w和b为通过逻辑回归方法训练得到的参数,w和b的获取步骤如下:
1、输入经验集图像数据(对目标行为,例如是否抽烟已进行标注),针对每张图像得到对应的(x1,x2,x3,x4)的4维数据;
2、输入上述4维数据,利用逻辑回归方法训练得到w和b参数。
与上述行为检测方法相对应,本申请还提供一种行为检测装置。
具体地,图2示出了根据本申请实施例的行为检测装置的功能模块图。
如图2所示,本申请实施例的行为检测装置100可以安装于电子设备中。根据实现的功能,所述行为检测装置可以包括目标检测结果获取单元101、姿态分类结果获取单元102、行为检测结果获取单元103。本发所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
目标检测结果获取单元101,用于将待检测视频输入训练完成的目标检测模型中,获取与所述待检测视频对应的目标检测结果;
姿态分类结果获取单元102,用于提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果;
行为检测结果获取单元103,用于对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果。
可选地,所述目标检测模型的训练过程包括:
获取带有目标行为的训练数据集,所述训练数据集存储于区块链中;
对所述训练数据集中的所述目标行为进行标注,并获取标注位置信息;
利用yolo模型对所述标注位置信息进行参数训练,直至所述yolo模型收敛在预设范围内,完成所述目标检测模型的训练。
可选地,所述获取与所述待检测视频对应的目标检测结果的步骤包括:
提取所述待检测视频中的帧图像;
将所述帧图像输入训练完成后的所述目标检测模型;
所述目标检测模型输出与所述帧图像对应的目标检测框,作为所述目标检测结果。
可选地,所述提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果的步骤包括:
基于alphapose开源系统提取所述待检测视频中人体的关键点信息;
对所述关键点信息进行归一化处理,并获取与所述关键点信息对应的转换坐标信息;
基于KNN邻近算法比对所述转换坐标信息及预设经验图像集中的标准坐标信息,获取与所述待检测视频中人体对应的姿态分类结果。
可选地,所述KNN邻近算法比对的步骤包括:
获取所述转换坐标信息与所述预设经验图像集中的各样本点之间的距离,以获取与各样本点对应的距离信息;
对各距离信息进行排序,并选择距离小于预设值的K个点;
对K个点所属的类别进行比较,将所述转换坐标信息对应的关键点归入在K个点中占比最高的一类行为。
可选地,所述对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果的步骤包括:
根据所述关键点信息确定待检测视频中人体的手部位置及待测目标位置的置信度;
获取所述目标检测框与所述手部位置之间的第一距离,以及所述目标检测框与所述待测目标之间的第二距离;
基于所述第一距离、第二距离、所述待测目标位置的置信度和所述姿态分类结果,确定所述行为检测结果的概率。
可知,根据本申请提供的行为检测方法及装置,能够提取人体关键点信息,并基于关键点信息进行人体姿态分析,实现对吸烟、打手机等行为的分类,通过目标检测模型对香烟、电话等小目标进行检测,增强目标行为的可信度,最后利用逻辑回归的方法,将人体姿态分析结果和目标检测结果进行融合,实现更高精度的行为检测,检测精度高、速度快,且可适用范围广、可适用的场景多。
图3示出了根据本申请实施例的实现行为检测方法的电子设备的结构示意图。如图3所示,所述电子设备1可以包括处理器10、存储器11和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如行为检测程序12。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如行为检测程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电 路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如行为检测程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图2示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的行为检测程序12是多个指令的组合,在所 述处理器10中运行时,可以实现:
将待检测视频输入训练完成的目标检测模型中,获取与所述待检测视频对应的目标检测结果;
提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果;
对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果。
可选地,所述目标检测模型的训练过程包括:
获取带有目标行为的训练数据集,所述训练数据集存储于区块链中;
对所述训练数据集中的所述目标行为进行标注,并获取标注位置信息;
利用yolo模型对所述标注位置信息进行参数训练,直至所述yolo模型收敛在预设范围内,完成所述目标检测模型的训练。
可选地,所述获取与所述待检测视频对应的目标检测结果的步骤包括:
提取所述待检测视频中的帧图像;
将所述帧图像输入训练完成后的所述目标检测模型;
所述目标检测模型输出与所述帧图像对应的目标检测框,作为所述目标检测结果。
可选地,所述提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果的步骤包括:
基于alphapose开源系统提取所述待检测视频中人体的关键点信息;
对所述关键点信息进行归一化处理,并获取与所述关键点信息对应的转换坐标信息;
基于KNN邻近算法比对所述转换坐标信息及预设经验图像集中的标准坐标信息,获取与所述待检测视频中人体对应的姿态分类结果。
可选地,所述KNN邻近算法比对的步骤包括:
获取所述转换坐标信息与所述预设经验图像集中的各样本点之间的距离,以获取与各样本点对应的距离信息;
对各距离信息进行排序,并选择距离小于预设值的K个点;
对K个点所属的类别进行比较,将所述转换坐标信息对应的关键点归入在K个点中占比最高的一类行为。
可选地,所述对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果的步骤包括:
根据所述关键点信息确定待检测视频中人体的手部位置及待测目标位置的置信度;
获取所述目标检测框与所述手部位置之间的第一距离,以及所述目标检测框与所述待测目标之间的第二距离;
基于所述第一距离、第二距离、所述待测目标位置的置信度和所述姿态分类结果,确定所述行为检测结果的概率。
具体地,所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。需要强调的是,为进一步保证上述训练数据集的私密和安全性,上述训练数据集还可以存储于一区块链的节点中。
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读存储介质可以是非易失性,也可以是易失性,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本申请还提供一种计算机可读存储介质,计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行如下步骤:
将待检测视频输入训练完成的目标检测模型中,获取与所述待检测视频对应的目标检测结果;
提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果;
对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。

Claims (20)

  1. 一种行为检测方法,其中,所述方法包括:
    将待检测视频输入训练完成的目标检测模型中,获取与所述待检测视频对应的目标检测结果;
    提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果;
    对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果。
  2. 如权利要求1所述的行为检测方法,其中,所述目标检测模型的训练过程包括:
    获取带有目标行为的训练数据集,所述训练数据集存储于区块链中;
    对所述训练数据集中的所述目标行为进行标注,并获取标注位置信息;
    利用yolo模型对所述标注位置信息进行参数训练,直至所述yolo模型收敛在预设范围内,完成所述目标检测模型的训练。
  3. 如权利要求2所述的行为检测方法,其中,所述获取与所述待检测视频对应的目标检测结果的步骤包括:
    提取所述待检测视频中的帧图像;
    将所述帧图像输入训练完成后的所述目标检测模型;
    所述目标检测模型输出与所述帧图像对应的目标检测框,作为所述目标检测结果。
  4. 如权利要求1所述的行为检测方法,其中,所述提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果的步骤包括:
    基于alphapose开源系统提取所述待检测视频中人体的关键点信息;
    对所述关键点信息进行归一化处理,并获取与所述关键点信息对应的转换坐标信息;
    基于KNN邻近算法比对所述转换坐标信息及预设经验图像集中的标准坐标信息,获取与所述待检测视频中人体对应的姿态分类结果。
  5. 如权利要求4所述的行为检测方法,其中,所述KNN邻近算法比对的步骤包括:
    获取所述转换坐标信息与所述预设经验图像集中的各样本点之间的距离,以获取与各样本点对应的距离信息;
    对各距离信息进行排序,并选择距离小于预设值的K个点;
    对K个点所属的类别进行比较,将所述转换坐标信息对应的关键点归入在K个点中 占比最高的一类行为。
  6. 如权利要求3所述的行为检测方法,其中,所述对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果的步骤包括:
    根据所述关键点信息确定待检测视频中人体的手部位置及待测目标位置的置信度;
    获取所述目标检测框与所述手部位置之间的第一距离,以及所述目标检测框与所述待测目标之间的第二距离;
    基于所述第一距离、第二距离、所述待测目标位置的置信度和所述姿态分类结果,确定所述行为检测结果的概率。
  7. 如权利要求4所述的行为检测方法,其中,所述对所述关键点信息进行归一化处理的步骤包括:
    在所述关键点信息中预设目标关键点,并以所述目标关键点为中心对所有关键点信息进行坐标转换;
    获取所述待检测视频中的人体的各部位的平均值;
    基于所述平均值,对所述坐标转换后的关键点信息进行归一化处理,以获取与所述关键点信息对应的转换坐标信息。
  8. 一种行为检测装置,其中,所述装置包括:
    目标检测结果获取单元,用于将待检测视频输入训练完成的目标检测模型中,获取与所述待检测视频对应的目标检测结果;
    姿态分类结果获取单元,用于提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果;
    行为检测结果获取单元,用于对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果。
  9. 如权利要求8所述的行为检测装置,其中,所述目标检测模型的训练过程包括:
    获取带有目标行为的训练数据集,所述训练数据集存储于区块链中;
    对所述训练数据集中的所述目标行为进行标注,并获取标注位置信息;
    利用yolo模型对所述标注位置信息进行参数训练,直至所述yolo模型收敛在预设范围内,完成所述目标检测模型的训练。
  10. 如权利要求9所述的行为检测装置,其中,所述获取与所述待检测视频对应的目标检测结果的步骤包括:
    提取所述待检测视频中的帧图像;
    将所述帧图像输入训练完成后的所述目标检测模型;
    所述目标检测模型输出与所述帧图像对应的目标检测框,作为所述目标检测结果。
  11. 如权利要求8所述的行为检测装置,其中,所述提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果的步骤包括:
    基于alphapose开源系统提取所述待检测视频中人体的关键点信息;
    对所述关键点信息进行归一化处理,并获取与所述关键点信息对应的转换坐标信息;
    基于KNN邻近算法比对所述转换坐标信息及预设经验图像集中的标准坐标信息,获取与所述待检测视频中人体对应的姿态分类结果。
  12. 如权利要求11所述的行为检测装置,其中,所述KNN邻近算法比对的步骤包括:
    获取所述转换坐标信息与所述预设经验图像集中的各样本点之间的距离,以获取与各样本点对应的距离信息;
    对各距离信息进行排序,并选择距离小于预设值的K个点;
    对K个点所属的类别进行比较,将所述转换坐标信息对应的关键点归入在K个点中占比最高的一类行为。
  13. 如权利要求10所述的行为检测装置,其中,所述对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果的步骤包括:
    根据所述关键点信息确定待检测视频中人体的手部位置及待测目标位置的置信度;
    获取所述目标检测框与所述手部位置之间的第一距离,以及所述目标检测框与所述待测目标之间的第二距离;
    基于所述第一距离、第二距离、所述待测目标位置的置信度和所述姿态分类结果,确定所述行为检测结果的概率。
  14. 一种电子设备,其中,所述电子设备包括:
    至少一个处理器;以及,
    与所述处理器通信连接的存储器;其中,
    所述存储器存储有可被所述处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述处理器能够执行如权利要求1至7中任一所述的行为检测方法。
  15. 一种计算机可读存储介质,存储有计算机程序,其中,所述计算机程序被处理器执行时实现如下步骤:
    将待检测视频输入训练完成的目标检测模型中,获取与所述待检测视频对应的目标检测结果;
    提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果;
    对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果。
  16. 如权利要求15所述的计算机可读存储介质,其中,所述目标检测模型的训练过程包括:
    获取带有目标行为的训练数据集,所述训练数据集存储于区块链中;
    对所述训练数据集中的所述目标行为进行标注,并获取标注位置信息;
    利用yolo模型对所述标注位置信息进行参数训练,直至所述yolo模型收敛在预设范围内,完成所述目标检测模型的训练。
  17. 如权利要求16所述的计算机可读存储介质,其中,所述获取与所述待检测视频对应的目标检测结果的步骤包括:
    提取所述待检测视频中的帧图像;
    将所述帧图像输入训练完成后的所述目标检测模型;
    所述目标检测模型输出与所述帧图像对应的目标检测框,作为所述目标检测结果。
  18. 如权利要求15所述的计算机可读存储介质,其中,所述提取所述待检测视频中人体的关键点信息,并对所述关键点信息进行预处理,获取与所述待检测视频中的人体对应的姿态分类结果的步骤包括:
    基于alphapose开源系统提取所述待检测视频中人体的关键点信息;
    对所述关键点信息进行归一化处理,并获取与所述关键点信息对应的转换坐标信息;
    基于KNN邻近算法比对所述转换坐标信息及预设经验图像集中的标准坐标信息,获取与所述待检测视频中人体对应的姿态分类结果。
  19. 如权利要求18所述的计算机可读存储介质,其中,所述KNN邻近算法比对的步骤包括:
    获取所述转换坐标信息与所述预设经验图像集中的各样本点之间的距离,以获取与各样本点对应的距离信息;
    对各距离信息进行排序,并选择距离小于预设值的K个点;
    对K个点所属的类别进行比较,将所述转换坐标信息对应的关键点归入在K个点中 占比最高的一类行为。
  20. 如权利要求17所述的计算机可读存储介质,其中,所述对所述目标检测结果及所述姿态分类结果进行逻辑回归处理,获取所述待检测视频中的人体的行为检测结果的步骤包括:
    根据所述关键点信息确定待检测视频中人体的手部位置及待测目标位置的置信度;
    获取所述目标检测框与所述手部位置之间的第一距离,以及所述目标检测框与所述待测目标之间的第二距离;
    基于所述第一距离、第二距离、所述待测目标位置的置信度和所述姿态分类结果,确定所述行为检测结果的概率。
PCT/CN2021/084310 2020-11-17 2021-03-31 行为检测方法、装置及计算机可读存储介质 WO2021208735A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011285916.8 2020-11-17
CN202011285916.8A CN112395978B (zh) 2020-11-17 2020-11-17 行为检测方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2021208735A1 true WO2021208735A1 (zh) 2021-10-21

Family

ID=74600460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/084310 WO2021208735A1 (zh) 2020-11-17 2021-03-31 行为检测方法、装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN112395978B (zh)
WO (1) WO2021208735A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067256A (zh) * 2021-11-24 2022-02-18 西安交通大学 一种基于Wi-Fi信号的人体关键点检测方法及系统
CN114241601A (zh) * 2021-12-16 2022-03-25 北京数码视讯技术有限公司 士兵训练姿态的检测方法、装置及电子设备
CN114640807A (zh) * 2022-03-15 2022-06-17 京东科技信息技术有限公司 基于视频的对象统计方法、装置、电子设备和存储介质
CN114885119A (zh) * 2022-03-29 2022-08-09 西北大学 一种基于计算机视觉的智能监控报警系统及方法
CN115100560A (zh) * 2022-05-27 2022-09-23 中国科学院半导体研究所 用户不良状态的监测方法、装置、设备及计算机存储介质
WO2023082407A1 (zh) * 2021-11-12 2023-05-19 深圳先进技术研究院 一种检测抽烟行为的网络模型训练方法及其设备
CN116298648A (zh) * 2023-05-12 2023-06-23 合肥联宝信息技术有限公司 一种静电路径的检测方法、装置及电子设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395978B (zh) * 2020-11-17 2024-05-03 平安科技(深圳)有限公司 行为检测方法、装置及计算机可读存储介质
CN112818939A (zh) * 2021-03-03 2021-05-18 上海高德威智能交通系统有限公司 一种行为检测方法、装置及电子设备
CN113065026A (zh) * 2021-04-15 2021-07-02 上海交通大学 基于安全微服务架构的异常事件智能检测系统、方法及介质
CN113688667A (zh) * 2021-07-08 2021-11-23 华中科技大学 一种基于深度学习的行李取放动作识别方法和系统
CN113673318B (zh) * 2021-07-12 2024-05-03 浙江大华技术股份有限公司 一种动作检测方法、装置、计算机设备和存储介质
CN114549867A (zh) * 2022-02-16 2022-05-27 深圳市赛为智能股份有限公司 闸机逃票检测方法、装置、计算机设备及存储介质
CN114783061B (zh) * 2022-04-26 2023-04-18 南京积图网络科技有限公司 一种吸烟行为检测方法、装置、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447021A (zh) * 2008-12-30 2009-06-03 爱德威软件开发(上海)有限公司 人脸快速识别系统及其识别方法
EP3605394A1 (en) * 2018-08-03 2020-02-05 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing body movement
CN111368696A (zh) * 2020-02-28 2020-07-03 淮阴工学院 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统
CN111783744A (zh) * 2020-07-31 2020-10-16 上海仁童电子科技有限公司 一种操作现场安全防护检测方法及装置
CN111814601A (zh) * 2020-06-23 2020-10-23 国网上海市电力公司 一种将目标检测与人体姿态估计相结合的视频分析方法
CN112395978A (zh) * 2020-11-17 2021-02-23 平安科技(深圳)有限公司 行为检测方法、装置及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549863B (zh) * 2018-04-11 2019-11-26 腾讯科技(深圳)有限公司 人体姿态预测方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447021A (zh) * 2008-12-30 2009-06-03 爱德威软件开发(上海)有限公司 人脸快速识别系统及其识别方法
EP3605394A1 (en) * 2018-08-03 2020-02-05 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for recognizing body movement
CN111368696A (zh) * 2020-02-28 2020-07-03 淮阴工学院 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统
CN111814601A (zh) * 2020-06-23 2020-10-23 国网上海市电力公司 一种将目标检测与人体姿态估计相结合的视频分析方法
CN111783744A (zh) * 2020-07-31 2020-10-16 上海仁童电子科技有限公司 一种操作现场安全防护检测方法及装置
CN112395978A (zh) * 2020-11-17 2021-02-23 平安科技(深圳)有限公司 行为检测方法、装置及计算机可读存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082407A1 (zh) * 2021-11-12 2023-05-19 深圳先进技术研究院 一种检测抽烟行为的网络模型训练方法及其设备
CN114067256A (zh) * 2021-11-24 2022-02-18 西安交通大学 一种基于Wi-Fi信号的人体关键点检测方法及系统
CN114067256B (zh) * 2021-11-24 2023-09-12 西安交通大学 一种基于Wi-Fi信号的人体关键点检测方法及系统
CN114241601A (zh) * 2021-12-16 2022-03-25 北京数码视讯技术有限公司 士兵训练姿态的检测方法、装置及电子设备
CN114640807A (zh) * 2022-03-15 2022-06-17 京东科技信息技术有限公司 基于视频的对象统计方法、装置、电子设备和存储介质
CN114640807B (zh) * 2022-03-15 2024-01-16 京东科技信息技术有限公司 基于视频的对象统计方法、装置、电子设备和存储介质
CN114885119A (zh) * 2022-03-29 2022-08-09 西北大学 一种基于计算机视觉的智能监控报警系统及方法
CN115100560A (zh) * 2022-05-27 2022-09-23 中国科学院半导体研究所 用户不良状态的监测方法、装置、设备及计算机存储介质
CN116298648A (zh) * 2023-05-12 2023-06-23 合肥联宝信息技术有限公司 一种静电路径的检测方法、装置及电子设备
CN116298648B (zh) * 2023-05-12 2023-09-19 合肥联宝信息技术有限公司 一种静电路径的检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN112395978B (zh) 2024-05-03
CN112395978A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
WO2021208735A1 (zh) 行为检测方法、装置及计算机可读存储介质
WO2021208721A1 (zh) 联邦学习防御方法、装置、电子设备及存储介质
CN106255968B (zh) 自然语言图像搜索
WO2021218336A1 (zh) 用户信息判别方法、装置、设备及计算机可读存储介质
WO2022116423A1 (zh) 物体位姿估计方法、装置、电子设备及计算机存储介质
WO2022213465A1 (zh) 基于神经网络的图像识别方法、装置、电子设备及介质
WO2022105179A1 (zh) 生物特征图像识别方法、装置、电子设备及可读存储介质
WO2022141858A1 (zh) 行人检测方法、装置、电子设备及存储介质
WO2021189911A1 (zh) 基于视频流的目标物位置检测方法、装置、设备及介质
WO2021151338A1 (zh) 医学影像图片分析方法、装置、电子设备及可读存储介质
CN105444770A (zh) 基于智能手机的车道级别地图生成和定位系统及方法
WO2021217852A1 (zh) 损伤检测方法、装置、电子设备及介质
CN113379469A (zh) 一种异常流量检测方法、装置、设备及存储介质
CN114187489B (zh) 车辆异常驾驶风险检测方法、装置、电子设备及存储介质
US20190122020A1 (en) Latent fingerprint pattern estimation
CN111738290B (zh) 图像检测方法、模型构建和训练方法、装置、设备和介质
US11367311B2 (en) Face recognition method and apparatus, server, and storage medium
TWI772700B (zh) 影像辨識系統及其更新方法
CN113792801B (zh) 人脸炫光程度的检测方法、装置、设备及存储介质
JP6281249B2 (ja) 情報処理装置、情報処理システム、プログラム及び情報処理方法
CN111860661B (zh) 基于用户行为的数据分析方法、装置、电子设备及介质
WO2022222228A1 (zh) 文本不良信息识别方法、装置、电子设备及存储介质
CN113920590A (zh) 活体检测方法、装置、设备及可读存储介质
CN112861900B (zh) 影像系统及检测方法
CN112434601A (zh) 基于行车视频的车辆违法检测方法、装置、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21788681

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21788681

Country of ref document: EP

Kind code of ref document: A1