WO2020062969A1 - 动作识别方法及装置、驾驶员状态分析方法及装置 - Google Patents

动作识别方法及装置、驾驶员状态分析方法及装置 Download PDF

Info

Publication number
WO2020062969A1
WO2020062969A1 PCT/CN2019/092715 CN2019092715W WO2020062969A1 WO 2020062969 A1 WO2020062969 A1 WO 2020062969A1 CN 2019092715 W CN2019092715 W CN 2019092715W WO 2020062969 A1 WO2020062969 A1 WO 2020062969A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
action
detection
mouth
module
Prior art date
Application number
PCT/CN2019/092715
Other languages
English (en)
French (fr)
Inventor
陈彦杰
王飞
钱晨
Original Assignee
北京市商汤科技开发有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京市商汤科技开发有限公司 filed Critical 北京市商汤科技开发有限公司
Priority to KR1020217005670A priority Critical patent/KR20210036955A/ko
Priority to JP2021500697A priority patent/JP7295936B2/ja
Priority to SG11202100356TA priority patent/SG11202100356TA/en
Publication of WO2020062969A1 publication Critical patent/WO2020062969A1/zh
Priority to US17/144,989 priority patent/US20210133468A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Abstract

本公开涉及一种动作识别方法及装置，驾驶员状态分析方法及装置，所述动作识别方法包括：在检测图像中检测人脸的目标部位；根据所述目标部位的检测结果在所述检测图像中截取与所述目标部位对应的目标图像；根据所述目标图像识别所述人脸所属的对象是否执行设定的动作。本公开实施例可以适用于不同的检测图像中面积大小不同的人脸，也能够适用不同脸型的人脸。本公开实施例的适用范围广。目标图像既可以包括足够的用于分析的信息，也可以减少由于截取的目标图像的面积过大、无用信息过多导致的系统处理效率低的问题。

Description

动作识别方法及装置、驾驶员状态分析方法及装置
本申请要求在2018年9月27日提交中国专利局、申请号为201811132681.1、发明名称为“动作识别方法及装置、驾驶员状态分析方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及图像处理技术领域，尤其涉及一种动作识别方法及装置、驾驶员状态分析方法及装置。
背景技术
动作识别在安全领域中有广泛的应用。动作识别的准确率和效率等性能是其应用领域中所关注的。
发明内容
本公开提出了一种动作识别技术方案。
根据本公开的一方面，提供了一种动作识别方法，所述方法包括：在检测图像中检测人脸的目标部位；根据所述目标部位的检测结果在所述检测图像中截取与所述目标部位对应的目标图像；根据所述目标图像识别所述人脸所属的对象是否执行设定的动作。
根据本公开的一方面，提供了一种驾驶员状态分析方法，所述方法包括：获取针对驾驶员的检测图像；采用上述动作识别方法，识别驾驶员是否执行设定的动作；根据识别出的动作确定驾驶员的状态。
根据本公开的一方面，提供了一种动作识别装置，所述装置包括：目标部位检测模块，用于在检测图像中检测人脸的目标部位；目标图像截取模块，用于根据所述目标部位的检测结果在所述检测图像中截取与所述目标部位对应的目标图像；动作识别模块，用于根据所述目标图像识别所述人脸所属的对象是否执行设定的动作。
根据本公开的一方面，提供了一种驾驶员状态分析装置，所述装置包括：驾驶员图像获取模块，用于获取针对驾驶员的检测图像；动作识别模块，用于采用上述动作识别装置，识别驾驶员是否执行设定的动作；状态识别模块，用于根据识别出的动作确定驾驶员的状态。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：执行上述动作识别方法和/或驾驶员状态分析方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述动作识别方法和/或驾驶员状态分析方法。
根据本公开的一方面，提供了一种计算机程序，所述计算机程序包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述动作识别方法和/或驾驶员状态分析方法。
在本公开实施例中，在检测图像中识别人脸的目标部位，根据所述目标部位的检测结果在所述检测图像中截取与所述目标部位对应的目标图像，并根据所述目标图像识别所述人脸所属的对象是否执行设定的动作。根据目标部位的检测结果截取到的目标图像，可以适用于不同的检测图像中面积大小不同的人脸，也能够适用不同脸型的人脸。本公开实施例的适用范围广。目标图像既可以包括足够的用于分析的信息，也可以减少由于截取的目标图像的面积过大、无用信息过多导致的系统处理效率低的问题。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开实施例的动作识别方法的流程图；
图2示出根据本公开实施例的动作识别方法的流程图；
图3示出根据本公开实施例的动作识别方法的流程图；
图4示出根据本公开实施例的动作识别方法的流程图；
图5示出根据本公开实施例的动作识别方法的流程图；
图6示出根据本公开实施例的驾驶员状态分析方法的流程图；
图7示出根据本公开实施例的动作识别方法中的检测图像；
图8示出根据本公开实施例的动作识别方法中人脸检测结果的示意图；
图9示出根据本公开实施例的动作识别方法中确定目标图像的示意图；
图10示出根据本公开实施例的动作识别方法中根据目标图像进行动作识别的示意图；
图11示出根据本公开实施例的动作识别方法中引入噪声图像对神经网络进行训练的示意图；
图12示出根据本公开实施例的动作识别装置的框图；
图13示出根据本公开实施例的驾驶员状态分析装置的框图；
图14是根据示例性实施例示出的一种动作识别装置的框图；
图15是根据示例性实施例示出的一种动作识别装置的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开实施例的动作识别方法的流程图。所述动作识别方法可以由终端设备或服务器等电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，所述动作识别方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
如图1所示，所述动作识别方法包括：
步骤S10，在检测图像中检测人脸的目标部位。
在一种可能的实现方式中，所述检测图像可以包括单幅的图像，也可以包括视频流中的帧图像。所述检测图像可以包括拍摄设备直接拍摄得到的图像，也可以包括将拍摄设备拍摄得到的图像进行去噪等预处理后的图像。检测图像可以包括可见光图像、红外图像、近红外图像等各种类型的图像，本公开对此不做限定。
在一种可能的实现方式中，可以经摄像头采集所述检测图像，所述摄像头包括以下至少之一：可见光摄像头、红外摄像头、近红外摄像头。其中，可见光摄像头可以用于采集可见光图像，红外摄像头可以用于采集红外图像，近红外摄像头可以用于采集近红外图像。
在一种可能的实现方式中，基于脸部的动作通常与人脸中的五官相关。例如，抽烟或进食的动作与嘴部相关、打电话的动作与耳部相关。人脸的目标部位，可以包括以下部位中的其中一种或任意组合：嘴部、耳部、鼻部、眼部、眉部。可以根据需求确定人脸上的目标部位。目标部位可以包括一个部位或多个部位。可以利用人脸检测技术检测出人脸中的目标部位。
步骤S20，根据所述目标部位的检测结果在所述检测图像中截取与所述目标部位对应的目标图像。
在一种可能的实现方式中，基于脸部的动作可以以目标部位为中心。在检测图像中人脸外的区域 中可以包括与动作相关的物体。例如，抽烟的动作以嘴部为中心，烟可以出现在检测图像中人脸以外的区域中。
在一种可能的实现方式中，人脸在检测图像中所占的面积不同、所在的位置不同，人脸也具有长短和胖瘦的不同。按照设定大小的截取框截取的目标图像的面积可能过小，目标图像不能包括足够的分析信息导致动作检测结果不准确。截取的目标图像的面积也可能过大，目标图像包括过多的无用信息导致分析效率低。
例如，检测图像中，人物A的人脸所占的面积较小，人物B的人脸所占的面积较大。如果利用设定面积的框在检测图像中截取目标图像，可能截取到足够面积的人物A的嘴部的目标图像，但不能截取到足够面积的人物B的嘴部的目标图像，导致不能根据人物B的嘴部的目标图像得到准确的动作检测结果。或可以截取到足够面积的B的嘴部的目标图像，但截取到的A的嘴部的目标图像面积较大，导致A的嘴部的目标图像包括过多的无用信息，降低系统的处理效率。
在一种可能的实现方式中，可以根据目标部位的检测结果，确定目标部位在人脸中的位置，可以根据目标部位在人脸中的位置确定目标图像的截取尺寸和/或截取位置。本公开实施例可以根据设定的条件在检测图像中截取与目标部位对应的目标图像，以使截取到的目标图像更加符合人脸所述的对象人脸的自身特征。例如，可以根据目标部位与人脸中的设定位置之间的距离，确定所截取的目标图像的大小。例如，利用人物A的嘴部与A的人脸中心点之间的距离，确定人物A的嘴部的目标图像的大小，同样利用人物B的嘴部与B的人脸中心点之间的距离，确定人物B的嘴部的目标图像的大小。由于嘴部与人脸中心之间的距离与人脸自身的特征相关，可以使得截取到的目标图像更加符合人脸自身的特征。根据目标部位在人脸上的位置截取到得的目标图像，更加符合人脸的自身特征，同时也包括更加完整的与动作相关的物体所在的图像区域。
步骤S30，根据所述目标图像识别所述人脸所属的对象是否执行设定的动作。
在一种可能的实现方式中，可以提取目标图像的特征，并根据提取到的特征确定所述人脸所属的对象是否执行设定的动作。
在一种可能的实现方式中，所述设定的动作，可以包括以下动作中的其中一种或任意组合：抽烟、进食、戴口罩、喝水/饮料、打电话、化妆。当人脸所属的对象在执行设定的动作时，可能会同时执行驾驶、步行、骑车等动作，上述设定的动作会分散人脸所属的对象的注意力，造成安全隐患。可以利用设定的动作的识别结果，对人脸所属的对象进行安全分析等应用。例如，当检测图像为路面上的监控摄像头拍摄的图像时，检测图像中的人脸为驾驶车辆的驾驶员的人脸。当检测图像中人脸所属的对象有抽烟的动作时，可以通过提取嘴部的目标图像中的特征，并根据特征判断目标图像中是否有烟的特征，确定人脸所属的对象是否抽烟，如果驾驶员有抽烟动作，可以认为存在安全隐患。
在本实施例中，在检测图像中识别人脸的目标部位，根据所述目标部位的检测结果在所述检测图像中截取与所述目标部位对应的目标图像，并根据所述目标图像识别所述人脸所属的对象是否执行设定的动作。根据目标部位的检测结果截取到的目标图像，可以适用于不同的检测图像中面积大小不同的人脸，也能够适用不同脸型的人脸。本公开实施例的适用范围广。目标图像既可以包括足够的用于分析的信息，也可以减少由于截取的目标图像的面积过大、无用信息过多导致的系统处理效率低的问题。
图2示出根据本公开实施例的动作识别方法的流程图，如图2所示，所述动作识别方法中步骤S10包括：
步骤S11，在所述检测图像中检测人脸。
在一种可能的实现方式中，可以利用人脸检测算法，在检测图像中检测人脸。人脸检测算法可以包括：1、提取检测图像的特征；2、根据提取的特征在检测图像中确定候选框；3、根据各候选框的分类结果，在候选框中确定人脸框；4、利用坐标拟合得到人脸框在检测图像中的坐标，得到人脸检测结果。人脸检测结果可以包括人脸框的四个顶点的坐标、人脸框的长度和宽度。
步骤S12，基于人脸的检测结果进行人脸关键点检测。
在一种可能的实现方式中，人脸关键点可以包括人脸上的设定位置的点，可以将人脸上各部位不 同位置的点确定为人脸关键点。例如人脸关键点可以包括眼部轮廓线上的点(外眼角、内眼角等)、眉毛轮廓线上的点、鼻部轮廓线上的点等。可以根据需求确定人脸关键点的位置和数量。可以提取检测图像中人脸框所在的区域的特征，利用设定的映射函数和提取到的特征，得到检测图像中人脸上的各关键点的二维坐标。
步骤S13，根据人脸关键点的检测结果确定所述检测图像中人脸的目标部位。
在一种可能的实现方式中，根据人脸关键点可以准确地确定出人脸的目标部位。例如，可以根据与眼部相关的人脸关键点可以确定出眼部。根据与嘴部相关的人脸关键点可以确定出嘴部。
在一种可能的实现方式中，所述目标部位包括嘴部，所述人脸关键点包括嘴部关键点，所述步骤S13，可包括：
根据嘴部关键点的检测结果确定所述检测图像中人脸的嘴部。
在一种可能的实现方式中，人脸关键点可以包括嘴部关键点、耳部关键点、鼻部关键点、眼部关键点、眉部关键点、脸部外轮廓关键点等。嘴部关键点可以包括上嘴唇轮廓线和下嘴唇轮廓线上的一个或多个关键点。可以根据嘴部关键点确定检测图像中人脸的嘴部。
在本实施例中，可以在检测图像中检测出人脸，再检测出人脸关键点，并根据人脸关键点确定目标部位。根据人脸关键点确定出的目标部位更加准确。
图3示出根据本公开实施例的动作识别方法的流程图，所述目标部位包括嘴部，所述人脸关键点包括嘴部关键点和眉部关键点，如图3所示，所述动作识别方法中步骤S20包括：
步骤S21，根据所述嘴部关键点和所述眉部关键点的检测结果确定所述检测图像中人脸的嘴部至眉心之间的距离。
步骤S22，根据所述嘴部关键点和所述距离，在所述检测图像中截取与嘴部对应的目标图像。
在一种可能的实现方式中，眉部关键点可以包括左右眉毛轮廓线上的一个或多个关键点。可以根据眉部关键点确定人脸的眉毛，并确定人脸的眉心所在的位置。
在一种可能的实现方式中，不同检测图像中的人脸可以占据不同的面积，不同的人脸的脸型也可以不同。嘴部至眉心之间的距离，可以直观、全面的体现出人脸在检测图像中所占的面积，也可以直观、全面地体现人脸脸型的不同。根据嘴部至人脸上的眉心之间的距离，截取与嘴部对应的目标图像，可以使得目标图像所包括的图像内容随着人脸个体特征的不同而不同。也可以包括更多的嘴部下方人脸以外的区域，使得与嘴部动作相关的物体也能够包括在目标图像中，基于目标图像的特征，可便于识别如抽烟、打电话等发生在嘴部或嘴部周边的精细动作。
例如，当人脸较长时，嘴部至眉心的距离较大，根据嘴部关键点与嘴部和眉心之间的距离确定的目标图像的面积较大，可以更加符合人脸的自身特征。也可以将在人脸以外的区域中与抽烟动作相关的烟包括在目标图像中，使得抽烟的动作识别结果更加准确。
在一种可能的实现方式中，目标图像可以为任意形状。例如，可以设定嘴部至所述人脸上的眉心之间的距离为d，可以以嘴部的中心点为中心，以大于d的设定长度为边长，截取矩形的目标图像。截取到的目标图像中，包括了嘴部下方人脸以外的区域。在检测以嘴部为目标部位的动作时，可以在嘴部下方人脸以外的区域检测到烟、食物等物体，从而得到更加准确的动作检测结果。
在本实施例中，根据嘴部至所述人脸上的眉心之间的距离截取到的嘴部的目标图像，可以更加符合人脸的额自身特征，可以包括嘴部下方人脸以外的区域，可以使以嘴部为目标部位的动作检测的结果更加准确。
图4示出根据本公开实施例的动作识别方法的流程图，如图4所示，所述动作识别方法中步骤S30包括：
步骤S31，对所述目标图像进行卷积处理，以提取所述目标图像的卷积特征。
在一种可能的实现方式中，图像可以看作二维的离散信号，对图像做卷积处理，包括利用卷积核在图像上滑动，将图像点上的像素灰度值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值，并最终滑动完所有图像的过程。卷积运算可以在图像处理中用于图像滤波。可以根据设定的卷积核将目标图像进行卷积运算处理，提取目标图像的卷积 特征。
步骤S32，对所述卷积特征进行分类处理，以确定所述人脸所属的对象是否执行设定的动作。
在一种可能的实现方式中，分类处理可以包括二分类处理等分类处理。其中，二分类处理可以包括将输入数据进行处理后，输出结果为属于预设的两个分类中的哪一类。可以预设二分类为抽烟动作和非抽烟动作，将目标图像的卷积特征进行二分类处理后，可以得到目标图像中人脸所属的对象存在抽烟动作的概率和非抽烟动作的概率。
在一种可能的实现方式中，分类处理还可以包括多分类处理。可以对目标图像的卷积特征进行多任务的分类处理后，得到目标图像中人脸所属的对象针对各任务的概率。本公开对此不做限定。
在本实施例中，可以利用卷积处理和分类处理，确定目标图像中人脸所属的对象是否执行设定的动作。卷积处理和分类处理可以使得动作检测的检测结果准确、检测过程效率高。
在一种可能的实现方式中，步骤S31，可包括：经神经网络的卷积层对所述目标图像进行卷积处理，以提取所述目标图像的卷积特征；
步骤S32，可包括：经所述神经网络的分类层对所述卷积特征进行分类处理，以确定所述人脸所属的对象是否执行设定的动作。
在一种可能的实现方式中，神经网络可以包括输入到输出的映射，不需要输入和输出之间的精确的数学表达式，可以通过学习大量的输入和输出之间的映射关系，利用已知的模式进训练，完成对输入进行映射后得到输出。可以利用包括检测动作的样本图像，对神经网络进行训练。
在一种可能的实现方式中，神经网络可以包括卷积层和分类层。其中，卷积层可以用于对输入的目标图像或特征进行卷积处理。分类层可以用于对特征进行分类处理。本公开不限定卷积层和分类层的具体实现方式。
在本实施例中，将目标图像输入训练好的神经网络，利用神经网络强大的处理能力，得到准确的动作检测结果。
在一种可能的实现方式中，所述神经网络基于包括有标注信息的样本图像集预先监督训练完成，其中，所述样本图像集包括：样本图像和基于样本图像引入噪声而得的噪声图像。
在一种可能的实现方式中，拍摄设备在拍摄检测图像的过程中，可能由于各种原因导致不同的检测图像之间存在微小的差异。例如，拍摄设备在拍摄视频流时，可能由于拍摄设备自身微小的位置变化，导致视频流中不同帧的检测图像存在差异。由于神经网络可以认为是高维空间中的函数映射，而高维函数在某些位置的导数可能出现较大值，导致输入神经网络的图像中像素级别的微小差异，也会引起输出特征的较大抖动。为提高神经网络的运算准确率，可以在训练过程中排除样本图像的抖动(即使是像素级别的抖动)导致的神经网络输出的较大误差。
在一种可能的实现方式中，所述动作识别方法还包括：将所述样本图像进行旋转、平移、尺度变化、噪声添加中的至少一种处理，得到噪声图像。
在一种可能的实现方式中，可以将样本图像进行极小角度的旋转，极小距离的平移、尺度放大、尺度缩小等操作后，在样本图像中引入噪声得到噪声图像。
在一种可能的实现方式中，可以将样本图像和噪声图像均输入神经网络，并利用根据样本图像得到的输出结果、根据噪声图像得到的输出结果，以及样本图像的标注信息，得到用于神经网络反向传播的损失，并利用得到的损失对神经网络进行训练。
在本实施例中，根据样本图像得到噪声图像，再根据样本图像和噪声图像对神经网络的训练过程，可以使得训练好的神经网络提取到的特征的稳定性强，防抖动性能好，得到的动作识别结果也更加准确。
在一种可能的实现方式中，所述神经网络的训练过程包括：经神经网络分别获得所述样本图像和所述噪声图像各自的设定动作检测结果；分别确定所述样本图像的设定动作检测结果与其标注信息的第一损失、以及所述噪声图像的设定动作检测结果与其标注信息的第二损失；根据所述第一损失和所述第二损失调整神经网络的网络参数。
在一种可能的实现方式中，第一损失可以包括softmax(柔性最大值)损失。softmax损失可以用 于多分类过程中，可以将多个输出映射到(0,1)区间内得到分类结果。可以利用下述公式(1)得到第一损失L softmax：
Figure PCTCN2019092715-appb-000001
其中，p i为神经网络输出的样本图像实际正确类别的概率，N为样本图像的总样本数(其中N为正整数)，i为样本序号(其中i为正整数，且i≤N)。
在一种可能的实现方式中，可以将所述样本图像输入神经网络，提取所述样本图像的第一特征；将所述噪声图像输入神经网络，提取所述噪声图像的第二特征；根据所述第一特征和所述第二特征，确定所述神经网络的第二损失。第二损失可以包括欧几里得损失。
例如，样本图像可以为一张尺寸为W×H的图像I ori，其对应的神经网络给出的特征向量为F ori。可以对I ori引入一定的噪声得到噪声图像I noise。可以将I noise也同时输入神经网络进行前馈，神经网络给出的对应的特征向量为F noise。可以将向量F ori和向量F noise之间的差值记为漂移特征△F，并利用下述公式(2)得到第二损失L Euclidean：
Figure PCTCN2019092715-appb-000002
在一种可能的实现方式中，可以利用第一损失和第二损失得到用神经网络反向传播的损失Loss。
可以利用下述公式(3)得到用于神经网络反向传播的损失Loss：
Loss＝L softmax+L Euclidean             公式(3)
可以根据损失Loss，利用梯度反向传播算法对神经网络进行训练。
在本实施例中，根据样本图像得到第一损失，根据样本图像和噪声图像得到第二损失，再根据第一损失和第二损失得到用于神经网络反向传播的损失后，对神经网络进行训练。训练好的神经网络的防抖动性能好，提取的特征稳定性强，动作检测结果准确。
图5示出根据本公开实施例的动作识别方法的流程图，如图5所示，所述动作识别方法还包括：
步骤S40，当识别出所述人脸所属的对象执行设定的动作时，发送预警信息。
在一种可能的实现方式中，当检测到人脸所属的对象执行设定的动作时，例如，当根据路面监控摄像头拍摄的车辆驾驶员的图像，检测到驾驶员有抽烟，进食、戴口罩、打电话、化妆等动作时，表明驾驶员的注意力不集中，存在安全隐患，可以发送预警信息提示相关人员进行干预。
在一种可能的实现方式中，预警信息可以包括声音、文字、图像等各种表现形式的信息。预警信息可以根据检测到的动作的不同划分不同的预警级别。并根据不同的预警级别发送不同的预警信息。本公开对此不做限定。
在本实施例中，当人脸所属的对象执行设定的动作时，发送预警信息。可以根据需求，根据动作检测的结果发送预警信息，使得本公开实施里可以适用于不同的使用需求以及不同的使用环境。
在一种可能的实现方式中，步骤S40，可包括：在识别出所述人脸所属的对象执行设定的动作、且识别到的动作满足预警条件的情况下，发送预警信息。
在一种可能的实现方式中，可预设预警条件，当识别到的动作不满足预警条件时，不用发送预警信息。当识别到的动作是预设动作时，发送预警信息，当识别到的动作不是预设动作时，不发送预警信息。可以预设多个预警条件，不同的预警条件可以对应不同的预警信息的类型或内容。可以根据需求调整预警条件，调整发送预警信息类型或内容等。
在本实施例中，在识别出所述人脸所属的对象执行设定的动作、且识别到的动作满足预警条件的情况下，发送预警信息。可以根据预警条件使得发送的预警信息更加符合不同的使用需求。
在一种可能的实现方式中，所述动作包括动作持续时长，所述预警条件包括：识别到动作持续时长超过时长阈值。
在一种可能的实现方式中，动作可以包括动作持续时长，当动作持续时长超过时长阈值时，可以 认为动作的执行分散了动作执行对象的较多注意力，可以认为是危险动作，需要发送预警信息。例如，驾驶员的抽烟动作的时长超过3秒，可以认为抽烟动作为危险动作，会影响到驾驶员的驾驶动作，需要向驾驶员发送预警信息。
在本实施例中，根据动作持续时长和时长阈值，可以调整预警信息的发送条件，使得预警信息的发送更加灵活，更适应不同的使用需求。
在一种可能的实现方式中，所述动作包括动作次数，所述预警条件包括：识别到动作次数超过次数阈值。
在一种可能的实现方式中，动作可以包括动作次数，当动作次数超过次数阈值时，可以认为动作执行对象的动作频繁，分散较多注意力，可以认为是危险动作，需要发送预警信息。例如，驾驶员的抽烟动作的次数超过5次，可以认为抽烟动作为危险动作，会影响到驾驶员的驾驶动作，需要向驾驶员发送预警信息。
在本实施例中，根据动作次数和次数阈值，可以调整预警信息的发送条件，使得预警信息的发送更加灵活，更适应不同的使用需求。
在一种可能的实现方式中，所述动作包括动作持续时长和动作次数，所述预警条件包括：识别到动作持续时长超过时长阈值，且动作次数超过次数阈值。
在一种可能的实现方式中，当动作的持续时长超过时长阈值，且动作次数超过次数阈值时，可以认为动作执行对象的动作频繁且动作持续时长长，分散较多注意力，可以认为是危险动作，需要发送预警信息。
在本实施例中，根据动作次数和次数阈值，以及动作持续时长和时长阈值，可以调整预警信息的发送条件，使得预警信息的发送更加灵活，更适应不同的使用需求。
在一种可能的实现方式中，所述在识别出所述人脸所属的对象执行设定的动作的情况下，发送预警信息，包括：
基于动作的识别结果确定动作级别；
发送与所述动作级别对应的分级预警信息。
在一种可能的实现方式中，可以为不同的动作设定动作级别，例如化妆动作危险等级较高，抽烟、进食、喝水/饮料的危险等级居中，戴口罩和打电话的危险等级较低。可以将危险等级较高的动作对应高级预警信息、将危险等级居中的动作对应中级预警信息，将危险等级较低的动作对应低级预警信息。高级预警信息的危险等级高于中级预警等级，中级预警信息的危险等级高于低级预警等级。根据动作的不同，可以发送不同等级的预警信息，以达到不同的预警目的。
在本实施例中，通过为不同的动作等级发送不同的预警信息，可以使得预警信息的发送更加灵活，更适应不同的使用需求。
图6示出根据本公开实施例的驾驶员状态分析方法的流程图。所述驾驶员状态分析方法可以由终端设备或服务器等电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，所述驾驶员状态分析方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
如图6所示，所述驾驶员状态分析方法包括：
步骤S100，获取针对驾驶员的检测图像。
步骤S200，采用上述任一项所述的动作识别方法，识别驾驶员是否执行设定的动作。
步骤S300，根据识别出的动作确定驾驶员的状态。
在一种可能的实现方式中，可以在车辆内设置监控摄像头，拍摄针对驾驶员的检测图像，监控摄像头可以包括可见光摄像头、红外摄像头或近红外摄像头等各种各类型的摄像头。
在一种可能的实现方式中，可以利用上述任一实施例所述的动作识别方法，识别驾驶员是否执行设定的动作。例如可以识别驾驶员是否在执行抽烟、进食、戴口罩、喝水/饮料、打电话、化妆等设定的动作。
在一种可能的实现方式中，驾驶员的状态可以包括安全状态和危险状态、或正常状态和危险状态等。可以根据驾驶员的动作识别结果，确定驾驶员的状态。例如，当识别出的动作为抽烟、进食、戴口罩、喝水/饮料、打电话、化妆等设定的动作时，驾驶员的状态为危险状态或异常状态。
在一种可能的实现方式中，可以根据驾驶员的状态，向驾驶员或车辆控制中心发送预警信息，以提示驾驶员或管理者车辆可能处于危险驾驶中。
在本实施例中，可以获取针对驾驶员的检测图像，利用本公开实施例中的动作识别方法，识别驾驶员是否执行设定的动作，并根据识别出的动作确定驾驶员的状态。根据驾驶员的状态可以提高车辆的驾驶安全性。
在一种可能的实现方式中，所述驾驶员状态分析方法还包括：获取车辆状态信息；
步骤S200，包括：响应于车辆状态信息满足设定触发条件，采用上述任一项所述的动作识别方法，识别驾驶员是否执行设定的动作。
在一种可能的实现方式中，可以获取车辆的状态信息，根据获取到的车辆的状态信息，判断是否满足设定触发条件。当车辆的状态信息满足设定触发条件时，可以利用本公开实施例中的动作识别方法，识别驾驶员是否执行设定的动作。可以通过调整设定触发条件，根据用户的需求识别驾驶的动作。
在本实施例中，可以获取车辆状态信息，当车辆状态信息满足设定触发条件时，识别驾驶员是否执行设定的动作。可以根据设定触发条件，使得驾驶员的动作识别能够满足用户的不同使用需求，提高本公开实施例的灵活度和适用范围。
在一种可能的实现方式中，车辆状态信息包括：车辆点火状态，设定触发条件包括：检测到车辆点火。
在一种可能的实现方式中，车辆点火行驶后，驾驶员如果执行抽烟、进食、戴口罩、喝水/饮料、打电话、化妆等设定的动作，会影响车辆驾驶的安全性。设定触发条件可以包括检测到车辆点火，可以利用车辆内的监控摄像头拍摄的监控图像，在车辆点火后识别驾驶员的动作，从而提高车辆的行驶安全性。
在本实施例中，在车辆点火后识别驾驶员的动作，可以提高车辆行驶过程中的安全性。
在一种可能的实现方式中，车辆状态信息包括：车辆的车速，设定触发条件包括：检测到车辆的车速超过车速阈值。
在一种可能的实现方式中，当车辆的车速超过车速阈值时，需要驾驶员的注意力高度集中。设定触发条件可以包括检测到车辆车速超过车速阈值，可以利用车辆内的监控摄像头拍摄的监控图像，在车辆的车速超过车速阈值时识别驾驶员的动作，从而提高车辆的行驶安全性。
在本实施例中，在车辆的车速超过车速阈值时识别驾驶员的动作，可以提高车辆在高速行驶过程中的安全性。
在一种可能的实现方式中，所述驾驶员状态分析方法还包括：
将驾驶员的状态传送至设定联系人或指定服务器平台。
在一种可能的实现方式中，可以将驾驶员的状态传送至设定联系人，例如传送至驾驶员的亲属、管理者等人，以使驾驶员的设定联系人获取驾驶员的状态，对车辆的驾驶状态进行监控。也可以将驾驶员的状态传送至指定服务器平台，例如，传送至车辆的管理服务器平台，以使车辆的管理者能够获取驾驶员的状态，并对车辆的驾驶状态进行监控。
在本实施例中，将驾驶员的状态传送至设定联系人或指定服务器平台，以使设定联系人或指定服务器平台的管理者能够对车辆的驾驶状态进行监控。
在一种可能的实现方式中，所述驾驶员状态分析方法还包括：
存储或发送包括所述驾驶员的动作识别结果的检测图像，或
存储或发送包括所述驾驶员的动作识别结果的检测图像以及该图像前后预定帧数的视频段。
在一种可能的实现方式中，可以存储或发送包括驾驶员的动作识别结果的检测图像，或包括驾驶员的动作识别结果的检测图像以及该图像前后预定帧数的视频段。可以利用存储设备进行存储或发送至设定的存储器进行存储，可以将检测图像或视频段进行长久的保存。
在本实施例中，存储或发送包括驾驶员的动作识别结果的检测图像或视频段，可以将检测图像或视频段进行长久保存。
应用示例：
图7示出根据本公开实施例的动作识别方法中的检测图像。如图7所示的检测图像，为路面监控摄像头拍摄的车辆驾驶员的图像。检测图像中的驾驶员在抽烟。
图8示出根据本公开实施例的动作识别方法中人脸检测结果的示意图。可以利用本公开实施例中的动作识别方法，对检测图像进行人脸检测，可以得到检测图像中得人脸所在位置。如图8所示，图8中的人脸检测框，将驾驶员的人脸所在的区域利用人脸检测框进行了确定。
图9示出根据本公开实施例的动作识别方法中确定目标图像的示意图。可以对人脸关键点进行进一步的检测，并根据人脸关键点确定人脸上的嘴部。可以以嘴部为中心，以嘴部至眉心之间的距离的两倍被截取长度，截取嘴部的目标图像。如图9所示，截取到的嘴部的目标图像，包括了嘴部下方人脸以外的部分区域。且嘴部下方人脸以外的部分区域中，包括抽烟的手部和烟。
图10示出根据本公开实施例的动作识别方法中根据目标图像进行动作识别的示意图。如图10所示，将图9截取到的目标图像输入神经网络后，可以得到驾驶员是否在抽烟的动作识别结果。
图11示出根据本公开实施例的动作识别方法中引入噪声图像对神经网络进行训练的示意图。如图7所示，将上方左侧的目标图像引入噪声后得到上方右侧的噪声图像。可以将目标图像和噪声图像均输入神经网络进行特征提取，分别得到目标图像特征和噪声图像特征。根据目标图像特征和噪声图像特征，可以得到损失，并根据损失调整神经网络的参数。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
此外，本公开还提供了动作识别装置、驾驶员状态分析装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种动作识别方法、驾驶员状态分析方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图12示出根据本公开实施例的动作识别装置的框图，如图12所示，所述动作识别装置包括：
目标部位检测模块10，用于在检测图像中检测人脸的目标部位；
目标图像截取模块20，用于根据所述目标部位的检测结果在所述检测图像中截取与所述目标部位对应的目标图像；
动作识别模块30，用于根据所述目标图像识别所述人脸所属的对象是否执行设定的动作。
在本实施例中，在检测图像中识别人脸的目标部位，根据所述目标部位的检测结果在所述检测图像中截取与所述目标部位对应的目标图像，并根据所述目标图像识别所述人脸所属的对象是否执行设定的动作。根据目标部位的检测结果截取到的目标图像，可以适用于不同的检测图像中面积大小不同的人脸，也能够适用不同脸型的人脸。本公开实施例的适用范围广。目标图像既可以包括足够的用于分析的信息，也可以减少由于截取的目标图像的面积过大、无用信息过多导致的系统处理效率低的问题。
在一种可能的实现方式中，所述目标部位检测模块10，包括：人脸检测子模块，用于在所述检测图像中检测人脸；关键点检测子模块，用于基于人脸的检测结果进行人脸关键点检测；目标部位检测子模块，用于根据人脸关键点的检测结果确定所述检测图像中人脸的目标部位。
在本实施例中，可以在检测图像中检测出人脸，再检测出人脸关键点，并根据人脸关键点确定目标部位。根据人脸关键点确定出的目标部位更加准确。
在一种可能的实现方式中，所述目标部位，包括以下部位中的其中一种或任意组合：嘴部、耳部、鼻部、眼部、眉部。可以根据需求确定人脸上的目标部位。目标部位可以包括一个部位或多个部位。可以利用人脸检测技术检测出人脸中的目标部位。
在一种可能的实现方式中，所述设定的动作，包括以下动作中的其中一种或任意组合：抽烟、进 食、戴口罩、喝水/饮料、打电话、化妆。当人脸所属的对象在执行设定的动作时，可能会同时执行驾驶、步行、骑车等动作，上述设定的动作会分散人脸所属的对象的注意力，造成安全隐患。可以利用设定的动作的识别结果，对人脸所属的对象进行安全分析等应用。
在一种可能的实现方式中，所述装置还包括：检测图像采集模块，用于经摄像头采集所述检测图像，所述摄像头包括以下至少之一：可见光摄像头、红外摄像头、近红外摄像头。其中，可见光摄像头可以用于采集可见光图像，红外摄像头可以用于采集红外图像，近红外摄像头可以用于采集近红外图像。
在一种可能的实现方式中，所述目标部位包括嘴部，所述人脸关键点包括嘴部关键点，所述目标部位检测子模块，用于：根据嘴部关键点的检测结果确定所述检测图像中人脸的嘴部。
在一种可能的实现方式中，人脸关键点可以包括嘴部关键点、耳部关键点、鼻部关键点、眼部关键点、眉部关键点、脸部外轮廓关键点等。嘴部关键点可以包括上嘴唇轮廓线和下嘴唇轮廓线上的一个或多个关键点。可以根据嘴部关键点确定检测图像中人脸的嘴部。
在一种可能的实现方式中，所述目标部位包括嘴部，所述人脸关键点包括嘴部关键点和眉部关键点，所述目标图像截取模块20，包括：距离确定子模块，用于根据所述嘴部关键点和所述眉部关键点的检测结果确定所述检测图像中人脸的嘴部至眉心之间的距离；嘴部图像截取子模块，用于根据所述嘴部关键点和所述距离，在所述检测图像中截取与嘴部对应的目标图像。
在本实施例中，根据嘴部至所述人脸上的眉心之间的距离截取到的嘴部的目标图像，可以更加符合人脸的额自身特征，可以包括嘴部下方人脸以外的区域，可以使以嘴部为目标部位的动作检测的结果更加准确。
在一种可能的实现方式中，所述动作识别模块30，包括：特征提取子模块，用于对所述目标图像进行卷积处理，以提取所述目标图像的卷积特征；分类处理子模块，用于对所述卷积特征进行分类处理，以确定所述人脸所属的对象是否执行设定的动作。
在本实施例中，可以利用卷积处理和分类处理，确定目标图像中人脸所属的对象是否执行设定的动作。卷积处理和分类处理可以使得动作检测的检测结果准确、检测过程效率高。
在一种可能的实现方式中，所述特征提取子模块，用于：经神经网络的卷积层对所述目标图像进行卷积处理，以提取所述目标图像的卷积特征；所述分类处理子模块，用于：经所述神经网络的分类层对所述卷积特征进行分类处理，以确定所述人脸所属的对象是否执行设定的动作。
在本实施例中，将目标图像输入训练好的神经网络，利用神经网络强大的处理能力，得到准确的动作检测结果。
在一种可能的实现方式中，所述神经网络基于包括有标注信息的样本图像集预先监督训练完成，其中，所述样本图像集包括：样本图像和基于样本图像引入噪声而得的噪声图像。
在本实施例中，根据样本图像得到噪声图像，再根据样本图像和噪声图像对神经网络的训练过程，可以使得训练好的神经网络提取到的特征的稳定性强，防抖动性能好，得到的动作识别结果也更加准确。
在一种可能的实现方式中，所述神经网络包括训练模块，所述训练模块包括：检测结果获取子模块，用于经神经网络分别获得所述样本图像和所述噪声图像各自的设定动作检测结果；损失确定子模块，用于分别确定所述样本图像的设定动作检测结果与其标注信息的第一损失、以及所述噪声图像的设定动作检测结果与其标注信息的第二损失；参数调整子模块，用于根据所述第一损失和所述第二损失调整神经网络的网络参数。
在本实施例中，根据样本图像得到第一损失，根据样本图像和噪声图像得到第二损失，再根据第一损失和第二损失得到用于神经网络反向传播的损失后，对神经网络进行训练。训练好的神经网络的防抖动性能好，提取的特征稳定性强，动作检测结果准确。
在一种可能的实现方式中，所述装置还包括：噪声图像获取模块，用于将所述样本图像进行旋转、平移、尺度变化、噪声添加中的至少一种处理，得到噪声图像。
在一种可能的实现方式中，可以将样本图像进行极小角度的旋转，极小距离的平移、尺度放大、 尺度缩小等操作后，在样本图像中引入噪声得到噪声图像。
在一种可能的实现方式中，所述装置还包括：预警信息发送模块，用于在识别出所述人脸所属的对象执行设定的动作的情况下，发送预警信息。
在本实施例中，当人脸所属的对象执行设定的动作时，发送预警信息。可以根据需求，根据动作检测的结果发送预警信息，使得本公开实施里可以适用于不同的使用需求以及不同的使用环境。
在一种可能的实现方式中，所述预警信息发送模块，包括：
第一预警信息发送子模块，用于在识别出所述人脸所属的对象执行设定的动作、且识别到的动作满足预警条件的情况下，发送预警信息。
在本实施例中，在识别出所述人脸所属的对象执行设定的动作、且识别到的动作满足预警条件的情况下，发送预警信息。可以根据预警条件使得发送的预警信息更加符合不同的使用需求。
在一种可能的实现方式中，所述动作包括动作持续时长，所述预警条件包括：识别到动作持续时长超过时长阈值。
在本实施例中，根据动作持续时长和时长阈值，可以调整预警信息的发送条件，使得预警信息的发送更加灵活，更适应不同的使用需求。
在一种可能的实现方式中，所述动作包括动作次数，所述预警条件包括：识别到动作次数超过次数阈值。
在本实施例中，根据动作次数和次数阈值，可以调整预警信息的发送条件，使得预警信息的发送更加灵活，更适应不同的使用需求。
在一种可能的实现方式中，所述动作包括动作持续时长和动作次数，所述预警条件包括：识别到动作持续时长超过时长阈值，且动作次数超过次数阈值。
在本实施例中，根据动作次数和次数阈值，以及动作持续时长和时长阈值，可以调整预警信息的发送条件，使得预警信息的发送更加灵活，更适应不同的使用需求。
在一种可能的实现方式中，所述预警信息发送模块，包括：动作级别确定子模块，用于基于动作的识别结果确定动作级别；分级预警信息发送子模块，用于发送与所述动作级别对应的分级预警信息。
在本实施例中，通过为不同的动作等级发送不同的预警信息，可以使得预警信息的发送更加灵活，更适应不同的使用需求。
图13示出根据本公开实施例的驾驶员状态分析装置的框图，如图13所示，所述装置包括：
驾驶员图像获取模块100，用于获取针对驾驶员的检测图像；
动作识别模块200，用于采用上述任一项所述的动作识别装置，识别驾驶员是否执行设定的动作；
状态识别模块300，用于根据识别出的动作确定驾驶员的状态。
在本实施例中，可以获取针对驾驶员的检测图像，利用本公开实施例中的动作识别装置，识别驾驶员是否执行设定的动作，并根据识别出的动作确定驾驶员的状态。根据驾驶员的状态可以提高车辆的驾驶安全性。
在一种可能的实现方式中，所述装置还包括：车辆状态获取模块，用于获取车辆状态信息；
所述动作识别模块，包括：
条件响应子模块，用于响应于车辆状态信息满足设定触发条件，采用如权利要求25至42中任一项所述的动作识别装置，识别驾驶员是否执行设定的动作。
在本实施例中，可以获取车辆状态信息，当车辆状态信息满足设定触发条件时，识别驾驶员是否执行设定的动作。可以根据设定触发条件，使得驾驶员的动作识别能够满足用户的不同使用需求，提高本公开实施例的灵活度和适用范围。
在一种可能的实现方式中，车辆状态信息包括：车辆点火状态，设定触发条件包括：检测到车辆点火。
在本实施例中，在车辆点火后识别驾驶员的动作，可以提高车辆行驶过程中的安全性。
在一种可能的实现方式中，车辆状态信息包括：车辆的车速，设定触发条件包括：检测到车辆的车速超过车速阈值。
在本实施例中，在车辆的车速超过车速阈值时识别驾驶员的动作，可以提高车辆在高速行驶过程中的安全性。
在一种可能的实现方式中，所述装置还包括：状态传送模块，用于将驾驶员的状态传送至设定联系人或指定服务器平台。
在本实施例中，将驾驶员的状态传送至设定联系人或指定服务器平台，以使设定联系人或指定服务器平台的管理者能够对车辆的驾驶状态进行监控。
在一种可能的实现方式中，所述装置还包括：存储发送模块，用于存储或发送包括所述驾驶员的动作识别结果的检测图像，或存储或发送包括所述驾驶员的动作识别结果的检测图像以及该图像前后预定帧数的视频段。
在本实施例中，存储或发送包括驾驶员的动作识别结果的检测图像或视频段，可以将检测图像或视频段进行长久保存。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过直接或间接调用所述可执行指令以执行上述动作识别方法和/或驾驶员状态分析方法。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述动作识别方法和/或驾驶员状态分析方法。计算机可读存储介质可以是非易失性计算机可读存储介质或易失性计算机可读存储介质。
本公开实施例还提出一种计算机程序，所述计算机程序包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述动作识别方法和/或驾驶员状态分析方法。
图14是根据示例性实施例示出的一种动作识别装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图14，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当 装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由装置800的处理器820执行以完成上述方法。
图15是根据一示例性实施例示出的一种动作识别装置1900的框图。例如，装置1900可以被提供为一服务器。参照图15，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者 通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在不违背逻辑的情况下，本申请不同实施例之间可以相互结合，不同实施例描述有所侧重，为侧重描述的部分可以参见其他实施例的记载。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (51)

  1. 一种动作识别方法，其特征在于，所述方法包括：
    在检测图像中检测人脸的目标部位；
    根据所述目标部位的检测结果在所述检测图像中截取与所述目标部位对应的目标图像；
    根据所述目标图像识别所述人脸所属的对象是否执行设定的动作。
  2. 根据权利要求1所述的方法，其特征在于，所述在检测图像中检测人脸的目标部位，包括：
    在所述检测图像中检测人脸；
    基于人脸的检测结果进行人脸关键点检测；
    根据人脸关键点的检测结果确定所述检测图像中人脸的目标部位。
  3. 根据权利要求1或2所述的方法，其特征在于，所述目标部位，包括以下部位中的其中一种或任意组合：嘴部、耳部、鼻部、眼部、眉部。
  4. 根据权利要求1至3中任一所述的方法，其特征在于，所述设定的动作，包括以下动作中的其中一种或任意组合：抽烟、进食、戴口罩、喝水/饮料、打电话、化妆。
  5. 根据权利要求1至4中任一所述的方法，其特征在于，在检测图像中检测人脸的目标部位之前，所述方法还包括：
    经摄像头采集所述检测图像，所述摄像头包括以下至少之一：可见光摄像头、红外摄像头、近红外摄像头。
  6. 根据权利要求3至5中任一所述的方法，其特征在于，所述目标部位包括嘴部，所述人脸关键点包括嘴部关键点，所述根据人脸关键点的检测结果确定所述检测图像中人脸的目标部位，包括：
    根据嘴部关键点的检测结果确定所述检测图像中人脸的嘴部。
  7. 根据权利要求3至5中任一所述的方法，其特征在于，所述目标部位包括嘴部，所述人脸关键点包括嘴部关键点和眉部关键点，所述根据所述目标部位的检测结果在所述检测图像中截取与所述目标部位对应的目标图像，包括：
    根据所述嘴部关键点和所述眉部关键点的检测结果确定所述检测图像中人脸的嘴部至眉心之间的距离；
    根据所述嘴部关键点和所述距离，在所述检测图像中截取与嘴部对应的目标图像。
  8. 根据权利要求1至7中任一项所述的方法，其特征在于，所述根据所述目标图像识别所述人脸所属的对象是否执行设定的动作，包括：
    对所述目标图像进行卷积处理，以提取所述目标图像的卷积特征；
    对所述卷积特征进行分类处理，以确定所述人脸所属的对象是否执行设定的动作。
  9. 根据权利要求8所述的方法，其特征在于，所述对所述目标图像进行卷积处理，以提取所述目标图像的卷积特征，包括：
    经神经网络的卷积层对所述目标图像进行卷积处理，以提取所述目标图像的卷积特征；
    对所述卷积特征进行分类处理，以确定所述人脸所属的对象是否执行设定的动作，包括：
    经所述神经网络的分类层对所述卷积特征进行分类处理，以确定所述人脸所属的对象是否执行设定的动作。
  10. 根据权利要求9所述的方法，其特征在于，所述神经网络基于包括有标注信息的样本图像集预先监督训练完成，其中，所述样本图像集包括：样本图像和基于样本图像引入噪声而得的噪声图像。
  11. 根据权利要求10所述的方法，其特征在于，所述神经网络的训练过程包括：
    经神经网络分别获得所述样本图像和所述噪声图像各自的设定动作检测结果；
    分别确定所述样本图像的设定动作检测结果与其标注信息的第一损失、以及所述噪声图像的设定动作检测结果与其标注信息的第二损失；
    根据所述第一损失和所述第二损失调整神经网络的网络参数。
  12. 根据权利要求10或11所述的方法，其特征在于，所述方法还包括：
    将所述样本图像进行旋转、平移、尺度变化、噪声添加中的至少一种处理，得到噪声图像。
  13. 根据权利要求1至12任一所述的方法，其特征在于，所述方法还包括：
    在识别出所述人脸所属的对象执行设定的动作的情况下，发送预警信息。
  14. 根据权利要求13所述的方法，其特征在于，所述在识别出所述人脸所属的对象执行设定的动作的情况下，发送预警信息，包括：
    在识别出所述人脸所属的对象执行设定的动作、且识别到的动作满足预警条件的情况下，发送预警信息。
  15. 根据权利要求14所述的方法，其特征在于，所述动作包括动作持续时长，所述预警条件包括：识别到动作持续时长超过时长阈值。
  16. 根据权利要求14所述的方法，其特征在于，所述动作包括动作次数，所述预警条件包括：识别到动作次数超过次数阈值。
  17. 根据权利要求14所述的方法，其特征在于，所述动作包括动作持续时长和动作次数，所述预警条件包括：识别到动作持续时长超过时长阈值，且动作次数超过次数阈值。
  18. 根据权利要求14至17中任一项所述的方法，其特征在于，所述在识别出所述人脸所属的对象执行设定的动作的情况下，发送预警信息，包括：
    基于动作的识别结果确定动作级别；
    发送与所述动作级别对应的分级预警信息。
  19. 一种驾驶员状态分析方法，其特征在于，所述方法包括：
    获取针对驾驶员的检测图像；
    采用如权利要求1至18中任一项所述的动作识别方法，识别驾驶员是否执行设定的动作；
    根据识别出的动作确定驾驶员的状态。
  20. 根据权利要求19所述的方法，其特征在于，所述方法还包括：
    获取车辆状态信息；
    所述采用如权利要求1至18中任一项所述的动作识别方法，识别驾驶员是否执行设定的动作，包括：
    响应于车辆状态信息满足设定触发条件，采用如权利要求1至18中任一项所述的动作识别方法，识别驾驶员是否执行设定的动作。
  21. 根据权利要求20所述的方法，其特征在于，车辆状态信息包括：车辆点火状态，设定触发条件包括：检测到车辆点火。
  22. 根据权利要求20所述的方法，其特征在于，车辆状态信息包括：车辆的车速，设定触发条件包括：检测到车辆的车速超过车速阈值。
  23. 根据权利要求19至22中任一项所述的方法，其特征在于，所述方法还包括：
    将驾驶员的状态传送至设定联系人或指定服务器平台。
  24. 根据权利要求19至23中任一项所述的方法，其特征在于，所述方法还包括：
    存储或发送包括所述驾驶员的动作识别结果的检测图像，或
    存储或发送包括所述驾驶员的动作识别结果的检测图像以及该图像前后预定帧数的视频段。
  25. 一种动作识别装置，其特征在于，所述装置包括：
    目标部位检测模块，用于在检测图像中检测人脸的目标部位；
    目标图像截取模块，用于根据所述目标部位的检测结果在所述检测图像中截取与所述目标部位对应的目标图像；
    动作识别模块，用于根据所述目标图像识别所述人脸所属的对象是否执行设定的动作。
  26. 根据权利要求25所述的装置，其特征在于，所述目标部位检测模块，包括：
    人脸检测子模块，用于在所述检测图像中检测人脸；
    关键点检测子模块，用于基于人脸的检测结果进行人脸关键点检测；
    目标部位检测子模块，用于根据人脸关键点的检测结果确定所述检测图像中人脸的目标部位。
  27. 根据权利要求25或26所述的装置，其特征在于，所述目标部位，包括以下部位中的其中一种或任意组合：嘴部、耳部、鼻部、眼部、眉部。
  28. 根据权利要求25至27中任一所述的装置，其特征在于，所述设定的动作，包括以下动作中的其中一种或任意组合：抽烟、进食、戴口罩、喝水/饮料、打电话、化妆。
  29. 根据权利要求25至28中任一所述的装置，其特征在于，所述装置还包括：
    检测图像采集模块，用于经摄像头采集所述检测图像，所述摄像头包括以下至少之一：可见光摄像头、红外摄像头、近红外摄像头。
  30. 根据权利要求27至29中任一所述的装置，其特征在于，所述目标部位包括嘴部，所述人脸关键点包括嘴部关键点，所述目标部位检测子模块，用于：
    根据嘴部关键点的检测结果确定所述检测图像中人脸的嘴部。
  31. 根据权利要求27至29中任一所述的装置，其特征在于，所述目标部位包括嘴部，所述人脸关键点包括嘴部关键点和眉部关键点，所述目标图像截取模块，包括：
    距离确定子模块，用于根据所述嘴部关键点和所述眉部关键点的检测结果确定所述检测图像中人脸的嘴部至眉心之间的距离；
    嘴部图像截取子模块，用于根据所述嘴部关键点和所述距离，在所述检测图像中截取与嘴部对应的目标图像。
  32. 根据权利要求25至31中任一项所述的装置，其特征在于，所述动作识别模块，包括：
    特征提取子模块，用于对所述目标图像进行卷积处理，以提取所述目标图像的卷积特征；
    分类处理子模块，用于对所述卷积特征进行分类处理，以确定所述人脸所属的对象是否执行设定的动作。
  33. 根据权利要求32所述的装置，其特征在于，所述特征提取子模块，用于：
    经神经网络的卷积层对所述目标图像进行卷积处理，以提取所述目标图像的卷积特征；
    所述分类处理子模块，用于：
    经所述神经网络的分类层对所述卷积特征进行分类处理，以确定所述人脸所属的对象是否执行设定的动作。
  34. 根据权利要求33所述的装置，其特征在于，所述神经网络基于包括有标注信息的样本图像集预先监督训练完成，其中，所述样本图像集包括：样本图像和基于样本图像引入噪声而得的噪声图像。
  35. 根据权利要求34所述的装置，其特征在于，所述神经网络包括训练模块，所述训练模块包括：
    检测结果获取子模块，用于经神经网络分别获得所述样本图像和所述噪声图像各自的设定动作检测结果；
    损失确定子模块，用于分别确定所述样本图像的设定动作检测结果与其标注信息的第一损失、以及所述噪声图像的设定动作检测结果与其标注信息的第二损失；
    参数调整子模块，用于根据所述第一损失和所述第二损失调整神经网络的网络参数。
  36. 根据权利要求34或35所述的装置，其特征在于，所述装置还包括：
    噪声图像获取模块，用于将所述样本图像进行旋转、平移、尺度变化、噪声添加中的至少一种处理，得到噪声图像。
  37. 根据权利要求25至36任一所述的装置，其特征在于，所述装置还包括：
    预警信息发送模块，用于在识别出所述人脸所属的对象执行设定的动作的情况下，发送预警信息。
  38. 根据权利要求37所述的装置，其特征在于，所述预警信息发送模块，包括：
    第一预警信息发送子模块，用于在识别出所述人脸所属的对象执行设定的动作、且识别到的动作满足预警条件的情况下，发送预警信息。
  39. 根据权利要求38所述的装置，其特征在于，所述动作包括动作持续时长，所述预警条件包括：识别到动作持续时长超过时长阈值。
  40. 根据权利要求38所述的装置，其特征在于，所述动作包括动作次数，所述预警条件包括：识别到动作次数超过次数阈值。
  41. 根据权利要求38所述的装置，其特征在于，所述动作包括动作持续时长和动作次数，所述预警条件包括：识别到动作持续时长超过时长阈值，且动作次数超过次数阈值。
  42. 根据权利要求38至41中任一项所述的装置，其特征在于，所述预警信息发送模块，包括：
    动作级别确定子模块，用于基于动作的识别结果确定动作级别；
    分级预警信息发送子模块，用于发送与所述动作级别对应的分级预警信息。
  43. 一种驾驶员状态分析装置，其特征在于，所述装置包括：
    驾驶员图像获取模块，用于获取针对驾驶员的检测图像；
    动作识别模块，用于采用如权利要求25至42中任一项所述的动作识别装置，识别驾驶员是否执行设定的动作；
    状态识别模块，用于根据识别出的动作确定驾驶员的状态。
  44. 根据权利要求43所述的装置，其特征在于，所述装置还包括：
    车辆状态获取模块，用于获取车辆状态信息；
    所述动作识别模块，包括：
    条件响应子模块，用于响应于车辆状态信息满足设定触发条件，采用如权利要求25至42中任一项所述的动作识别装置，识别驾驶员是否执行设定的动作。
  45. 根据权利要求44所述的装置，其特征在于，车辆状态信息包括：车辆点火状态，设定触发条件包括：检测到车辆点火。
  46. 根据权利要求44所述的装置，其特征在于，车辆状态信息包括：车辆的车速，设定触发条件包括：检测到车辆的车速超过车速阈值。
  47. 根据权利要求43至46中任一项所述的装置，其特征在于，所述装置还包括：
    状态传送模块，用于将驾驶员的状态传送至设定联系人或指定服务器平台。
  48. 根据权利要求43至47中任一项所述的装置，其特征在于，所述装置还包括：
    存储发送模块，用于存储或发送包括所述驾驶员的动作识别结果的检测图像，或存储或发送包括所述驾驶员的动作识别结果的检测图像以及该图像前后预定帧数的视频段。
  49. 一种电子设备，其特征在于，包括：
    处理器；
    用于存储处理器可执行指令的存储器；
    其中，所述处理器被配置为：执行权利要求1至24中任意一项所述的方法。
  50. 一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至24中任意一项所述的方法。
  51. 一种计算机程序，其特征在于，所述计算机程序包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行用于实现权利要求1至24中的任意一项所述的方法。
PCT/CN2019/092715 2018-09-27 2019-06-25 动作识别方法及装置、驾驶员状态分析方法及装置 WO2020062969A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020217005670A KR20210036955A (ko) 2018-09-27 2019-06-25 동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치
JP2021500697A JP7295936B2 (ja) 2018-09-27 2019-06-25 動作認識方法、電子機器及び記憶媒体
SG11202100356TA SG11202100356TA (en) 2018-09-27 2019-06-25 Action recognition method and apparatus, and driver state analysis method and apparatus
US17/144,989 US20210133468A1 (en) 2018-09-27 2021-01-08 Action Recognition Method, Electronic Device, and Storage Medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811132681.1A CN110956061B (zh) 2018-09-27 2018-09-27 动作识别方法及装置、驾驶员状态分析方法及装置
CN201811132681.1 2018-09-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/144,989 Continuation US20210133468A1 (en) 2018-09-27 2021-01-08 Action Recognition Method, Electronic Device, and Storage Medium

Publications (1)

Publication Number Publication Date
WO2020062969A1 true WO2020062969A1 (zh) 2020-04-02

Family

ID=69950204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/092715 WO2020062969A1 (zh) 2018-09-27 2019-06-25 动作识别方法及装置、驾驶员状态分析方法及装置

Country Status (6)

Country Link
US (1) US20210133468A1 (zh)
JP (1) JP7295936B2 (zh)
KR (1) KR20210036955A (zh)
CN (1) CN110956061B (zh)
SG (1) SG11202100356TA (zh)
WO (1) WO2020062969A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022544635A (ja) * 2020-06-29 2022-10-20 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 危険運転行動認識方法、装置、電子機器および記憶媒体

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020104499A1 (en) * 2018-11-20 2020-05-28 Deepmind Technologies Limited Action classification in video clips using attention-based neural networks
CN111753602A (zh) * 2019-03-29 2020-10-09 北京市商汤科技开发有限公司 动作识别方法和装置、电子设备、存储介质
CN112990069A (zh) * 2021-03-31 2021-06-18 新疆爱华盈通信息技术有限公司 异常驾驶行为检测方法、装置、终端及介质
CN113033529A (zh) * 2021-05-27 2021-06-25 北京德风新征程科技有限公司 基于图像识别的预警方法、装置、电子设备和介质
CN113673351A (zh) * 2021-07-21 2021-11-19 浙江大华技术股份有限公司 一种行为检测方法、设备以及存储介质
KR102634012B1 (ko) * 2021-10-12 2024-02-07 경북대학교 산학협력단 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치
CN114005178B (zh) * 2021-10-29 2023-09-01 北京百度网讯科技有限公司 人物交互检测方法、神经网络及其训练方法、设备和介质
CN114255517B (zh) * 2022-03-02 2022-05-20 中运科技股份有限公司 一种基于人工智能分析的景区游客行为监测系统及方法
CN115188148A (zh) * 2022-07-11 2022-10-14 卡奥斯工业智能研究院(青岛)有限公司 基于5g的安防监控系统、方法、电子设备及存储介质
CN116884034A (zh) * 2023-07-10 2023-10-13 中电金信软件有限公司 对象识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616437A (zh) * 2015-02-27 2015-05-13 浪潮集团有限公司 一种车载的疲劳识别系统和方法
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN105975935A (zh) * 2016-05-04 2016-09-28 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
CN106203293A (zh) * 2016-06-29 2016-12-07 广州鹰瞰信息科技有限公司 一种检测疲劳驾驶的方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3495934B2 (ja) 1999-01-08 2004-02-09 矢崎総業株式会社 事故防止システム
JP4898475B2 (ja) * 2007-02-05 2012-03-14 富士フイルム株式会社 撮影制御装置、撮影装置、及び撮影制御方法
JP4946807B2 (ja) 2007-11-07 2012-06-06 トヨタ自動車株式会社 車線逸脱防止制御装置
JP2010271922A (ja) 2009-05-21 2010-12-02 Fujifilm Corp 話中人物検出方法、話中人物検出装置、および話中人物検出プログラム
CN102436715B (zh) * 2011-11-25 2013-12-11 大连海创高科信息技术有限公司 疲劳驾驶检测方法
CN102799868B (zh) * 2012-07-10 2014-09-10 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
JP6150258B2 (ja) 2014-01-15 2017-06-21 みこらった株式会社 自動運転車
JP2016031747A (ja) 2014-07-30 2016-03-07 キヤノン株式会社 情報処理装置、情報処理方法
CN105117681B (zh) * 2015-06-29 2018-06-08 电子科技大学 基于安卓的多特征疲劳实时检测方法
JP2017034567A (ja) 2015-08-05 2017-02-09 キヤノン株式会社 撮像装置
JP6534103B2 (ja) 2016-03-18 2019-06-26 パナソニックＩｐマネジメント株式会社 記録装置および画像再生方法
WO2017208529A1 (ja) 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
CN107590482A (zh) * 2017-09-29 2018-01-16 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警系统及方法
CN108549838B (zh) * 2018-03-13 2022-01-14 心科(上海)网络科技有限公司 一种基于视觉系统的辅助监督方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616437A (zh) * 2015-02-27 2015-05-13 浪潮集团有限公司 一种车载的疲劳识别系统和方法
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN105975935A (zh) * 2016-05-04 2016-09-28 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
CN106203293A (zh) * 2016-06-29 2016-12-07 广州鹰瞰信息科技有限公司 一种检测疲劳驾驶的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022544635A (ja) * 2020-06-29 2022-10-20 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 危険運転行動認識方法、装置、電子機器および記憶媒体

Also Published As

Publication number Publication date
JP7295936B2 (ja) 2023-06-21
CN110956061A (zh) 2020-04-03
CN110956061B (zh) 2024-04-16
US20210133468A1 (en) 2021-05-06
SG11202100356TA (en) 2021-02-25
KR20210036955A (ko) 2021-04-05
JP2021530789A (ja) 2021-11-11

Similar Documents

Publication Publication Date Title
WO2020062969A1 (zh) 动作识别方法及装置、驾驶员状态分析方法及装置
US10469830B2 (en) Unauthorized viewer detection system and method
EP3163498B1 (en) Alarming method and device
US10007841B2 (en) Human face recognition method, apparatus and terminal
CN108197586B (zh) 脸部识别方法和装置
US10282597B2 (en) Image classification method and device
WO2021056808A1 (zh) 图像处理方法及装置、电子设备和存储介质
WO2021031609A1 (zh) 活体检测方法及装置、电子设备和存储介质
US8600110B1 (en) Unauthorized viewer detection system and method
TWI702544B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
WO2020019760A1 (zh) 活体检测方法、装置及系统、电子设备和存储介质
CN110287671B (zh) 验证方法及装置、电子设备和存储介质
CN109934275B (zh) 图像处理方法及装置、电子设备和存储介质
CN106228556B (zh) 图像质量分析方法和装置
US9924090B2 (en) Method and device for acquiring iris image
CN105335684B (zh) 人脸检测方法及装置
TWI766458B (zh) 資訊識別方法及裝置、電子設備、儲存媒體
WO2017140109A1 (zh) 压力检测方法和装置
WO2023103298A1 (zh) 遮挡检测方法及装置、电子设备、存储介质及计算机程序产品
CN107977636B (zh) 人脸检测方法及装置、终端、存储介质
WO2021227426A1 (zh) 确定性能参数的方法及装置、设备、存储介质和程序产品
CN110110742B (zh) 多特征融合方法、装置、电子设备及存储介质
CN111507131A (zh) 活体检测方法及装置、电子设备和存储介质
WO2022198821A1 (zh) 人脸和人体匹配的方法、装置、电子设备、存储介质及程序
CN114565962A (zh) 人脸图像处理方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19867782

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021500697

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20217005670

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08/07/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19867782

Country of ref document: EP

Kind code of ref document: A1