WO2020253349A1 - 基于图像识别的驾驶行为预警方法、装置和计算机设备 - Google Patents

基于图像识别的驾驶行为预警方法、装置和计算机设备 Download PDF

Info

Publication number
WO2020253349A1
WO2020253349A1 PCT/CN2020/085576 CN2020085576W WO2020253349A1 WO 2020253349 A1 WO2020253349 A1 WO 2020253349A1 CN 2020085576 W CN2020085576 W CN 2020085576W WO 2020253349 A1 WO2020253349 A1 WO 2020253349A1
Authority
WO
WIPO (PCT)
Prior art keywords
expression
driver
layer
judgment result
image
Prior art date
Application number
PCT/CN2020/085576
Other languages
English (en)
French (fr)
Inventor
李静静
Original Assignee
深圳壹账通智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳壹账通智能科技有限公司 filed Critical 深圳壹账通智能科技有限公司
Publication of WO2020253349A1 publication Critical patent/WO2020253349A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • This application belongs to the field of artificial intelligence technology, and in particular relates to a driving behavior early warning method, device, computer equipment, and computer-readable storage medium based on image recognition.
  • the dangerous driving behavior of the driver is mainly through the hardware equipment installed on the car (such as OBD, namely: the full name in Chinese is the on-board diagnostic system, and the full name in English is: On-Board Diagnostics)
  • OBD the hardware equipment installed on the car
  • a driving violation such as a voice speed limit reminder when the current speed is detected.
  • the embodiments of the present application provide a driving behavior early warning method, device, computer equipment, and computer readable storage medium based on image recognition to solve the problem of low warning accuracy in the existing driving behavior early warning method.
  • the first aspect of the embodiments of the present application provides a driving behavior early warning method based on image recognition, which includes: acquiring a driver's face image and a driver's body motion image during the running of the vehicle; and acquiring according to the driver's face image Corresponding expression information; obtain the driver’s driving action information according to the driver’s body motion image; match the expression information with the dangerous expression set, and obtain the corresponding expression judgment result; compare the driving action information with the danger The driving action set is matched and judged, and the corresponding driving action judgment result is obtained; if the expression judgment result meets the preset condition and/or the driving action judgment result satisfies the preset condition, an alarm is issued.
  • a second aspect of the embodiments of the present application provides a driving behavior early warning device based on image recognition, including: a first acquisition module, configured to acquire a driver's face image and a driver's body motion image during the driving of the vehicle; second The obtaining module is used to obtain corresponding facial expression information according to the driver's face image; the third obtaining module is used to obtain the driver's driving action information according to the driver's body motion image; the first matching judgment module is used to The expression information and the dangerous expression set are matched and judged, and the corresponding expression judgment result is obtained; the second matching judgment module is used to perform matching judgment on the driving action information and the dangerous driving action set, and obtain the corresponding driving action Judgment result; an alarm prompt module for sending an alarm prompt if the expression judgment result meets a preset condition and/or the driving action judgment result meets a preset condition.
  • the third aspect of the embodiments of the present application provides a computer device, including: a memory, a processor, and a computer program stored in the memory and running on the processor, and the processor executes the computer program
  • a computer device including: a memory, a processor, and a computer program stored in the memory and running on the processor, and the processor executes the computer program
  • the fourth aspect of the embodiments of the present application provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the following steps are implemented: Driver’s facial image and driver’s body motion image; acquiring corresponding facial expression information based on the driver’s facial image; acquiring driver’s driving motion information based on the driver’s body motion image; combining the facial expression information with dangerous facial expressions Perform matching judgment and obtain the corresponding expression judgment result; perform matching judgment on the driving action information and the dangerous driving action set, and obtain the corresponding driving action judgment result; if the expression judgment result meets the preset conditions and/or If the judgment result of the driving action satisfies the preset condition, an alarm is issued.
  • This application can measure the driver’s hazard information during driving from multiple dimensions, give warnings in advance, improve the accuracy and comprehensiveness of the warning, and solve the problem of a single reference dimension of the warning, which leads to low warning accuracy.
  • FIG. 1 is a schematic diagram of an application environment of a driving behavior early warning method based on image recognition in an embodiment of the present application
  • FIG. 2 is a schematic diagram of the implementation process of the driving behavior early warning method based on image recognition provided in Embodiment 1 of the present application;
  • FIG. 3 is a schematic diagram of a driving behavior early warning device based on image recognition provided in Embodiment 2 of the present application;
  • FIG. 4 is a schematic diagram of the first acquisition module in the image recognition-based driving behavior early warning device provided by an embodiment of the present application;
  • FIG. 5 is another schematic diagram of a driving behavior early warning device based on image recognition provided by an embodiment of the present application.
  • FIG. 6 is a schematic diagram of the second acquisition module in the driving behavior early warning device based on image recognition provided by an embodiment of the present application;
  • FIG. 7 is a schematic diagram of the first matching judgment module in the driving behavior early warning device based on image recognition provided by an embodiment of the present application;
  • FIG. 8 is a schematic diagram of a computer device provided in Embodiment 3 of the present application.
  • the driving behavior early warning method based on image recognition can be applied in the application environment as shown in FIG. 1, wherein the client communicates with the server through the network.
  • the client can be, but is not limited to, various personal computers, notebook computers, smart phones, tablet computers, and portable wearable devices.
  • the server can be implemented as an independent server or a server cluster composed of multiple servers.
  • FIG. 2 shows a schematic diagram of the implementation process of the image recognition-based driving behavior early warning method provided in Embodiment 1 of the present application.
  • the driving behavior early warning method based on image recognition specifically includes the following steps 101 to 106, which are detailed as follows:
  • Step 101 Obtain the driver's face image and the driver's body motion image during the running of the vehicle.
  • one or a group of web cameras installed in the car can be used to photograph the driver’s face and body parts (hands) during the driving of the vehicle to obtain information including the driver’s face.
  • Photo or video information If the photo is taken, the driver’s face and limbs can be captured at the set time interval, and the captured photos will be adjusted accordingly (such as cropping) to obtain the driver’s face and limbs Action image.
  • the driver's body motion image is acquired during the driving of the vehicle, which may specifically include step 201, step 202, and step 203, which are detailed as follows:
  • Step 201 Record the driver's video in real time while the vehicle is running.
  • Step 202 Determine each frame drawing time point at equal intervals from the start time point of the video clip in the video information according to a preset time interval.
  • Step 203 Extract the video frame corresponding to each frame drawing time point in the video clip to obtain each body motion image.
  • a terminal device (such as a vehicle-mounted terminal) can be used to record the driver's video in real time while the vehicle is running.
  • the server when it extracts the body motion image from the video clip in the video information, it may specifically extract the video frames in the video clip at equal intervals.
  • the server may determine each frame drawing time point at equal intervals from the start time point of the video clip according to a preset time interval.
  • the preset time interval can be set according to actual needs, for example, set to 100 milliseconds, that is, one video frame is extracted every 100 milliseconds. For example, if the total duration of the video clip is 2 minutes, that is, 120s, and its start time point is 0, the server will determine each frame time point on the video clip as 100ms, 200ms, 300ms, 400ms,... ...And so on, the last frame drawing time point is the position of 120s. Therefore, a total of 1200 determined frame drawing time points in the 2-minute video clip can be obtained.
  • step 203 it can be understood that after determining each frame extraction time point, it is equivalent to determining which video frames should be extracted from the video clip this time as the body motion images.
  • the server may extract video frames corresponding to each of the frame drawing time points in the video clip to obtain each body motion image. Continuing the above example, that is, the server extracts the video frames at the time points of 100ms, 200ms, 300ms, 400ms, ..., 120s on the video clip, and obtains a total of 1200 video frames as the respective body actions Images, that is, a total of 1200 body motion images.
  • Step 102 Obtain corresponding facial expression information according to the driver's face image.
  • step 102 specifically includes step 301 and step 302, which are detailed as follows:
  • Step 301 Combine the action morphological features of various parts of the face on the driver's face image to obtain an action morphological feature set.
  • the action morphological features of each part of the face on the driver's face image include action morphological features corresponding to salient expressions and micro-expressions. Since the action morphological features are all reflected in all parts of the face on the face image, the salient expressions The action morphological features corresponding to the micro-expression are mixed together, so the action morphological feature set is obtained first, which is convenient for the next step to identify separately.
  • Step 302 Perform matching analysis on the action form feature set with the salient expression database and the micro-expression database to obtain corresponding salient expression information and micro-expression information, and use the salient expression information and the micro-expression information as the expressions information.
  • the micro-expression database includes, but is not limited to, the following micro-expression action morphological features.
  • the action morphological features of full angry expression are as follows:
  • the lower eyelid is tight.
  • the shape of the upper eyelid matches the tight lower eyelid, which is called glare.
  • the suffocated angry expression action form feature combination is as follows:
  • the eyebrows are flattened as a whole and still remain twisted.
  • the eyebrows are raised, but the degree is slightly reduced; the frown muscles cause slight longitudinal wrinkles.
  • the degree of eye opening increases, but it is not exaggerated.
  • the upper eyelid lift is not as obvious as the expression of fear and fear, but the area exposed on the upper edge of the iris is larger than that of a normal relaxed face.
  • the raised eyebrows and twisted eyebrows indicate that the heart is under pressure, but not disgust or anger.
  • the combination of slightly worried action morphology features is as follows: At this time, the eyebrows are not greatly improved, only the uplift of the eyebrows and the straight and twisted shape of the eyebrows can be observed; the eyelids are natural as a whole, but the upper eyelids are still in a slightly higher position than normal. The exposed iris area is larger. This combination of eyebrows and eyes is the morphological feature of the micro-expression movement of fear.
  • Step 103 Acquire driving motion information of the driver according to the driver's body motion image.
  • the joint information and angle information of the limbs in the limb motion image are analyzed, and the joint information and angle information are queried in a pre-stored mapping table to match the driving motion of the driver.
  • the mapping table includes a one-to-one correspondence between section information and angle information, driving motion, joint information, and angle information, and driving motion.
  • a pre-trained driving motion recognition model can also be used to recognize the input body motion image and output the driver's driving motion.
  • Step 104 Perform matching judgment on the expression information and the set of dangerous expressions, and obtain a corresponding expression judgment result.
  • the dangerous expression set includes a dangerous salient expression set and a dangerous micro expression set
  • step 104 specifically includes step 401, step 402, and step 403, as detailed below :
  • Step 401 Perform matching judgment on the salient expression information and the dangerous salient expression set, and obtain a corresponding salient expression judgment result.
  • the set of dangerously significant expressions includes but is not limited to yawning and blinking and closing eyes. If the salient expression information is successfully matched with the dangerous salient expression set, the corresponding salient expression judgment result is that there is a dangerous salient expression.
  • Step 402 Perform matching judgment on the micro-expression information and the dangerous micro-expression set, and obtain a corresponding micro-expression judgment result.
  • the set of dangerous micro-expression includes but is not limited to pain, anger, and fear.
  • the micro-expression information includes at least one of pain, anger, and fear, it is determined that the corresponding micro-expression judgment result is that there is a dangerous micro-expression.
  • Step 403 Synthesize the salient expression judgment result and the micro expression judgment result to obtain the expression judgment result.
  • the expression judgment result includes the presence of a dangerously significant expression and a dangerous micro-expression, no dangerously significant expression and no dangerous micro-expression, a dangerously significant expression and no dangerous micro-expression, and a dangerous micro-expression and no dangerously significant expression.
  • Step 105 Perform matching judgment on the driving action information and the dangerous driving action set, and obtain the corresponding driving action judgment result.
  • the dangerous driving action set includes, but is not limited to, the action of making a phone call, the action of not holding the steering wheel with both hands, and the action of eating. If the driving action information contains any element in the dangerous driving action set, it is determined that the corresponding driving action judgment result is that there is a dangerous driving action. If the driving action information does not include any element in the dangerous driving action set, then Determine that the corresponding driving action judgment result is that there is no dangerous driving action.
  • Step 106 If the expression judgment result meets the preset condition and/or the driving action judgment result meets the preset condition, an alarm is issued.
  • step 106 for example, if one of the pre-set warning conditions is when the driver is angry, an alarm is issued, and when it is determined that the driver's expression is full of anger, a warning message is issued to the driver. If one of the pre-set warning conditions is when the driver leaves the steering wheel with both hands in the process of driving the car, a warning message is issued to the driver. If one of the pre-set warning conditions is that the driver’s expression is uneasy and he is making a call, then a warning message is issued to the driver. Preferably, the way of issuing warning information to the driver may be to broadcast a warning voice message.
  • step 101 the following steps are further included:
  • Step 501 Obtain all face images from the identity information database, remember that all face images are N, and N is an integer greater than 1.
  • the identity information database can be updated. It is understandable that when the driver's face image is not in the identity information database, the update will store the driver's face image in the identity information database, ensuring the comprehensiveness of the identity information database.
  • Step 502 Input a total of N+1 face images of the N face images and the driver's face image into a preset neural network, and output from the hidden layer of the preset neural network and N+1 face images The corresponding feature vector of N+1 face images.
  • a human face image is an image including a human face, where the human face may also refer to the face of an individual on the electronic ID card.
  • the hidden layer in this embodiment is any layer except the last layer in the preset neural network.
  • the preset neural network is trained based on preset images with faces and corresponding group numbers of people, and images with the same group number are all face images of the same person.
  • each face image input to the preset neural network will output a vector, which is used as the feature vector of the corresponding face image.
  • the dimension of the feature vector in this embodiment may be 512.
  • the preset neural network is a deep convolutional neural network, and the structure of a general deep convolutional neural network is generally greater than or equal to 5 layers; in this embodiment, in order to reduce the amount of calculation and increase the calculation speed, the preset neural network can adopt a simplified design. Choose the appropriate number of network layers, and remove layers such as the normalization layer and batch normalization layer.
  • the first layer structure includes: a first convolution layer, a first activation layer, and a first down-sampling layer
  • the second layer structure includes: a second Convolutional layer, second activation layer and second downsampling layer
  • third layer structure includes: third convolutional layer, third activation layer, and third downsampling layer
  • fourth layer structure includes: fourth a convolution Layer, the fourth a activation layer, the fourth b convolutional layer, the fourth b activation layer, and the fourth downsampling layer
  • the fifth layer structure includes: the fifth convolution layer and the fifth activation layer
  • the sixth layer structure includes: The first fully connected layer; the second fully connected layer.
  • the convolution kernel of each convolution layer in the preset neural network is different, and the activation function of each activation layer is also different.
  • the preferred hidden layer is the penultimate layer of the preset neural network, that is, the first fully connected layer.
  • the output of the first fully connected layer has reached a low dimensionality and has the tightest facial features. Therefore, the first fully connected layer is used as a preferred hidden layer.
  • the fourth a convolutional layer and the fourth a activation layer can be replaced by the first subconvolution layer, the first sub activation layer, the second subconvolution layer, and the second sub activation layer.
  • the fifth convolution layer can be Replaced by the third sub-convolutional layer, the third sub-activation layer, the fourth sub-convolutional layer and the fourth sub-activation layer; among them, the convolution kernel of each sub-convolutional layer is different, and the activation function of the sub-activation layer is also different .
  • a branch is added after the third downsampling layer.
  • the output of the third downsampling layer and the output of the second subconvolutional layer are input into the fourth convolutional layer together.
  • the fourth downsampling layer Later, a branch was added, and the output of the fourth downsampling layer and the output of the fifth convolutional layer were input into the first fully connected layer together.
  • the above two branches can accelerate the convergence of the model and improve the accuracy.
  • the output dimension of the second fully connected layer is the number of people in the training set.
  • the output vector of the preset neural network should be (1 ,0,0,0,0,0,0,0); that is, what is the group number, then the corresponding bit in the vector is 1.
  • the face vector is not the face images of the above 8 people again, then there is no group number corresponding to the output of the preset neural network, and the output result of the vector is artificially set and cannot express the facial features, so It is necessary to select the output of the hidden layer containing the facial features as the feature vector, so that even the facial images of people who have never been input to the preset neural network can be well recognized.
  • Step 503 Determine the distances between the feature vectors of the driver's face image and the N feature vectors of the face images, respectively, to obtain N vector distances.
  • step 503 the distances between the feature vector of the driver's face image and the feature vectors of the N second face images are respectively determined.
  • the distance can be calculated by the Euler distance formula and the equidistance formula, which is not limited in this embodiment.
  • Step 504 When one of the vector distances among the N vector distances is less than a preset distance reference value, it is determined that the face image of the driver and the face image corresponding to the one of the vector distances are of the same driver A face image, and the driver’s identity information is determined according to the identity information database.
  • the preset distance reference value is used to divide the distance between the face images belonging to the same driver and the distance between the face images belonging to different drivers. If the distance is less than the preset distance reference value, it means that the driver faces of the two face images belong to the same driver, and the distance is greater than or equal to the preset distance reference value, which means that the two face images belong to two different drivers.
  • FIG. 3 shows a schematic diagram of a driving behavior early warning device 30 based on image recognition provided in the second embodiment of the present application.
  • the driving behavior early warning device 30 based on image recognition includes: a first acquisition module 31, a second acquisition module 32, a third acquisition module 33, a first matching judgment module 34, a second matching judgment module 35, and an alarm prompt module 36 .
  • the specific functions of each module are as follows:
  • the first acquisition module 31 is used to acquire the driver's face image and the driver's limb motion image during the running of the vehicle.
  • the second acquiring module 32 is configured to acquire corresponding facial expression information according to the driver's face image.
  • the third acquisition module 33 is configured to acquire the driver's driving motion information according to the driver's limb motion image.
  • the first matching judgment module 34 is configured to perform matching judgment on the expression information and the dangerous expression set, and obtain a corresponding expression judgment result.
  • the second matching judgment module 35 is used to perform matching judgment on the driving action information and the dangerous driving action set, and obtain the corresponding driving action judgment result.
  • the warning prompt module 36 is configured to send an alarm prompt if the expression judgment result meets a preset condition and/or the driving action judgment result meets a preset condition.
  • the first obtaining module 31 includes:
  • the recording unit 311 is used to record the video of the driver in real time during the driving of the vehicle.
  • the determining unit 312 is configured to determine each frame drawing time point at equal intervals according to a preset time interval from the starting point of the shooting time of the video.
  • the frame extraction unit 313 is used to extract the video frames corresponding to each frame extraction time point in the video to obtain each driver's body motion image.
  • the driving behavior early warning device 30 based on image recognition further includes:
  • the fourth acquisition module 37 is configured to acquire all face images from the identity information database, and remember that all the face images are N, and N is an integer greater than 1.
  • the output module 38 is configured to input a total of N+1 face images of N face images and the driver's face image into a preset neural network, and output the same N+1 face images from the hidden layer of the preset neural network The feature vector of the N+1 face images corresponding to the face image.
  • the first determining module 39 is configured to determine the distances between the feature vector of the driver's face image and the N feature vectors of the face image respectively to obtain N vector distances.
  • the second determining module 310 is configured to determine the face image of the driver and the face image corresponding to the one of the vector distances when one of the vector distances among the N vector distances is less than a preset distance reference value It is the face image of the same driver, and the driver's identity information is determined according to the identity information database.
  • the second acquiring module 32 includes:
  • the combining unit 321 is configured to combine the action morphological features of various parts of the face on the driver's face image to obtain an action morphological feature set.
  • the analysis unit 322 is configured to perform matching analysis on the action morphological feature set with the salient expression database and the micro expression database to obtain corresponding salient expression information and micro expression information, and use the salient expression information and the micro expression information as The expression information.
  • the first matching judgment module 34 includes:
  • the first matching judgment unit 341 is configured to perform matching judgment between the salient expression information and the dangerous salient expression set, and obtain a corresponding salient expression judgment result.
  • the second matching judgment unit 342 is configured to perform matching judgment on the micro-expression information and the dangerous micro-expression set, and obtain a corresponding micro-expression judgment result.
  • the comprehensive judgment unit 343 is configured to combine the salient expression judgment result and the micro-expression judgment result to obtain the expression judgment result.
  • the various modules in the above-mentioned image recognition-based driving behavior early warning device can be implemented in whole or in part by software, hardware, and combinations thereof.
  • the foregoing modules may be embedded in the form of hardware or independent of the processor in the computer device, or may be stored in the memory of the computer device in the form of software, so that the processor can call and execute the operations corresponding to the foregoing modules.
  • a computer device is provided.
  • the computer device may be a client, and its internal structure diagram may be as shown in FIG. 8.
  • the computer equipment includes a processor, a memory, a network interface and a database connected through a system bus. Among them, the processor of the computer device is used to provide calculation and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, a computer program, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer programs in the non-volatile storage medium.
  • the database of the computer equipment is used to store the data involved in the driving behavior early warning method based on image recognition.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the computer program is executed by the processor to realize a driving behavior early warning method based on image recognition.
  • a computer device including a memory, a processor, and a computer program stored in the memory and running on the processor.
  • the processor executes the computer program to implement driving based on image recognition in the above embodiments.
  • the steps of the behavior warning method for example, step 101 to step 106 shown in FIG. 2.
  • the processor executes the computer program, the function of each module/unit of the driving behavior early warning device based on image recognition in the above embodiment is realized, for example, the functions of modules 31 to modules 3 and 6 shown in FIG. 3. To avoid repetition, I won’t repeat them here.
  • a computer-readable storage medium may be non-volatile or volatile, and has a computer program stored thereon.
  • the steps of the driving behavior warning method based on image recognition in the foregoing embodiment are implemented, for example, step 101 to step 106 shown in FIG. 2.
  • the computer program when executed by the processor, realizes the functions of the various modules/units of the driving behavior early warning device based on image recognition in the above embodiments, such as the functions of modules 31 to 36 shown in FIG. 3. To avoid repetition, I won’t repeat them here.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Road (SyNchliNk) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于图像识别的驾驶行为预警方法，包括：在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像（101）；根据驾驶员人脸图像获取相应的表情信息（102）；根据驾驶员肢体动作图像获取驾驶员的驾驶动作信息（103）；将表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果（104）；将驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果（105）；若表情判断结果满足预设条件和/或驾驶动作判断结果满足预设条件，则发出告警提示（106）。从而能够从多个维度来衡量驾驶员在驾驶过程中的危险信息，提前进行告警，提高了告警的准确度和全面性。

Description

基于图像识别的驾驶行为预警方法、装置和计算机设备
本申请要求于2019年6月19日提交中国专利局，申请号为201910532866.X，发明名称为“基于图像识别的驾驶行为预警方法、装置和计算机设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请属于人工智能技术领域，尤其涉及一种基于图像识别的驾驶行为预警方法、装置、计算机设备及计算机可读存储介质。
背景技术
目前，随着人们生活水平的提高，汽车逐渐走入老百姓家中，也导致道路上的车流量年年攀升，交通事故的数量也随之增加。其中，危险驾驶行为是导致交通事故的主要原因之一。发明人发现，在现有技术中，针对驾驶员的危险驾驶行为，主要是通过安装在汽车上的硬件设备(如OBD，即：中文全称为车载诊断系统，英文全称为：On-Board Diagnostics)来检测驾驶员的驾驶行为，并在出现驾驶违规操作时对驾驶员发出告警(如检测到当前车速超速时，发出语音限速提醒)。其虽然在一定程度上减少了危险驾驶行为的发生，但没有结合驾驶员在驾驶过程中的危险驾驶习惯来触发告警，造成告警的参考维度单一，进而导致告警准确度低的问题。
发明内容
本申请实施例提供了一种基于图像识别的驾驶行为预警方法、装置、计算机设备及计算机可读存储介质，以解决现有的驾驶行为预警方法存在告警准确性低的问题。
本申请实施例的第一方面提供了一种基于图像识别的驾驶行为预警方法，包括：在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；根据所述驾驶员人脸图像获取相应的表情信息；根据所述驾驶员肢体动作图像获取驾驶员 的驾驶动作信息；将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
本申请实施例的第二方面提供了一种基于图像识别的驾驶行为预警装置，包括：第一获取模块，用于在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；第二获取模块，用于根据所述驾驶员人脸图像获取相应的表情信息；第三获取模块，用于根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息；第一匹配判断模块，用于将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；第二匹配判断模块，用于将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；告警提示模块，用于若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
本申请实施例的第三方面提供了一种计算机设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；根据所述驾驶员人脸图像获取相应的表情信息；根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息；将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；根据所述驾驶员人脸图像获取相应的表情信息；根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息；将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到 相应的驾驶动作判断结果；若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
本申请能够从多个维度来衡量驾驶员在驾驶过程中的危险信息，提前进行告警，提高了告警的准确度和全面性，解决了告警的参考维度单一，导致告警准确度低的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中基于图像识别的驾驶行为预警方法的一应用环境示意图；
图2是本申请实施例一提供的基于图像识别的驾驶行为预警方法的实现流程示意图；
图3是本申请实施例二提供的基于图像识别的驾驶行为预警装置的示意图；
图4是本申请实施例提供的基于图像识别的驾驶行为预警装置中第一获取模块的示意图；
图5是本申请实施例提供的基于图像识别的驾驶行为预警装置的另一个示意图；
图6是本申请实施例提供的基于图像识别的驾驶行为预警装置中第二获取模块的示意图；
图7是本申请实施例提供的基于图像识别的驾驶行为预警装置中第一匹配判断模块的示意图；
图8是本申请实施例三提供的计算机设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类 的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
本申请实施例提供的基于图像识别的驾驶行为预警方法可应用在如图1的应用环境中，其中，客户端通过网络与服务器进行通信。其中，客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
为了说明本申请实施例所提供的基于图像识别的驾驶行为预警方法，下面通过具体实施例来进行说明。
实施例一：
图2示出了本申请实施例一提供的基于图像识别的驾驶行为预警方法的实现流程示意图。如图2所示，该基于图像识别的驾驶行为预警方法具体包括如下步骤101至步骤106，详述如下：
步骤101：在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像。
作为本申请的一个实施例，可通过安装在汽车内的一个或一组网络摄像头对在驾驶车辆过程中驾驶员的人脸以及肢体部位(手部)进行拍摄，得到包括驾驶员人脸信息的照片或者视频信息。若拍摄的是照片，可按照设定的时间间隔对驾驶员的人脸和肢体部位进行抓拍，将抓拍得到的照片进行相应的调整(如裁剪)以得到驾驶员的驾驶员人脸图像和肢体动作图像。若拍摄的是视频信息，则步骤101中在车辆行驶过程中获取驾驶员肢体动作图像，具体可包括步骤201、步骤202和步骤203，详述如下：
步骤201：在车辆行驶过程中实时录制驾驶员的视频。
步骤202：按照预设时间间隔从所述视频信息中视频片段开始拍摄时间点开始等间距地确定出各个抽帧时间点。
步骤203：将所述视频片段中各个所述抽帧时间点对应的视频帧抽取出来，得到各个肢体动作图像。
对于上述步骤201，可以通过终端设备(如车载终端)在车辆行驶过程中实时 录制驾驶员的视频。
对于上述步骤202，服务器在从视频信息中视频片段中提取出肢体动作图像时，具体可以采用等间隔的方式抽取该视频片段中的视频帧。首先，服务器可以按照预设时间间隔从所述视频片段的开始播放时间点开始等间距地确定出各个抽帧时间点。该预设时间间隔可以根据实际情况需要进行设置，例如设置为100毫秒，也即每隔100毫秒抽取一个视频帧。举例说明，该视频片段总时长为2分钟，即120s，其开始播放时间点为0，则服务器在该视频片段上确定的各个抽帧时间点分别为100ms、200ms、300ms、400ms、......，依次类推，最后一个抽帧时间点为120s所在的位置。因此，可以得到该2分钟的视频片段中确定出的抽帧时间点共1200个。
对于上述步骤203，可以理解的是，在确定出各个抽帧时间点之后，相当于确定了本次应当从该视频片段中抽取哪些视频帧作为肢体动作图像。服务器可以将所述视频片段中各个所述抽帧时间点对应的视频帧抽取出来，得到各个肢体动作图像。继续上述举例，即，服务器从该视频片段上100ms、200ms、300ms、400ms、......、120s的时间点上的视频帧抽取出来，得到共1200个视频帧作为所述各个肢体动作图像，也即共1200个肢体动作图像。
步骤102：根据所述驾驶员人脸图像获取相应的表情信息。
作为本申请的一个实施例，步骤102具体包括步骤301和步骤302，详述如下：
步骤301：对所述驾驶员人脸图像上的脸部各个部位的动作形态特征进行组合，得到动作形态特征集合。
其中，所述驾驶员人脸图像上的脸部各个部位的动作形态特征包括显著表情和微表情对应的动作形态特征，由于动作形态特征均体现在人脸图像上的脸部各个部位，显著表情和微表情对应的动作形态特征夹杂混合在一起，因此先得到动作形态特征集合，便于下一步骤进行分别识别。
步骤302：将所述动作形态特征集合与显著表情数据库及微表情数据库进行匹配分析以得到相应的显著表情信息与微表情信息，并将所述显著表情信息与所述微表情信息作为所述表情信息。
其中，微表情数据库中包括但不限于如下各个微表情动作形态特征，其中，饱 满愤怒表情的动作形态特征如下：
(1)眼轮匝肌强烈收缩，导致双眉下压；皱眉肌强烈收缩，眉头紧皱。
(2)上睑提肌强烈收缩，将上眼睑提至最高，想要努力露出全部虹膜上缘(如图中虚线所示)。但是，上眼睑的提升和双眉下压形成互相挤压的愤怒形态，会在上眼睑皮肤上形成斜线的皮肤褶皱。
(3)下眼睑绷紧。上眼睑的形态和绷紧的下眼睑匹配，称为怒视。
(4)提上唇肌和上唇鼻翼提肌共同收缩，提升鼻翼的同时也使脸颊隆起，形成鼻翼两侧深沟纹。
(5)下颚向下张开，下唇在降下唇肌的作用下下拉，露出部分下齿，在颈阔肌的收缩作用下向两侧拉伸并变薄，紧紧贴在下颚骨上。
其中，憋气的愤怒表情动作形态特征组合如下：
(1)皱眉肌收缩，眼轮匝肌收缩，使双眉皱紧并下压。
(2)上睑提肌收缩。
(3)眼轮匝肌的收缩，还会使下眼睑绷紧并轻微向两侧拉扯。
(4)口轮匝肌收缩，使双唇紧紧闭在一起。
(5)降口角肌收缩，使双侧嘴角向下弯曲。
(6)颏肌收缩，在下巴上形成肌肉隆起，表面凹凸不平，同时向上推起下唇，保持双唇紧闭。
其中，最小的愤怒表情的动作形态特征组合为：
(1)上睑提肌收缩，上眼睑试图上提(通常会遇到双眉的皱紧、下压)。
(2)眼轮匝肌收缩，下眼睑绷紧，更贴紧颅骨。
饱满的恐惧表情的动作形态特征组合如下：
(1)皱眉肌收缩，双眉向中间皱紧，形成纵向皱眉纹。
(2)额肌中束收缩，向上提升两侧眉头，在额前形成倒U形皱纹。
(3)上睑提肌收缩，试图提升上眼睑，但因为眼轮匝肌和皱眉肌的反向运动受到抑制，在上眼睑的皮肤上形成对角线褶皱。如果不受到抑制的话，可以分析出虹膜上缘会全部露出(如图中虚线所示)。
(4)提上唇肌和上唇鼻翼提肌共同收缩，提升上唇，露出上齿。
(5)颈阔肌收缩，将嘴角向两侧拉开，使嘴的水平宽度比正常状态更大。
(6)降下唇肌收缩，将下唇向下拉低，露出部分下齿。
其中，害怕的动作形态特征组合如下：
(1)皱眉肌和额肌中束共同收缩，正常的拱形眉形(虚线)被破坏，眉头上扬，眉形整体在内侧1/3处扭曲向上(箭头)。
(2)上眼睑向上提升，露出更多的虹膜上缘。
(3)提上唇肌轻微收缩，上唇提起，略微露出上齿。
(4)颈阔肌轻微收缩，将嘴角向两侧拉开，使嘴的水平宽度较平时的松弛状态更大。
其中，不安的动作形态特征组合如下：
(1)眉毛整体趋平，依旧保持着扭曲的状态，眉头上扬，但程度略微减轻；皱眉肌引起轻微纵向皱纹。
(2)眼睛睁开的程度增加，但并不夸张，上眼睑提升没有恐惧和害怕的表情中那么明显，但虹膜上缘露出的面积要比正常的松弛面孔中大一些。
进一步地，担忧的动作形态特征组合如下：
(1)眉头上扬和扭曲的眉形，说明心有压力，但不是厌恶和愤怒。
(2)嘴唇紧闭，唇红部分隐藏，口轮匝肌收缩使嘴唇紧绷，嘴角处由于降口角肌的收缩，也产生隆起。
其中，轻微担忧的动作形态特征组合如下：此时眉毛没有大幅提升，仅能观察到眉头的上扬和眉毛的平直扭曲形态；眼睑整体自然，但上眼睑还是处于比正常状态略高的位置，露出的虹膜面积较大。这种眉眼形态组合就是恐惧的微表情动作形态特征。
步骤103：根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息。
可选地，通过分析所述肢体动作图像中肢体的关节信息和角度信息，将所述关节信息和角度信息在预先存储的映射表进行查询，匹配出驾驶员的驾驶动作。其中，所述映射表包含节信息及角度信息、驾驶动作、关节信息及角度信息与驾驶动作的一一对应关系。作为本申请的另一个实施例，还可通过预先训练的驾驶动作识别模型对输入的肢体动作图像进行识别，输出驾驶员的驾驶动作。
步骤104：将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果。
在上述步骤102具体包括步骤301和步骤302对应实施例的基础上，所述危险表情集合包括危险显著表情集合和危险微表情集合，步骤104具体包括步骤401、步骤402和步骤403，详述如下：
步骤401：将所述显著表情信息与所述危险显著表情集合进行匹配判断，并得到相应的显著表情判断结果。
其中，危险显著表情集合包括但不限于打哈欠和眨眼闭眼。如果显著表情信息与所述危险显著表情集合匹配成功，则相应的显著表情判断结果为存在危险显著表情。
步骤402：将所述微表情信息与所述危险微表情集合进行匹配判断，并得到相应的微表情判断结果。
其中，危险微表情集合包括但不限于痛苦、愤怒和害怕，当微表情信息包含痛苦、愤怒和害怕种的至少一种时，则确定相应的微表情判断结果为存在危险微表情。
步骤403：综合所述显著表情判断结果和所述微表情判断结果以得到所述表情判断结果。
其中，表情判断结果包括存在危险显著表情且存在危险微表情、不存在危险显著表情且不存在危险微表情，存在危险显著表情且不存在危险微表情、存在危险微表情且不存在危险显著表情。
步骤105：将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果。
对于步骤105，危险驾驶动作集合包括但不限于接打电话动作、双手没有握住方向盘的动作和吃东西动作。若所述驾驶动作信息包含危险驾驶动作集合中的任一元素，则确定相应的驾驶动作判断结果为存在危险驾驶动作，若所述驾驶动作信息不包含危险驾驶动作集合中的任一元素，则确定相应的驾驶动作判断结果为不存在危险驾驶动作。
步骤106：若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足 预设条件，则发出告警提示。
对于步骤106，例如，若预先设定的告警条件之一为当驾驶员愤怒时，则进行告警，则当确定驾驶员的表情属于饱满的愤怒时，则对所述驾驶员发出告警信息。若预先设定的告警条件之一为当驾驶员在驾驶汽车的过程中双手都离开方向盘，则对所述驾驶员发出告警信息。若预先设定的告警条件之一为驾驶员的表情为不安，且在接打电话，则对所述驾驶员发出告警信息。优选地，对所述驾驶员发出告警信息的方式可以为播报告警语音信息。
作为本申请的一个实施例，在步骤101之后，还包括如下步骤：
步骤501：从身份信息数据库中获取所有的人脸图像，记所述所有的人脸图像为N张，N为大于1的整数。
在本实施例中，在获取到驾驶员的驾驶员人脸图像后，可对身份信息数据库进行更新。可以理解的是，当该驾驶员人脸图像不在身份信息数据库时，进行更新则将该驾驶员人脸图像存储至身份信息数据库中，确保了身份信息数据库的全面性。
步骤502：将N张人脸图像和所述驾驶员人脸图像共N+1张人脸图像输入预设神经网络，从所述预设神经网络的隐藏层输出与N+1张人脸图像对应的N+1张人脸图像的特征向量。
其中，N是大于1的正整数。人脸图像是包括人脸的图像，这里人脸也可以是指电子身份证上个体的脸部。
本实施例中的隐藏层是预设神经网络中除最后一层之外的任一层。
在本实施例中，预设神经网络是根据预设的具有人脸的图像和对应人的组号训练出来的，同一组号的图像都是同一人的人脸图像。
其中，每张人脸图像输入预设神经网络都会输出一个向量，该向量作为对应人脸图像的特征向量。为了简化计算，本实施例中的特征向量的维度可以是512。
预设神经网络是深度卷积神经网络，一般的深度卷积神经网络的结构一般大于或等于5层结构；本实施例为了降低计算量，提高计算速度，预设神经网络可以采用精简的设计，选择合适的网络层数，并且去掉诸如归一化层、批规范化层等层。本实施例的预设神经网络的模型图，从输入到输出的方向，第一层结构 包括：第一卷积层、第一激活层和第一下采样层；第二层结构包括：第二卷积层、第二激活层和第二下采样层；第三层结构包括：第三卷积层、第三激活层和第三层下采样层；第四层结构包括：第四a卷积层、第四a激活层、第四b卷积层、第四b激活层和第四下采样层；第五层结构包括：第五卷积层和第五激活层；第六层结构包括：第一全连接层；第二全连接层。其中，预设神经网络中各个卷积层的卷积核不同、各个激活层的激活函数也不相同，优选的隐藏层是预设神经网络的倒数第二层，即第一全连接层。其中，第一全连接层的输出即达到了维度低，且具有最紧致的人脸特征，因此，该第一全连接层作为优选的隐藏层。
进一步的，第四a卷积层和第四a激活层可以由第一子卷积层、第一子激活层、第二子卷积层、第二子激活层代替，第五卷积层可以由第三子卷积层、第三子激活层、第四子卷积层和第四子激活层代替；其中，各个子卷积层的卷积核不同、子激活层的激活函数也不相同。
需要说明的是，经过卷积层之后的输入都需要通过激活层来增加非线性特性以去除人脸图像中的非线性因素。本实施例在第三下采样层之后增加了一个支路，第三层下采样层的输出与第二子卷积层的输出一起输入第四层卷积层中，同样，第四下采样层之后也增加了一个支路，将第四下采样层的输出和第五卷积层的输出一起输入第一全连接层，上述两种支路可以加速模型的收敛，提高准确率。第二层全连接层的输出维度是训练集合中的人数。
本实施例中，假设总共训练8个人，每个人都有自己的组号，如果向预设神经网络输入组号为1的人脸图像，那么，预设神经网络的输出的向量应该是(1，0，0，0，0，0，0，0)；也就是组号是几，那么，向量中相应第几位是1。如果再次输入人脸向量不是上述8个人的人脸图像，那么，没有组号与预设神经网络的输出对应，且该向量的输出结果是人为设定的，无法表达出的人脸特征，这样就需要选择包含人脸特征的隐藏层的输出作为特征向量，这样即使对从来没有输入过预设神经网络的人的人脸图像也能很好的识别。
步骤503：分别确定所述驾驶员人脸图像的特征向量与N个所述人脸图像的特征向量之间的距离，以得到N个向量距离。
对于步骤503，分别确定所述驾驶员人脸图像的特征向量与N个所述第二人脸图像的特征向量之间的距离。
其中，距离可以通过欧拉距离公式等距离公式计算，本实施例对此不做限制。
步骤504：当所述N个向量距离中的其中一个向量距离小于预设距离参考值时，则确定所述驾驶员人脸图像和所述其中一个向量距离对应的人脸图像是同一驾驶员的人脸图像，并根据所述身份信息数据库确定所述驾驶员的身份信息。
对于步骤504，由于距离计算方法不同，相应的预设距离不同；该预设距离参考值用于划分属于同一驾驶员的人脸图像的距离和属于不同驾驶员的人脸图像的距离，如果距离小于预设距离参考值，说明两张人脸图像的驾驶员脸属于同一个驾驶员，距离大于或等于预设距离参考值，说明两张人脸图像属于不同的两个驾驶员。
实施例二：
请参考图3，其示出了本申请实施例二提供的基于图像识别的驾驶行为预警装置30的示意图。所述基于图像识别的驾驶行为预警装置30，包括：第一获取模块31，第二获取模块32，第三获取模块33、第一匹配判断模块34、第二匹配判断模块35和告警提示模块36。其中，各模块的具体功能如下：
第一获取模块31，用于在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像。
第二获取模块32，用于根据所述驾驶员人脸图像获取相应的表情信息。
第三获取模块33，用于根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息。
第一匹配判断模块34，用于将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果。
第二匹配判断模块35，用于将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果。
告警提示模块36，用于若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
可选地，如图4所示，第一获取模块31包括：
录制单元311，用于在车辆行驶过程中实时录制驾驶员的视频。
确定单元312，用于从所述视频的拍摄时间起始点开始按照预设时间间隔等间距地确定出各个抽帧时间点。
抽帧单元313，用于将所述视频中与各个所述抽帧时间点对应的视频帧抽取出来，得到各个驾驶员肢体动作图像。
可选地，如图5所示，基于图像识别的驾驶行为预警装置30还包括：
第四获取模块37，用于从身份信息数据库中获取所有的人脸图像，记所述所有的人脸图像为N张，N为大于1的整数。
输出模块38，用于将N张人脸图像和所述驾驶员人脸图像共N+1张人脸图像输入预设神经网络，从所述预设神经网络的隐藏层输出与N+1张人脸图像对应的N+1张人脸图像的特征向量。
第一确定模块39，用于分别确定所述驾驶员人脸图像的特征向量与N个所述人脸图像的特征向量之间的距离，以得到N个向量距离。
第二确定模块310，用于当所述N个向量距离中的其中一个向量距离小于预设距离参考值时，则确定所述驾驶员人脸图像和所述其中一个向量距离对应的人脸图像是同一驾驶员的人脸图像，并根据所述身份信息数据库确定所述驾驶员的身份信息。
可选地，如图6所示，第二获取模块32包括：
组合单元321，用于对所述驾驶员人脸图像上的脸部各个部位的动作形态特征进行组合，得到动作形态特征集合。
分析单元322，用于将所述动作形态特征集合与显著表情数据库及微表情数据库进行匹配分析以得到相应的显著表情信息与微表情信息，并将所述显著表情信息与所述微表情信息作为所述表情信息。
可选地，如图7所示，第一匹配判断模块34包括：
第一匹配判断单元341，用于将所述显著表情信息与所述危险显著表情集合进行匹配判断，并得到相应的显著表情判断结果。
第二匹配判断单元342，用于将所述微表情信息与所述危险微表情集合进行匹配判断，并得到相应的微表情判断结果。
综合判断单元343，用于综合所述显著表情判断结果和所述微表情判断结果以得到所述表情判断结果。
关于基于图像识别的驾驶行为预警装置的具体限定可以参见上文中对于基于图像识别的驾驶行为预警方法的限定，在此不再赘述。上述基于图像识别的驾驶行为预警装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
实施例三：
在本实施例中，提供了一种计算机设备，该计算机设备可以是客户端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于图像识别的驾驶行为预警方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于图像识别的驾驶行为预警方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于图像识别的驾驶行为预警方法的步骤，例如图2所示的步骤101至步骤106。或者，处理器执行计算机程序时实现上述实施例中基于图像识别的驾驶行为预警装置的各模块/单元的功能，例如图3所示模块31至模块3，6的功能。为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性，也可以是易失性，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于图像识别的驾驶行为预警方法的步骤，例如图2所示的步骤101至步骤106。或者，计算机程序被处理器执行时实现上述实施 例中基于图像识别的驾驶行为预警装置的各模块/单元的功能，例如图3所示模块31至模块36的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(SyNchliNk)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
发明概述
技术问题
问题的解决方案
发明的有益效果

Claims (21)

  1. 一种基于图像识别的驾驶行为预警方法，其中，包括：
    在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；
    根据所述驾驶员人脸图像获取相应的表情信息；
    根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息；
    将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；
    将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；
    若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
  2. 如权利要求1所述的基于图像识别的驾驶行为预警方法，其中，在所述车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像中，获取驾驶员肢体动作图像包括：
    在车辆行驶过程中实时录制驾驶员的视频；
    从所述视频的拍摄时间起始点开始按照预设时间间隔等间距地确定出各个抽帧时间点；
    将所述视频中与各个所述抽帧时间点对应的视频帧抽取出来，得到各个驾驶员肢体动作图像。
  3. 如权利要求1所述的基于图像识别的驾驶行为预警方法，其中，在所述在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像之后，还包括：
    从身份信息数据库中获取所有的人脸图像，记所述所有的人脸图像为N张，N为大于1的整数；
    将N张人脸图像和所述驾驶员人脸图像共N+1张人脸图像输入预设神经网络，从所述预设神经网络的隐藏层输出与N+1张人脸图像对应的N+1张人脸图像的特征向量；
    分别确定所述驾驶员人脸图像的特征向量与N个所述人脸图像的特 征向量之间的距离，以得到N个向量距离；
    当所述N个向量距离中的其中一个向量距离小于预设距离参考值时，则确定所述驾驶员人脸图像和所述其中一个向量距离对应的人脸图像是同一驾驶员的人脸图像，并根据所述身份信息数据库确定所述驾驶员的身份信息。
  4. 如权利要求3所述的基于图像识别的驾驶行为预警方法，其中，所述预设神经网络的模型图从输入到输出的方向由第一层至第六层共六层构成，第一层结构包括：第一卷积层、第一激活层和第一下采样层；第二层结构包括：第二卷积层、第二激活层和第二下采样层；第三层结构包括：第三卷积层、第三激活层和第三层下采样层；第四层结构包括：第四卷积层、第四激活层、另一第四卷积层、另一第四激活层和第四下采样层；第五层结构包括：第五卷积层和第五激活层；第六层结构包括：第一全连接层和第二全连接层。
  5. 如权利要求4所述的基于图像识别的驾驶行为预警方法，其中，所述预设神经网络的隐藏层是所述第一全连接层，通过所述第一全连接层输出与N+1张人脸图像对应的N+1张人脸图像的特征向量。
  6. 如权利要求1所述的基于图像识别的驾驶行为预警方法，其中，根据所述驾驶员人脸图像获取相应的表情信息包括：
    对所述驾驶员人脸图像上的脸部各个部位的动作形态特征进行组合，得到动作形态特征集合；
    将所述动作形态特征集合与显著表情数据库及微表情数据库进行匹配分析以得到相应的显著表情信息与微表情信息，并将所述显著表情信息与所述微表情信息作为所述表情信息。
  7. 如权利要求6所述的基于图像识别的驾驶行为预警方法，其中，所述危险表情集合包括危险显著表情集合和危险微表情集合；
    所述将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果包括：
    将所述显著表情信息与所述危险显著表情集合进行匹配判断，并得到相应的显著表情判断结果；
    将所述微表情信息与所述危险微表情集合进行匹配判断，并得到相应的微表情判断结果；
    综合所述显著表情判断结果和所述微表情判断结果以得到所述表情判断结果。
  8. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如下步骤：
    在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；
    根据所述驾驶员人脸图像获取相应的表情信息；
    根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息；
    将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；
    将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；
    若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
  9. 如权利要求8所述的计算机设备，其中，在所述车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像中，获取驾驶员肢体动作图像包括：
    在车辆行驶过程中实时录制驾驶员的视频；
    从所述视频的拍摄时间起始点开始按照预设时间间隔等间距地确定出各个抽帧时间点；
    将所述视频中与各个所述抽帧时间点对应的视频帧抽取出来，得到各个驾驶员肢体动作图像。
  10. 如权利要求8所述的计算机设备，其中，在所述在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像之后，还包括：
    从身份信息数据库中获取所有的人脸图像，记所述所有的人脸图像为N张，N为大于1的整数；
    将N张人脸图像和所述驾驶员人脸图像共N+1张人脸图像输入预设神经网络，从所述预设神经网络的隐藏层输出与N+1张人脸图像对应的N+1张人脸图像的特征向量；
    分别确定所述驾驶员人脸图像的特征向量与N个所述人脸图像的特征向量之间的距离，以得到N个向量距离；
    当所述N个向量距离中的其中一个向量距离小于预设距离参考值时，则确定所述驾驶员人脸图像和所述其中一个向量距离对应的人脸图像是同一驾驶员的人脸图像，并根据所述身份信息数据库确定所述驾驶员的身份信息。
  11. 如权利要求10所述的计算机设备，其中，所述预设神经网络的模型图从输入到输出的方向由第一层至第六层共六层构成，第一层结构包括：第一卷积层、第一激活层和第一下采样层；第二层结构包括：第二卷积层、第二激活层和第二下采样层；第三层结构包括：第三卷积层、第三激活层和第三层下采样层；第四层结构包括：第四卷积层、第四激活层、另一第四卷积层、另一第四激活层和第四下采样层；第五层结构包括：第五卷积层和第五激活层；第六层结构包括：第一全连接层和第二全连接层。
  12. 如权利要求11所述的计算机设备，其中，所述预设神经网络的隐藏层是所述第一全连接层，通过所述第一全连接层输出与N+1张人脸图像对应的N+1张人脸图像的特征向量。
  13. 如权利要求8所述的计算机设备，其中，根据所述驾驶员人脸图像获取相应的表情信息包括：
    对所述驾驶员人脸图像上的脸部各个部位的动作形态特征进行组合，得到动作形态特征集合；
    将所述动作形态特征集合与显著表情数据库及微表情数据库进行匹配分析以得到相应的显著表情信息与微表情信息，并将所述显 著表情信息与所述微表情信息作为所述表情信息。
  14. 如权利要求13所述的计算机设备，其中，所述危险表情集合包括危险显著表情集合和危险微表情集合；
    所述将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果包括：
    将所述显著表情信息与所述危险显著表情集合进行匹配判断，并得到相应的显著表情判断结果；
    将所述微表情信息与所述危险微表情集合进行匹配判断，并得到相应的微表情判断结果；
    综合所述显著表情判断结果和所述微表情判断结果以得到所述表情判断结果。
  15. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现如下步骤：
    在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像；
    根据所述驾驶员人脸图像获取相应的表情信息；
    根据所述驾驶员肢体动作图像获取驾驶员的驾驶动作信息；
    将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果；
    将所述驾驶动作信息与危险驾驶动作集合进行匹配判断，并得到相应的驾驶动作判断结果；
    若所述表情判断结果满足预设条件和/或所述驾驶动作判断结果满足预设条件，则发出告警提示。
  16. 如权利要求15所述的计算机可读存储介质，其中，在所述车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像中，获取驾驶员肢体动作图像包括：
    在车辆行驶过程中实时录制驾驶员的视频；
    从所述视频的拍摄时间起始点开始按照预设时间间隔等间距地确定出各个抽帧时间点；
    将所述视频中与各个所述抽帧时间点对应的视频帧抽取出来，得到各个驾驶员肢体动作图像。
  17. 如权利要求15所述的计算机可读存储介质，其中，在所述在车辆行驶过程中获取驾驶员人脸图像和驾驶员肢体动作图像之后，还包括：
    从身份信息数据库中获取所有的人脸图像，记所述所有的人脸图像为N张，N为大于1的整数；
    将N张人脸图像和所述驾驶员人脸图像共N+1张人脸图像输入预设神经网络，从所述预设神经网络的隐藏层输出与N+1张人脸图像对应的N+1张人脸图像的特征向量；
    分别确定所述驾驶员人脸图像的特征向量与N个所述人脸图像的特征向量之间的距离，以得到N个向量距离；
    当所述N个向量距离中的其中一个向量距离小于预设距离参考值时，则确定所述驾驶员人脸图像和所述其中一个向量距离对应的人脸图像是同一驾驶员的人脸图像，并根据所述身份信息数据库确定所述驾驶员的身份信息。
  18. 如权利要求17所述的计算机可读存储介质，其中，所述预设神经网络的模型图从输入到输出的方向由第一层至第六层共六层构成，第一层结构包括：第一卷积层、第一激活层和第一下采样层；第二层结构包括：第二卷积层、第二激活层和第二下采样层；第三层结构包括：第三卷积层、第三激活层和第三层下采样层；第四层结构包括：第四卷积层、第四激活层、另一第四卷积层、另一第四激活层和第四下采样层；第五层结构包括：第五卷积层和第五激活层；第六层结构包括：第一全连接层和第二全连接层。
  19. 如权利要求18所述的计算机可读存储介质，其中，所述预设神经网络的隐藏层是所述第一全连接层，通过所述第一全连接层输出与N+1张人脸图像对应的N+1张人脸图像的特征向量。
  20. 如权利要求15所述的计算机可读存储介质，其中，根据所述驾驶 员人脸图像获取相应的表情信息包括：
    对所述驾驶员人脸图像上的脸部各个部位的动作形态特征进行组合，得到动作形态特征集合；
    将所述动作形态特征集合与显著表情数据库及微表情数据库进行匹配分析以得到相应的显著表情信息与微表情信息，并将所述显著表情信息与所述微表情信息作为所述表情信息。
  21. 如权利要求16所述的计算机可读存储介质，其中，所述危险表情集合包括危险显著表情集合和危险微表情集合；
    所述将所述表情信息与危险表情集合进行匹配判断，并得到相应的表情判断结果包括：
    将所述显著表情信息与所述危险显著表情集合进行匹配判断，并得到相应的显著表情判断结果；
    将所述微表情信息与所述危险微表情集合进行匹配判断，并得到相应的微表情判断结果；
    综合所述显著表情判断结果和所述微表情判断结果以得到所述表情判断结果。
PCT/CN2020/085576 2019-06-19 2020-04-20 基于图像识别的驾驶行为预警方法、装置和计算机设备 WO2020253349A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910532866.XA CN110399793A (zh) 2019-06-19 2019-06-19 基于图像识别的驾驶行为预警方法、装置和计算机设备
CN201910532866.X 2019-06-19

Publications (1)

Publication Number Publication Date
WO2020253349A1 true WO2020253349A1 (zh) 2020-12-24

Family

ID=68324171

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/085576 WO2020253349A1 (zh) 2019-06-19 2020-04-20 基于图像识别的驾驶行为预警方法、装置和计算机设备

Country Status (2)

Country Link
CN (1) CN110399793A (zh)
WO (1) WO2020253349A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634188A (zh) * 2021-02-02 2021-04-09 深圳市爱培科技术股份有限公司 一种车辆远近景组合成像方法及装置
CN112820072A (zh) * 2020-12-28 2021-05-18 深圳壹账通智能科技有限公司 危险驾驶预警方法、装置、计算机设备及存储介质
CN112959966A (zh) * 2021-04-26 2021-06-15 积善云科技(武汉)有限公司 基于互联网出行和用户习惯深度学习的车载多媒体调控方法、系统、设备和计算机存储介质
CN113347381A (zh) * 2021-05-24 2021-09-03 随锐科技集团股份有限公司 预测不雅举止轨迹的方法及系统
CN113723165A (zh) * 2021-03-25 2021-11-30 山东大学 基于深度学习的待检测人员危险表情检测方法及系统
CN114475620A (zh) * 2022-01-26 2022-05-13 南京科融数据系统股份有限公司 用于款箱押运系统的驾驶员验证方法及系统
CN116729254A (zh) * 2023-08-10 2023-09-12 山东恒宇电子有限公司 基于俯瞰图像的公交驾驶舱安全驾驶行为监测系统
CN117493434A (zh) * 2023-11-03 2024-02-02 青岛以萨数据技术有限公司 一种人脸图像存储方法、设备及介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399793A (zh) * 2019-06-19 2019-11-01 深圳壹账通智能科技有限公司 基于图像识别的驾驶行为预警方法、装置和计算机设备
CN111191523A (zh) * 2019-12-11 2020-05-22 秒针信息技术有限公司 信息的显示方法和装置、存储介质及电子装置
CN111626101A (zh) * 2020-04-13 2020-09-04 惠州市德赛西威汽车电子股份有限公司 一种基于adas的吸烟监测方法及系统
CN112016457A (zh) * 2020-08-27 2020-12-01 青岛慕容信息科技有限公司 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN113129551A (zh) * 2021-03-23 2021-07-16 广州宸祺出行科技有限公司 一种通过司机微表情自动报警的方法、系统、介质和设备
CN114170585B (zh) * 2021-11-16 2023-03-24 广西中科曙光云计算有限公司 危险驾驶行为的识别方法、装置、电子设备及存储介质
CN114663863A (zh) * 2022-02-24 2022-06-24 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN114708628A (zh) * 2022-03-07 2022-07-05 深圳市德驰微视技术有限公司 基于域控制器平台的车辆驾驶员监测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159214A (ja) * 2010-02-03 2011-08-18 Fuji Heavy Ind Ltd 行動検出装置
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN107697069A (zh) * 2017-10-31 2018-02-16 上海汽车集团股份有限公司 汽车驾驶员疲劳驾驶智能控制方法
CN108537198A (zh) * 2018-04-18 2018-09-14 济南浪潮高新科技投资发展有限公司 一种基于人工智能的驾驶习惯的分析方法
CN109766840A (zh) * 2019-01-10 2019-05-17 腾讯科技（深圳）有限公司 人脸表情识别方法、装置、终端及存储介质
CN110399793A (zh) * 2019-06-19 2019-11-01 深圳壹账通智能科技有限公司 基于图像识别的驾驶行为预警方法、装置和计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159214A (ja) * 2010-02-03 2011-08-18 Fuji Heavy Ind Ltd 行動検出装置
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN107697069A (zh) * 2017-10-31 2018-02-16 上海汽车集团股份有限公司 汽车驾驶员疲劳驾驶智能控制方法
CN108537198A (zh) * 2018-04-18 2018-09-14 济南浪潮高新科技投资发展有限公司 一种基于人工智能的驾驶习惯的分析方法
CN109766840A (zh) * 2019-01-10 2019-05-17 腾讯科技（深圳）有限公司 人脸表情识别方法、装置、终端及存储介质
CN110399793A (zh) * 2019-06-19 2019-11-01 深圳壹账通智能科技有限公司 基于图像识别的驾驶行为预警方法、装置和计算机设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112820072A (zh) * 2020-12-28 2021-05-18 深圳壹账通智能科技有限公司 危险驾驶预警方法、装置、计算机设备及存储介质
CN112634188A (zh) * 2021-02-02 2021-04-09 深圳市爱培科技术股份有限公司 一种车辆远近景组合成像方法及装置
CN113723165A (zh) * 2021-03-25 2021-11-30 山东大学 基于深度学习的待检测人员危险表情检测方法及系统
CN113723165B (zh) * 2021-03-25 2022-06-07 山东大学 基于深度学习的待检测人员危险表情检测方法及系统
CN112959966A (zh) * 2021-04-26 2021-06-15 积善云科技(武汉)有限公司 基于互联网出行和用户习惯深度学习的车载多媒体调控方法、系统、设备和计算机存储介质
CN113347381A (zh) * 2021-05-24 2021-09-03 随锐科技集团股份有限公司 预测不雅举止轨迹的方法及系统
CN114475620A (zh) * 2022-01-26 2022-05-13 南京科融数据系统股份有限公司 用于款箱押运系统的驾驶员验证方法及系统
CN114475620B (zh) * 2022-01-26 2024-03-12 南京科融数据系统股份有限公司 用于款箱押运系统的驾驶员验证方法及系统
CN116729254A (zh) * 2023-08-10 2023-09-12 山东恒宇电子有限公司 基于俯瞰图像的公交驾驶舱安全驾驶行为监测系统
CN117493434A (zh) * 2023-11-03 2024-02-02 青岛以萨数据技术有限公司 一种人脸图像存储方法、设备及介质
CN117493434B (zh) * 2023-11-03 2024-05-03 青岛以萨数据技术有限公司 一种人脸图像存储方法、设备及介质

Also Published As

Publication number Publication date
CN110399793A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
WO2020253349A1 (zh) 基于图像识别的驾驶行为预警方法、装置和计算机设备
WO2019104930A1 (zh) 一种身份鉴定方法、电子装置及计算机可读存储介质
KR102174595B1 (ko) 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
CN110348420B (zh) 手语识别方法、装置、计算机可读存储介质和计算机设备
US10528849B2 (en) Liveness detection method, liveness detection system, and liveness detection device
WO2021196738A1 (zh) 儿童状态检测方法及装置、电子设备、存储介质
CN109241842B (zh) 疲劳驾驶检测方法、装置、计算机设备及存储介质
WO2018218839A1 (zh) 一种活体识别方法和系统
US11328418B2 (en) Method for vein recognition, and apparatus, device and storage medium thereof
CN109830280A (zh) 心理辅助分析方法、装置、计算机设备和存储介质
CN109299690B (zh) 一种可提高视频实时人脸识别精度的方法
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
Hassanat Visual words for automatic lip-reading
CN113627256B (zh) 基于眨眼同步及双目移动检测的伪造视频检验方法及系统
CN112329727A (zh) 一种活体检测方法和装置
CN111507149B (zh) 基于表情识别的交互方法、装置和设备
CN109784179A (zh) 基于微表情识别的智能监护方法、装置、设备及介质
CN110147740B (zh) 人脸识别方法、装置、设备和存储介质
Lee Detection and recognition of facial emotion using bezier curves
CN111369559A (zh) 妆容评估方法、装置、化妆镜和存储介质
WO2022034779A1 (ja) 画像処理装置および画像処理方法
TWI767775B (zh) 影像式情緒辨識系統和方法
Wei et al. Three-dimensional joint geometric-physiologic feature for lip-reading
Chetty et al. Multimedia sensor fusion for retrieving identity in biometric access control systems
CN112487980A (zh) 基于微表情治疗方法、装置、系统与计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20826517

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20826517

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19.08.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20826517

Country of ref document: EP

Kind code of ref document: A1