WO2020024395A1 - 疲劳驾驶检测方法、装置、计算机设备及存储介质 - Google Patents

疲劳驾驶检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2020024395A1
WO2020024395A1 PCT/CN2018/106394 CN2018106394W WO2020024395A1 WO 2020024395 A1 WO2020024395 A1 WO 2020024395A1 CN 2018106394 W CN2018106394 W CN 2018106394W WO 2020024395 A1 WO2020024395 A1 WO 2020024395A1
Authority
WO
WIPO (PCT)
Prior art keywords
facial
picture
face
region
facial features
Prior art date
Application number
PCT/CN2018/106394
Other languages
English (en)
French (fr)
Inventor
刘胜坤
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020024395A1 publication Critical patent/WO2020024395A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present application relates to the field of financial technology, and in particular, to a fatigue driving detection method, device, computer equipment, and storage medium.
  • the existing method generally determines whether the driver has entered a fatigue driving state by judging whether the driver has reached the continuous driving time. This existing method is prone to misjudgment when facing the above situation, and brings hidden dangers to safe driving.
  • a fatigue driving detection method includes: collecting real-time facial features pictures obtained by a driver while driving and extracting various facial feature points on the facial features, the facial feature points being the basic features of the external dimensions of the facial features Points; input the position of each facial feature point on the human face into a pre-trained classifier to obtain facial features of the driver, which are generated by the facial features of the driver based on reflection
  • the facial features of the facial features movement range of the facial features movements when the facial features of the facial features movements of the facial features movement range exceeds a preset first threshold, and the recorded duration of the facial features movements exceeds a preset time , It is determined that the driver enters a fatigue state; if the total duration of the fatigue state of the driver exceeds a preset second threshold within a preset period of time, and the frequency of occurrence of the fatigue state exceeds a preset
  • the third threshold value of the driver is determined, the driver is fatigued to drive.
  • a fatigue driving detection device includes: an extraction module for collecting real-time facial features pictures obtained by a driver while driving and extracting various facial feature points on the facial features, the facial feature points being facial features Basic feature points of the outer dimension contour; an input module for inputting the position of each facial feature point on a human face into a pre-trained classifier to obtain facial features of the driver, and the facial features are driving An action of the facial features on the face of a member according to reflection, the facial features including the movement range of the facial features; a judgment module, configured to: when the movement range of the features in the facial features moves exceeds a preset first threshold, and When the recorded duration of the facial features moves for a preset time, it is determined that the driver enters a fatigue state; and a determination module is configured to, if the fatigue state of the driver continues for a total duration within a preset period of time When the preset second threshold is exceeded and the frequency of occurrence of the fatigue state exceeds the preset third threshold, it is determined that the driver is driving fatigued
  • a computer device includes a memory, a processor, and computer-readable instructions stored in the memory and executable on the processor, and the processor implements the computer-readable instructions to implement the fatigue driving detection method described above. A step of.
  • One or more non-volatile readable storage media storing computer-readable instructions that, when executed by one or more processors, cause the one or more processors to perform the fatigue driving Steps of the detection method.
  • FIG. 1 is a schematic diagram of an application environment of a fatigue driving detection method according to an embodiment of the present application
  • FIG. 3 is a flowchart of training a face average model in a fatigue driving detection method according to an embodiment of the present application
  • FIG. 4 is a flowchart of acquiring facial facial features in a fatigue driving detection method according to an embodiment of the present application.
  • FIG. 5 is a flowchart of identifying a facial feature picture using a model in a fatigue driving detection method according to an embodiment of the present application
  • FIG. 6 is a schematic diagram of a fatigue driving detection device in an embodiment of the present application.
  • FIG. 7 is a schematic diagram of a computer device according to an embodiment of the present application.
  • the fatigue driving detection method provided in this application can be applied in the application environment as shown in FIG. 1, where a computer device communicates with a server through a network.
  • the server collects real-time facial features pictures obtained by the driver while driving and extracts each facial feature point on the facial features picture.
  • the server inputs the position of each facial feature point on the face into a pre-trained classifier.
  • the server determines that the driver is driving fatigued.
  • the computer device may be, but is not limited to, various personal computers, notebook computers, smart phones, tablet computers, and portable wearable devices.
  • the server can be implemented by an independent server or a server cluster composed of multiple servers.
  • a fatigue driving detection method is provided.
  • the fatigue driving detection method is applied in the fintech industry, and the method is applied to the server in FIG. 1 as an example for description, including the following: step:
  • S10 Collect facial features pictures obtained by the driver in real time and extract each facial feature point on the facial features pictures
  • the collection tool may be a digital camera or a video recorder
  • the facial feature points are the basic feature points of the external dimensions of the facial features.
  • S20 Input the position of each facial feature point on the human face into a pre-trained classifier to obtain facial features of the driver;
  • facial facial features are the actions of the driver's facial features based on reflections, such as blinking movements.
  • the facial facial features include the movement range of the facial features.
  • the movement range of the facial features is the driver's transition from the normal facial features. Displacement to the current state of the five senses, including longitudinal displacement and lateral displacement.
  • the training process of the classifier is to first extract preset facial feature points from preset facial features pictures, and then train the extracted preset facial feature points on the face as training samples to obtain the Classifier.
  • the classifier can be a regression classifier, a naive Bayesian classifier, or a neural network classifier.
  • the specific content of the classifier can be set according to the actual application, which is not limited here.
  • the classifier first extracts the preset facial feature points from the preset facial features pictures, and then trains the extracted facial feature points on the face as a training set, that is, the classifier saves as The pairing relationship between the position of the input facial feature point on the human face and the facial facial features of the driver as an output, so the facial facial features of the driver obtained are accurate facial facial features, thereby improving the accuracy of obtaining facial facial features. Sex.
  • determine whether the duration of the recorded facial features movement exceeds a preset time when the driver ’s facial facial movements in the facial features movement range exceeds a preset first threshold, and the recorded facial features movement exceeds
  • the preset first threshold may be 1 cm or 3 cm
  • the preset time may be 3 seconds or 5 seconds.
  • the specific content of the preset first threshold and the preset time may be set according to actual needs. There is no restriction here.
  • the movement range of the facial features can be obtained by analyzing facial muscle characteristics and characteristic functions of the driver insured by the insurance company while driving.
  • first it is determined whether the total duration of the fatigue state of the driver in a preset period of time exceeds a preset second threshold, and whether the frequency of occurrence of the fatigue state exceeds a preset third threshold, and determines After the driver enters a fatigue state, the driver is determined to drive when the total duration of the fatigue state of the driver exceeds a preset second threshold within a preset period of time and the frequency of occurrence of the fatigue state exceeds a preset third threshold.
  • Driver fatigue driving when the total duration of the driver's fatigue state does not exceed a preset second threshold within a preset period of time, and the frequency of occurrence of the fatigue state does not exceed a preset third threshold, the driver is determined Awake driving, which is driving a vehicle when the driver is awake.
  • the extracted facial feature points are also the driver driving.
  • the basic feature points of the external dimensions of the facial features on the face in real time, so that the facial features of the driver obtained by inputting into the pre-trained classifier according to the position of the facial feature points on the face are also real time,
  • the facial facial features are the actions of the driver's facial features based on reflections.
  • the facial facial features' movement duration and the statistical duration of the facial facial features' movements are also real-time due to the facial facial features' movement.
  • the fatigue driving detection method is applied in the fintech industry, and extracting each facial feature point on the facial features picture is specifically: using a pre-trained average face model for analysis based on the facial features picture To obtain each facial feature point; as shown in FIG. 3 and FIG. 2, a flowchart of training a face average model in an application scenario in a fatigue driving detection method according to the embodiment, the face average model is obtained by training in the following steps:
  • S101 Establish a sample database, the sample inventory is in the first number of facial features pictures, and the second number of facial feature points are marked in each face sample image to obtain each labeled face sample image;
  • S102 Input each labeled face sample picture as a sample into a pre-trained face feature recognition model for training to obtain a face average model.
  • step S101 it can be understood that, in order to obtain a face sample picture, a sample database needs to be established first, and the sample database stores a first number of facial features pictures, and then a second number of facial features are marked in each face sample picture Point to obtain the labeled face sample pictures.
  • step S102 it can be understood that, the obtained face sample pictures after each label are input as samples to a pre-trained face feature recognition model for training, so as to obtain an average face model.
  • the facial feature recognition model is obtained by training face sample pictures as a sample set.
  • the first quantity can be 100
  • the second quantity can be 20, and the specific content of the first quantity and the second quantity can be set according to the actual application, and there is no limitation here.
  • the first number is 200
  • the second number is 76.
  • the face sample picture is marked with 76 facial feature points, which are sequentially marked as P1 to P76.
  • the coordinates of the 76 facial feature points are: (x1, y1). , (X2, y2), ..., (x76, y76).
  • the outer contour of the face has 17 feature points (P1 ⁇ P17, evenly distributed on the outer contour of the face), the left and right eyebrows have 5 feature points (P18 ⁇ P22, P23 ⁇ P27, evenly distributed on the upper end of the eyebrows), and the nose has 9 feature points (P28 ⁇ P36), 6 feature points on the left and right eye sockets (respectively marked as P37 ⁇ P42, P43 ⁇ P48), 4 feature points on the left and right eyeballs (respectively marked as P49 ⁇ P52, P53 ⁇ P56) ),
  • the lips have 20 feature points (P57 ⁇ P76), the upper and lower lips of the lip have 8 feature points (respectively P57 ⁇ P64, P65 ⁇ P72), and the left and right lip corners have 2 feature points. (P73 to P74, P75 to P76, respectively).
  • the face feature recognition model is obtained by training the face sample pictures as the sample set, that is, the input face pictures and output are stored in the face feature recognition model.
  • the matching relationship of the face average model so that through the face feature recognition model, a face average model matching the input face sample picture can be obtained, thereby improving the accuracy of generating the face average model.
  • the fatigue driving detection method is applied in the financial technology industry.
  • a facial feature recognition model in a fatigue driving detection method is obtained by training the following gradient-enhancing decision tree algorithm formula:
  • m represents the cascade number
  • k m represents the current level of the regressor.
  • Each regressor is composed of many regression trees.
  • P ⁇ m is the shape estimation of the current model.
  • Each regressor is based on the input current picture i and p ⁇ m.
  • the second number of the first face sample pictures is used in the order of the first number of face sample pictures after the labeling.
  • the first regression tree is trained at the feature points
  • the first regression tree is determined as the current regression tree
  • the second regression tree is trained by using the residual of the predicted value of the current regression tree and the normal value of the second number of feature points.
  • the error between the predicted value of each regression tree and the normal value can be close to zero, that is, the predicted value of each regression tree is equivalent to the normal value. Therefore, an accurate facial feature recognition model can be generated according to each regression tree, thereby improving the accuracy of generating a facial feature recognition model.
  • the fatigue driving detection method is applied in the financial technology industry, as shown in FIG. 4 or FIG. 2 or FIG. 3 corresponding to the fatigue driving detection method in the embodiment to obtain facial features pictures in one application
  • the flowchart in the scene and the facial features are obtained through the following steps:
  • S70 Use a pre-trained convolutional neural network model to perform feature recognition on the first face picture to obtain a facial feature picture.
  • step S50 it can be understood that the original face picture of the driver insured by the insurance company while driving can be collected in real time through a collection device, and the original face picture is a picture of the entire face of the driver while driving.
  • the acquisition device has been described in step S10. In order to avoid repetition, it will not be explained here.
  • the wireless can be a mobile data network such as a car wifi or sim card.
  • step S60 it can be understood that, in order to conveniently input a face picture into a pre-trained convolutional neural network model, the original face picture needs to be reduced to a preset size to obtain a first face picture .
  • the preset size can be 10, and the specific content of the preset size can be set according to the actual application, which is not limited here.
  • step S70 it can be understood that, in order to obtain a facial facial feature picture, a pre-trained convolutional neural network model is required to perform feature recognition on the first facial picture. Among them, the convolutional neural network model is trained from the first face picture as a sample set.
  • the convolutional neural network model is obtained by training the first face picture as a sample set, that is, the input first face is stored in the convolutional neural network model.
  • the matching relationship between the picture and the output facial features picture so that through the convolutional neural network model, a facial features picture matching the input first facial picture can be obtained, thereby improving the accuracy of obtaining facial features pictures.
  • the fatigue driving detection method is applied in the fintech industry, the first face picture is divided into a first region and a second region, and the first region and the second region do not intersect each other, as shown in FIG. 5
  • the flowchart shown in FIG. 4 corresponds to a flowchart of an application scenario in step S70 in a fatigue driving detection method in the embodiment.
  • the step S70 specifically includes:
  • S701 Segment the first region in the first face picture to obtain the third and fourth regions of the second face picture, and segment the second region in the first face picture to obtain the second face The fifth and sixth regions of the picture;
  • S702 Generate a facial feature picture according to the third region, the fourth region, the fifth region, and the sixth region in the second face picture.
  • step S701 it can be understood as: segmenting a first region in the obtained first face picture to obtain a third region and a fourth region in the second face picture, and simultaneously The second region is segmented to obtain a fifth region and a sixth region of the second face picture. That is, one solution is: input the obtained first face picture to a first full convolution network to obtain a second face picture.
  • the third region and the fourth region do not intersect each other, and the fifth region and the sixth region do not intersect each other.
  • the first region corresponds to a first type of organ
  • the second region corresponds to a second type of organ.
  • the ratio of the area of the first region to the total area of the first face picture is greater than or equal to a preset fifth threshold.
  • the area of the second region The proportions of the total area of the first face picture are all smaller than the preset fifth threshold.
  • the first area occupies a larger face area.
  • the first area includes: a hair area or a face area
  • the second area occupies a small face area.
  • the second area includes: left eye and left eyebrow area, right eye and right eyebrow Area, nose area, or mouth area.
  • the first full convolutional network includes a first input layer, a first combination layer, a first deconvolution layer, and a first output layer in sequence.
  • the first combination layer includes a plurality of first convolution layers and a first pooling. Layer, the first pooling layer is sandwiched between the plurality of first convolutional layers.
  • Another solution is that the third region and the fourth region are enlarged respectively, and the enlarged third region and the fourth region are accurately divided and positioned to obtain a fifth region and a sixth region.
  • This other solution specifically inputs the enlarged third region and the fourth region to a second full convolution network to obtain a fifth region and a sixth region. That is, the pictures of each organ pair included in the fifth region and the sixth region are extracted, the picture corresponding to each organ is enlarged, and then the enlarged picture of each organ pair is accurately segmented and located to obtain the corresponding
  • the second face picture that is, the segmentation and positioning of the picture is achieved through a full convolutional network.
  • the second full convolutional network includes a second input layer, a second combination layer, a second deconvolution layer, and a second output layer in this order.
  • the second combination layer includes a plurality of second convolution layers and a second pooling layer.
  • the number of layers of the first convolution layer is greater than the number of layers of the second convolution layer, and the second pooling layer is sandwiched between Multiple second convolutional layers.
  • step S702 it can be understood that a third face image is generated according to the third region, the fourth region, the fifth region, and the sixth region in the second face image, and the third face image is determined as the facial features image.
  • step S701 In order to better explain step S701 and step S702, an example is described below, as follows:
  • the first full convolutional network is divided into the following categories: background, hair, face, left eye and left eyebrow, right eye and right eyebrow, nose and mouth.
  • background, hair, face, left eye and left eyebrow, right eye and right eyebrow, nose and mouth are accurate segmentation and positioning, because the three types account for a large proportion of the overall face area; while the other facial features are fuzzy positioning, they are only responsible for approximate location estimation, and do not assume the goal of accurate segmentation.
  • the second full convolutional network segment processes the left-eye region, the right-eye region, the nose, and the mouth.
  • the attachment region is collected according to the position obtained by the first full convolutional network, and a more accurate segmentation result is obtained.
  • the eye model outputs two types of eyebrows and eyes, and the left and right eyes share the same model.
  • the nose model outputs a class of nose.
  • the mouth model outputs three types of upper lip, lower lip, and middle area of the mouth. For example, the eye area is 64 * 64, the nose area is 64 * 64, and the mouth area is 32 * 64.
  • a fatigue driving detection device corresponds to the fatigue driving detection method in the above-mentioned embodiment.
  • the fatigue driving detection device includes an extraction module 71, an input module 72, a determination module 73, and a determination module 74.
  • the detailed description of each function module is as follows:
  • the extraction module 71 is configured to collect real-time facial features pictures obtained by the driver while driving and extract each facial feature point on the facial features picture, and the facial feature points are basic feature points of the external dimensions of the facial features.
  • the input module 72 is used to input the positions of each facial feature point on the human face into a pre-trained classifier to obtain the facial facial features of the driver.
  • the facial facial features are generated by the facial features of the driver based on reflection. Facial movements, including facial movements;
  • a judging module 73 is configured to determine that the driver enters a fatigue state when the movement range of the facial features in the facial facial features movement is preset to a first threshold value and the duration of the recorded facial features movement exceeds a preset time;
  • the determining module 74 is configured to determine driving when the total duration of the fatigue state of the driver exceeds a preset second threshold value and the frequency of occurrence of the fatigue state exceeds a preset third threshold value within a preset period of time. Fatigued driving.
  • an extraction module 71 is configured to analyze a facial average feature model based on facial facial features pictures to obtain each facial feature point; the facial average model is obtained by training in the following units:
  • a building unit for building a sample database the sample stock is in the first number of facial features pictures, and the second number of facial feature points are marked in each face sample picture to obtain each labeled face sample picture;
  • the input unit is used for inputting each labeled face sample picture as a sample to a pre-trained face feature recognition model for training to obtain a face average model.
  • the face feature recognition model is obtained through training by a training unit, and the training unit is used to train the above-mentioned face feature recognition model by the following gradient boosting decision tree algorithm formula:
  • m represents the cascade number
  • k m represents the current level of the regressor.
  • Each regressor is composed of many regression trees.
  • P ⁇ m is the shape estimation of the current model.
  • Each regressor is based on the input current picture i and p ⁇ m.
  • the second number of the first face sample pictures is used in the order of the first number of face sample pictures after the labeling.
  • the first regression tree is trained at the feature points
  • the first regression tree is determined as the current regression tree
  • the second regression tree is trained by using the residual of the predicted value of the current regression tree and the normal value of the second number of feature points.
  • An obtaining unit for obtaining an original face picture wherein the original face picture is a picture of the entire face of the driver when driving;
  • a shrinking unit configured to reduce the original face image to a preset size to obtain a first face image
  • a recognition unit is used for feature recognition of the first face picture by using a pre-trained convolutional neural network model to obtain a facial feature picture.
  • the recognition unit includes:
  • a segmenting unit configured to segment a first region in a first face picture to obtain a third region and a fourth region in a second face picture, and segment a second region in the first face picture to obtain a first The fifth region and the sixth region of the two face pictures, wherein the third region and the fourth region do not intersect each other, and the fifth region and the sixth region do not intersect each other;
  • the generating unit is configured to generate a facial feature picture according to the third region, the fourth region, the fifth region, and the sixth region in the second face picture.
  • Each module in the fatigue driving detection device can be implemented in whole or in part by software, hardware, and a combination thereof.
  • the above-mentioned modules may be embedded in the hardware form or independent of the processor in the computer device, or may be stored in the memory of the computer device in the form of software, so that the processor calls and performs the operations corresponding to the above modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure diagram may be as shown in FIG. 7.
  • the computer device includes a processor, a memory, a network interface, and a database connected through a system bus.
  • the processor of the computer device is used to provide computing and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, computer-readable instructions, and a database.
  • the internal memory provides an environment for operating the operating system and computer-readable instructions in a non-volatile storage medium.
  • the database of the computer equipment is used to store the data involved in the fatigue driving detection method.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the computer-readable instructions are executed by a processor to implement a fatigue driving detection method.
  • a computer device which includes a memory, a processor, and computer-readable instructions stored on the memory and executable on the processor.
  • the processor executes the computer-readable instructions
  • the fatigue driving of the foregoing embodiment is implemented.
  • the steps of the detection method are, for example, steps S10 to S40 shown in FIG. 2.
  • the processor executes the computer-readable instructions
  • the functions of the modules / units of the fatigue driving detection device in the foregoing embodiment are implemented, for example, the functions of the extraction module 71 to the determination module 74 shown in FIG. 6. To avoid repetition, we will not repeat them here.
  • a computer-readable storage medium is provided, the one or more non-volatile storage mediums storing computer-readable instructions, and the computer-readable instructions are executed by one or more processors.
  • the computer may When the read instruction is executed by one or more processors, when the one or more processors execute the computer-readable instructions, the functions of each module / unit in the fatigue driving detection device in the foregoing device embodiment are implemented. To avoid repetition, we will not repeat them here.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM is available in various forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), dual data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Synchlink DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM).
  • SRAM static RAM
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDRSDRAM dual data rate SDRAM
  • ESDRAM enhanced SDRAM
  • SLDRAM synchronous chain Synchlink DRAM
  • Rambus direct RAM
  • DRAM direct memory bus dynamic RAM
  • RDRAM memory bus dynamic RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

一种疲劳驾驶检测方法、装置、计算机设备及存储介质，实时采集驾驶员在驾驶时得到的人脸五官图片并提取人脸五官图片上的面部特征点(S10)，将面部特征点处于人脸上的位置输入到预先训练好的分类器中得到的驾驶员的面部五官动作(S20)，当面部五官动作的移动幅度超过预设的第一阈值，且记录得到的面部五官动作的持续时间超过预设时间时，则确定所述驾驶员进入疲劳状态(S30)，当在预设的时间段内若驾驶员的疲劳状态持续的总时长超过预设的第二阈值，且疲劳状态的发生频率超过预设的第三阈值时，则确定驾驶员疲劳驾驶(S40)，提高了驾驶的安全性。

Description

疲劳驾驶检测方法、装置、计算机设备及存储介质
本申请以2018年08月02日提交的申请号为201810871611.1，名称为“疲劳驾驶检测方法、装置、计算机设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
技术领域
本申请涉及金融科技领域，尤其涉及一种疲劳驾驶检测方法、装置、计算机设备及存储介质。
背景技术
在当今时代中，交通工具发达，出行方式有多种选择，可以为坐飞机、坐高铁或坐汽车等方式，但出行时选择驾驶汽车的人们依然占大部分。
当人们自驾出行时，在驾驶员前一天熬夜，或驾驶员患上重感冒等容易导致身体劳累的情况下，驾驶员很可能在没有达到连续驾驶时长的时候便进入驾驶疲劳状态。而现有方式一般通过判断驾驶员是否达到连续驾驶时长来判定该驾驶员是否进入疲劳驾驶状态，这种现有方式在面对上述情况时容易出现误判，给安全驾驶带来隐患。
发明内容
基于此，有必要针对上述技术问题，提供一种可以提高了驾驶的安全性的疲劳驾驶检测方法、装置、计算机设备及存储介质。
一种疲劳驾驶检测方法，包括：实时采集驾驶员在驾驶时得到的人脸五官图片并提取人脸五官图片上的各个面部特征点，所述面部特征点为人脸上五官的外维轮廓基本特征点；将各个面部特征点处于人脸上的位置输入到预先训练好的分类器中，得到所述驾驶员的面部五官动作，所述面部五官动作为驾驶员的人脸上五官根据反射所产生的动作，所述面部五官动作包括五官的移动幅度；当所述面部五官动作中的五官的移动幅度超过预设的第一阈值，且记录到的所述五官动作的持续时间超过预设时间时，则确定所述驾驶员进入疲劳状态；当在预设的时间段内若所述驾驶员的疲劳状态持续的总时长超过预设的第二阈值，且所述疲劳状态的发生频率超过预设的第三阈值时，则确定所述驾驶员疲劳驾驶。
一种疲劳驾驶检测装置，包括：提取模块，用于实时采集驾驶员在驾驶时得到的人脸五官图片并提取人脸五官图片上的各个面部特征点，所述面部特征点为人脸上五官的外维轮廓基本特征点；输入模块，用于将各个面部特征点处于人脸上的位置输入到预先训练好的分类器中，得到所述驾驶员的面部五官动作，所述面部五官动作为驾驶员的人脸上五官根据反射所产生的动作，所述面部五官动作包括五官的移动幅度；判断模块，用于当所述面部五官动作中的五官的移动幅度超过预设的第一阈值，且记录到的所述五官动作的持续时间预设时间时，则确定所述驾驶员进入疲劳状态；确定模块，用于当在预设的时间段内若所述驾驶员的疲劳状态持续的总时长超过预设的第二阈值，且所述疲劳状态的发生频率超过预设的第三阈值时，则确定所述驾驶员疲劳驾驶。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述疲劳驾驶检测方法的步骤。
一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行所述疲劳驾驶检测方法的步骤。
本申请的一个或多个实施例的细节在下面的附图和描述中提出，本申请的其他特征和优点将从说明书、附图以及权力要求变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中疲劳驾驶检测方法的一应用环境示意图；
图2是本申请一实施例中疲劳驾驶检测方法的一流程图；
图3是本申请一实施例中疲劳驾驶检测方法中训练面部平均模型的一流程图；
图4是本申请一实施例中疲劳驾驶检测方法中获取人脸五官图片的一流程图；
图5是本申请一实施例中疲劳驾驶检测方法中采用模型识别出人脸五官图片的一流程图；
图6是本申请一实施例中疲劳驾驶检测装置的一示意图；
图7是本申请一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的疲劳驾驶检测方法，可应用在如图1的应用环境中，其中，计算机设备通过网络与服务端进行通信。服务端实时采集驾驶员在驾驶时得到的人脸五官图片并提取人脸五官图片上的各个面部特征点，服务端将各个面部特征点处于人脸上的位置输入到预先训练好的分类器中，得到所述驾驶员的面部五官动作，当所述面部五官动作中的五官的移动幅度超过预设的第一阈值，且记录到的所述五官动作的持续时间超过预设时间时，则服务端确定所述驾驶员进入疲劳状态，当在预设的时间段内若所述驾驶员的疲劳状态持续的总时长超过预设的第二阈值，且所述疲劳状态的发生频率超过预设的第三阈值时，则服务端确定所述驾驶员疲劳驾驶。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种疲劳驾驶检测方法，该疲劳驾驶检测方法应用在金融科技行业中，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
S10：实时采集驾驶员在驾驶时得到的人脸五官图片并提取人脸五官图片上的各个面部特征点；
在本实施例中，为了得到保险公司出险的驾驶员在驾驶时的各个面部特征点，需要先采用采集工具实时采集驾驶员在驾驶时得到的人脸五官图片，然后提取采集到的人脸五官图片上的各个面部特征点。
需要说明的是，采集工具可以为数码相机或录像机，面部特征点为人脸上五官的外维轮廓基本特征点。
S20：将各个面部特征点处于人脸上的位置输入到预先训练好的分类器中，得到驾驶员的面部五官动作；
在本实施例中，为了得到保险公司出险的驾驶员的面部五官动作，需要将得到的各个面部特征点处于人脸上的位置输入到预先训练好的分类器中。
需要说明的是，面部五官动作为驾驶员的人脸上五官根据反射所产生的动作，如眨眼动作，面部五官动作包括五官的移动幅度，五官的移动幅度为驾驶员由正常状态的五官状态转到当前状态的五官状态所产生的位移，位移包括纵向位移和横向位移。该分类器的训练过程为首先从预设的人脸五官图片上提取预设的面部特征点，然后将提取到的预设的面部特征点处于人脸上的位置作为训练样本训练，从而得到该分类器。该分类器可以为回归分类器、朴素贝叶斯分类器或神经网络分类器等，分类器的具体内容，可以根据实际应用进行设定，此处不做限制。
因为分类器先从预设的人脸五官图片上提取预设的面部特征点，然后将提取到的面部特征点处于人脸上的位置作为训练集训练得到，也即，该分类器保存着作为输入的面部特征点处于人脸上的位置与作为输出的驾驶员的面部五官动作的配对关系，所以得到的驾驶员的面部五官动作为准确的面部五官动作，从而提高了获取面部五官动作的准确性。
S30：当面部五官动作中的五官的移动幅度超过预设的第一阈值，且记录到的五官动作的持续时间超过预设时间时，则确定驾驶员进入疲劳状态；
在本实施例中，首先，记录保险公司出险的驾驶员在驾驶时五官动作的开始时间点，同时记录保险公司出险的驾驶员在驾驶时五官动作的结束时间点，然后，将该结束时间点减去该开始时间点，得到保险公司出险的驾驶员在驾驶时五官动作的持续时间，接下来，判断驾驶员在驾驶时的面部五官动作中的五官的移动幅度是否超过预设的第一阈值，且记录到的五官动作的持续时间是否超过预设时间，当驾驶员在驾驶时的面部五官动作中的五官的移动幅度超过预设的第一阈值，且记录到的五官动作的持续时间超过预设时间时，则确定该驾驶员进入疲劳状态。其中，预设的第一阈值可以为1厘米或3厘米等，预设时间可以为3秒或5秒等，预设的第一阈值和预设时间的具体内容，可以根据实际需求进行设定，此处做不限制。
当驾驶员在驾驶时的面部五官动作中的五官的移动幅度未超过预设的第一阈值，且记录到的五官动作的持续时间未超过预设时间时，则确定该驾驶员处于清醒状态。
需要说明的是，五官的移动幅度可以为根据保险公司出险的驾驶员在驾驶时脸部肌肉特征和特征函数分析得到。
S40：当在预设的时间段内若驾驶员的疲劳状态持续的总时长超过预设的第二阈值，且疲劳状态的发生频率超过预设的第三阈值时，则确定驾驶员疲劳驾驶。
在本实施例中，首先，判断在预设的时间段内驾驶员的疲劳状态持续的总时长是否超过预设的第二阈值，且疲劳状态的发生频率是否超过预设的第三阈值，确定驾驶员进入疲 劳状态后，当在预设的时间段内驾驶员的疲劳状态持续的总时长超过预设的第二阈值，且疲劳状态的发生频率超过预设的第三阈值时，则确定驾驶员疲劳驾驶；当在预设的时间段内驾驶员的疲劳状态持续的总时长未超过预设的第二阈值，且疲劳状态的发生频率未超过预设的第三阈值时，则确定驾驶员清醒驾驶，所述清醒驾驶为驾驶员处于清醒状态时驾驶车辆。
进一步地，当从驾驶员一开始驾车到当前的时间总长大于预设的第四阈值时，和当驾驶员的从清醒状态到疲劳状态的时间间隔小于预设的第五阈值时，则也确定驾驶员疲劳驾驶。当驾驶员处于清醒驾驶时，则发送预防疲劳驾驶的提醒消息给驾驶员，并返回步骤S30，这样可以做到防患于未然。
需要说明的是，预设的第四阈值和预设的第五阈值的具体内容，可以根据实际应用进行设定，此处不做限制。
在图2对应的实施例中，通过上述步骤S10～步骤S40，因为人脸五官图片是实时采集驾驶员在驾驶时所得到的脸部的图片，所以提取到的面部特征点也是驾驶员在驾驶时的实时的人脸上五官的外维轮廓基本特征点，从而根据面部特征点处于人脸上的位置输入到预先训练好的分类器中得到的所述驾驶员的面部五官动作也是实时的，所述面部五官动作为驾驶员的人脸上五官根据反射所产生的动作，接下来，由于面部五官的移动幅度、统计得到的所述面部五官动作的持续时间也是实时的，当所述面部五官动作中的五官的移动幅度超过预设的第一阈值，且记录到的所述五官动作的持续时间超过预设时间时，则确定所述驾驶员进入疲劳状态，最后，当在预设的时间段内若所述驾驶员的疲劳状态持续的总时长超过预设的第二阈值，且所述疲劳状态的发生频率超过预设的第三阈值时，则确定所述驾驶员疲劳驾驶。本申请是通过判断驾驶员是否进入疲劳状态确定疲劳驾驶，而不是通过判断驾驶员连续驾驶时间是否超过规定的疲劳驾驶时长确定疲劳驾驶，本申请的判断方法无疑比现有技术的判断方法更加准确，能够防止误判，进而提高了驾驶的安全性。
进一步地，在一实施例中，该疲劳驾驶检测方法应用在金融科技行业中，提取人脸五官图片上的各个面部特征点具体为：根据人脸五官图片采用预先训练好的面部平均模型进行分析，得到各个面部特征点；如图3所示图2对应实施例中一种疲劳驾驶检测方法中训练面部平均模型在一个应用场景下的流程图，该面部平均模型通过以下步骤训练得到：
S101：建立一个样本库，样本库存在第一数量人脸五官图片，在各人脸样本图片中标记第二数量面部特征点，得到各标记后的人脸样本图片；
S102：将各标记后的人脸样本图片作为样本输入到预先训练好的人脸特征识别模型进 行训练，得到面部平均模型。
对于上述步骤S101，可以理解为，为了得到人脸样本图片，需要先建立一个样本库，该样本库保存有第一数量人脸五官图片，然后在各人脸样本图片中标记第二数量面部特征点，从而得到各标记后的人脸样本图片。
对于上述步骤S102，可以理解为，将得到的各标记后的人脸样本图片作为样本输入到预先训练好的人脸特征识别模型进行训练，从而得到面部平均模型。
需要说明的是，人脸特征识别模型由人脸样本图片作为样本集训练得到。第一数量可以为100，第二数量可以20，第一数量和第二数量的具体内容，可以根据实际应用进行设定，此处不做限制。
如，第一数量为200，第二数量为76，人脸样本图片标记了76个面部特征点，依次记为P1～P76，所述76个面部特征点的坐标分别为：(x1、y1)、(x2、y2)、…、(x76、y76)。面部的外轮廓有17个特征点(P1～P17，均匀分布在人脸的外轮廓)，左右眉毛分别有5个特征点(P18～P22，P23～P27，均匀分布在眉毛上端)，鼻子有9个特征点(P28～P36)，左右眼眶分别有6个特征点(分别记为P37～P42，P43～P48)，左右眼球分别有4个特征点(分别记为P49～P52，P53～P56)，唇部有20个特征点(P57～P76)，唇部的上、下嘴唇分别有8个特征点(分别记为P57～P64，P65～P72)，左右唇角分别有2个特征点(分别记为P73～P74，P75～P76)。
在图3对应的实施例中，通过上述步骤S101和步骤S102，由于人脸特征识别模型由人脸样本图片作为样本集训练得到，也即，人脸特征识别模型中存储输入人脸图片与输出面部平均模型的匹配关系，从而经过人脸特征识别模型可以得到与输入的人脸样本图片匹配的面部平均模型，进而提高了生成面部平均模型的准确性。
进一步地，在一实施例中，该疲劳驾驶检测方法应用在金融科技行业中，一种疲劳驾驶检测方法中人脸特征识别模型通过如下梯度提升决策树算法公式训练得到：
p ∧t+1＝p ∧m+k m(i,p ∧m)
其中，m表示级联序号，k m表示当前级的回归器，各个回归器由很多棵回归树组成，p ∧m为当前模型的形状估计，各个回归器根据输入的当前图片i和p ∧m来预测一个增量k m(i,p ∧m)，在模型训练的过程中，按照第一数量张标记后的人脸样本图片的先后顺序采用第一张人脸样本图片的第二数量个特征点训练出第一棵回归树，将第一棵回归树确定为当前回归树，采用当前回归树的预测值与第二数量个特征点的正常值的残差训练出第二棵回 归树，将下一棵回归树确定为新的当前回归树，重复执行采用当前回归树的预测值与第二数量个特征点的正常值的残差训练出下一棵回归树，将下一棵回归树确定为新的当前回归树的动作，直到训练出最后一棵树的预测值与第二数量个部分特征点的正常值接近于0，得到梯度提升决策树算法的各棵回归树，根据各棵回归树生成人脸特征识别模型。
在本一实施例中，通过上述梯度提升决策树算法公式的迭代训练过程，可以实现各棵回归树的预测值与正常值误差接近零，也即各棵回归树的预测值相当于等于正常值，从而根据各棵回归树可以生成准确的人脸特征识别模型，进而提高了生成人脸特征识别模型的准确性。
进一步地，在一实施例中，该疲劳驾驶检测方法应用在金融科技行业中，如图4所示图2或图3对应实施例中一种疲劳驾驶检测方法中获取人脸五官图片在一个应用场景下的流程图，人脸五官图片通过以下步骤获取：
S50：获取原始人脸图片；
S60：将原始人脸图片缩小至预设大小得到第一人脸图片；
S70：采用预先训练好的卷积神经网络模型对第一人脸图片进行特征识别，得到人脸五官图片。
对于上述步骤S50，可以理解为，可以通过采集设备实时采集保险公司出险的驾驶员在驾驶时的原始人脸图片，该原始人脸图片为驾驶员在驾驶时的整张脸部的图片。采集设备在步骤S10中已经说明，为了避免重复，此处不再阐述。
进一步地，当采集到驾驶员在驾驶时的原始人脸图片时，可以通过无线或者有线网络实时传送给云服务端以便分析，无线可以为车载wifi或sim卡的移动数据网络等，有线可以为光缆或网线等。
对于上述步骤S60，可以理解为，为了能够方便地将人脸图片输入到预先训练好的卷积神经网络模型中，需要将该原始人脸图片缩小至预设大小尺寸从而得到第一人脸图片。其中，预设大小尺寸可以为10，预设大小尺寸的具体内容，可以根据实际应用进行设定，此处不做限制。
对于上述步骤S70，可以理解为，为了得到人脸五官图片，需要采用预先训练好的卷积神经网络模型对第一人脸图片进行特征识别。其中，卷积神经网络模型由第一人脸图片作为样本集训练得到。
在图4对应的实施例中，通过上述步骤S50～步骤S70，由于卷积神经网络模型由第一人脸图片作为样本集训练得到，也即，卷积神经网络模型中存储输入第一人脸图片与输 出人脸五官图片的匹配关系，从而经过卷积神经网络模型可以得到与输入的第一人脸图片匹配的人脸五官图片，从而提高了获取人脸五官图片的准确性。
进一步地，在一实施例中，该疲劳驾驶检测方法应用在金融科技行业中，第一人脸图片被分成第一区域和第二区域，第一区域与第二区域互不相交，如图5所示图4对应实施例中一种疲劳驾驶检测方法中步骤S70在一个应用场景下的流程图，所述步骤S70具体包括：
S701：对第一人脸图片中的第一区域进行分割，得到第二人脸图片的第三区域和第四区域，对第一人脸图片中的第二区域进行分割，得到第二人脸图片的第五区域和第六区域；
S702：根据第二人脸图片中的第三区域、第四区域、第五区域和第六区域生成人脸五官图片。
对于步骤S701，可以理解为，对得到的第一人脸图片中的第一区域进行分割，得到第二人脸图片的第三区域和第四区域，同时对得到的第一人脸图片中的第二区域进行分割，得到第二人脸图片的第五区域和第六区域。也即，一种方案为：将得到的第一人脸图片输入至第一全卷积网络，得到第二人脸图片。
需要说明的是，第三区域与第四区域互不相交，第五区域与第六区域互不相交。第一区域对应第一类型器官，第二区域对应第二类型器官，第一区域的面积占第一人脸图片的总面积的比例均大于或等于预设的第五阈值，第二区域的面积占第一人脸图片的总面积的比例均小于该预设的第五阈值。第一区域所占人脸面积较大，第一区域包括：头发区域或脸区域，第二区域所占人脸面积较小，第二区域包括：左眼及左眉区域、右眼及右眉区域、鼻子区域或嘴巴区域。第一全卷积网络依次包括第一输入层、第一组合层、第一反卷积层和第一输出层，所述第一组合层包括：多个第一卷积层和第一池化层，所述第一池化层夹在所述多个第一卷积层中。
另一种方案为：对第三区域和第四区域分别进行放大，对放大后的第三区域和第四区域进行精确分割定位，得到第五区域和第六区域。
该另一种方案具体地，将放大后的第三区域和第四区域输入至第二全卷积网络，得到第五区域和第六区域。也即，提取出第五区域和第六区域包括的各个器官对于的图片，将每个器官对应的图片进行放大，然后，对放大后的每个器官对于的图片进行精确分割定位，得到对应的第二人脸图片，也即，通过全卷积网络实现对图片的分割定位。
需要说明的是，第二全卷积网络依次包括第二输入层、第二组合层、第二反卷积层和第二输出层。第二组合层包括：多个第二卷积层和第二池化层，可选地，第一卷积层的层 数多于第二卷积层的层数，第二池化层夹在多个第二卷积层中。
对于步骤S702，可以理解为，根据第二人脸图片中的第三区域、第四区域、第五区域和第六区域生成第三人脸图片，同时将该第三人脸图片确定为人脸五官图片。
为了更好的说明步骤S701和步骤S702，下面通过一个例子进行说明，如下：
例如：首先，输入128*128大小的人脸图片，第一全卷积网络分为以下类别，背景，头发，脸，左眼及左眉，右眼及右眉，鼻子和嘴。其中，背景，头发和脸三类为精确分割定位，因为该三类占总体人脸面积比重较大；而其他的五官区域为模糊定位，只负责大概估计位置，并不承担精确分割的目标。第二全卷积网络分部处理左眼区域、右眼区域、鼻子和嘴。根据第一全卷积网络得到的位置采集附件区域，得到更准确的分割结果。其中，眼的模型输出眉毛和眼睛两类，左右眼共享同一个模型。鼻子模型输出鼻子一类。嘴模型输出上嘴唇、下嘴唇和嘴中间区域三类，如，眼睛区域为64*64，鼻子区域为64*64，嘴区域为32*64。
在图5对应的实施例中，通过上述步骤S701和步骤S702，实现了占人脸面积较大的第一区域进行精确分割定位，和对占人脸面积较小的第二子区域进行精确分割定位，相比与相关技术中，在人脸分割的过程中要想达到较好交过需要的网络层数较多，需要计算时间较长，解决了现有技术中人脸五官识别的准确度不高及需要占用的计算时间较长的问题，从而降低了子网络所需的复杂度，减少了人脸分割需要的计算时间，提高了人脸五官识别的准确度和效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种疲劳驾驶检测装置，该疲劳驾驶检测装置与上述实施例中疲劳驾驶检测方法一一对应。如图6所示，该疲劳驾驶检测装置包括提取模块71、输入模块72、判断模块73和确定模块74。各功能模块详细说明如下：
提取模块71，用于实时采集驾驶员在驾驶时得到的人脸五官图片并提取人脸五官图片上的各个面部特征点，面部特征点为人脸上五官的外维轮廓基本特征点；
输入模块72，用于将各个面部特征点处于人脸上的位置输入到预先训练好的分类器中，得到驾驶员的面部五官动作，面部五官动作为驾驶员的人脸上五官根据反射所产生的动作，面部五官动作包括五官的移动幅度；
判断模块73，用于当面部五官动作中的五官的移动幅度预设的第一阈值，且记录到的五官动作的持续时间超过预设时间时，则确定驾驶员进入疲劳状态；
确定模块74，用于当在预设的时间段内若驾驶员的疲劳状态持续的总时长超过预设的第二阈值，且疲劳状态的发生频率超过预设的第三阈值时，则确定驾驶员疲劳驾驶。
进一步地，提取模块71，用于根据人脸五官图片采用预先训练好的面部平均模型进行分析，得到各个面部特征点；面部平均模型通过以下单元训练得到：
建立单元，用于建立一个样本库，样本库存在第一数量人脸五官图片，在各人脸样本图片中标记第二数量面部特征点，得到各标记后的人脸样本图片；
投入单元，用于将各标记后的人脸样本图片作为样本输入到预先训练好的人脸特征识别模型进行训练，得到面部平均模型。
进一步地，人脸特征识别模型通过训练单元训练得到，该训练单元，用于如下梯度提升决策树算法公式训练上述人脸特征识别模型：
p ∧t+1＝p ∧m+k m(i,p ∧m)
其中，m表示级联序号，k m表示当前级的回归器，各个回归器由很多棵回归树组成，p ∧m为当前模型的形状估计，各个回归器根据输入的当前图片i和p ∧m来预测一个增量k m(i,p ∧m)，在模型训练的过程中，按照第一数量张标记后的人脸样本图片的先后顺序采用第一张人脸样本图片的第二数量个特征点训练出第一棵回归树，将第一棵回归树确定为当前回归树，采用当前回归树的预测值与第二数量个特征点的正常值的残差训练出第二棵回归树，将所述下一棵回归树确定为新的当前回归树，重复执行采用当前回归树的预测值与第二数量个特征点的正常值的残差训练出下一棵回归树，将下一棵回归树确定为新的当前回归树的动作，直到训练出最后一棵树的预测值与第二数量个部分特征点的正常值接近于0，得到梯度提升决策树算法的各棵回归树，根据各棵回归树生成人脸特征识别模型。
进一步地，人脸五官图片通过以下单元获取：
获取单元，用于获取原始人脸图片，其中，原始人脸图片为驾驶员在驾驶时的整张脸部的图片；
收缩单元，用于将原始人脸图片缩小至预设大小得到第一人脸图片；
识别单元，用于采用预先训练好的卷积神经网络模型对第一人脸图片进行特征识别，得到人脸五官图片。
进一步地，第一人脸图片被分成第一区域和第二区域，第一区域与第二区域互不相交，识别单元包括：
分割单元，用于对第一人脸图片中的第一区域进行分割，得到第二人脸图片的第三区 域和第四区域，对第一人脸图片中的第二区域进行分割，得到第二人脸图片的第五区域和第六区域，其中，第三区域与第四区域互不相交，第五区域与第六区域互不相交；
生成单元，用于根据第二人脸图片中的第三区域、第四区域、第五区域和第六区域生成人脸五官图片。
关于疲劳驾驶检测装置的具体限定可以参见上文中对于疲劳驾驶检测方法的限定，在此不再赘述。上述疲劳驾驶检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储疲劳驾驶检测方法涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种疲劳驾驶检测方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现上述实施例疲劳驾驶检测方法的步骤，例如图2所示的步骤S10至步骤S40。或者，处理器执行计算机可读指令时实现上述实施例中疲劳驾驶检测装置的各模块/单元的功能，例如图6所示提取模块71至确定模块74的功能。为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，该一个或多个存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行计算机可读指令时实现上述方法实施例中疲劳驾驶检测方法，或者，该一个或多个存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行计算机可读指令时实现上述装置实施例中疲劳驾驶检测装置中各模块/单元的功能。为避免重复，这里不再赘述。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该 计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种疲劳驾驶检测方法，其特征在于，所述疲劳驾驶检测方法包括：
    实时采集驾驶员在驾驶时得到的人脸五官图片并提取人脸五官图片上的各个面部特征点，所述面部特征点为人脸上五官的外维轮廓基本特征点；
    将各个面部特征点处于人脸上的位置输入到预先训练好的分类器中，得到所述驾驶员的面部五官动作，所述面部五官动作为驾驶员的人脸上五官根据反射所产生的动作，所述面部五官动作包括五官的移动幅度；
    当所述面部五官动作中的五官的移动幅度超过预设的第一阈值，且记录到的所述五官动作的持续时间超过预设时间时，则确定所述驾驶员进入疲劳状态；
    当在预设的时间段内若所述驾驶员的疲劳状态持续的总时长超过预设的第二阈值，且所述疲劳状态的发生频率超过预设的第三阈值时，则确定所述驾驶员疲劳驾驶。
  2. 如权利要求1所述的疲劳驾驶检测方法，其特征在于，所述提取人脸五官图片上的各个面部特征点具体为：根据所述人脸五官图片采用预先训练好的面部平均模型进行分析，得到各个面部特征点；所述面部平均模型通过以下步骤训练得到：
    建立一个样本库，所述样本库存在第一数量人脸五官图片，在各人脸样本图片中标记第二数量面部特征点，得到各标记后的人脸样本图片；
    将各标记后的人脸样本图片作为样本输入到预先训练好的人脸特征识别模型进行训练，得到所述面部平均模型。
  3. 如权利要求2所述的疲劳驾驶检测方法，其特征在于，所述人脸特征识别模型通过如下梯度提升决策树算法公式训练得到：
    p ^t+1＝p ^m+k m(i,p ^m)
    其中，m表示级联序号，k m表示当前级的回归器，各个回归器由很多棵回归树组成，p ^m为当前模型的形状估计，各个回归器根据输入的当前图片i和p ^m来预测一个增量k m(i,p ^m)，在模型训练的过程中，按照第一数量张标记后的人脸样本图片的先后顺序采用第一张人脸样本图片的第二数量个特征点训练出第一棵回归树，将所述第一棵回归树确定为当前回归树，采用所述当前回归树的预测值与所述第二数量个特征点的正常值的残差训练出下一棵回归树，将所述下一棵回归树确定为新的当前回归树，重复执行所述采用所述当前棵回归树的预测值与所述第二数量个特征点的正常值的残差训练出下一棵回归树，将 所述下一棵回归树确定为新的当前回归树的步骤，直到训练出最后一棵回归树的预测值与所述第二数量部分特征点的正常值接近于0，得到所述梯度提升决策树算法的各棵回归树，根据所述各棵回归树生成所述人脸特征识别模型。
  4. 如权利要求1至3中任一项所述的疲劳驾驶检测方法，其特征在于，所述人脸五官图片通过以下步骤获取：
    获取原始人脸图片，其中，所述原始人脸图片为所述驾驶员在驾驶时的整张脸部的图片；
    将所述原始人脸图片缩小至预设大小得到第一人脸图片；
    采用预先训练好的卷积神经网络模型对所述第一人脸图片进行特征识别，得到所述人脸五官图片。
  5. 如权利要求4所述的疲劳驾驶检测方法，其特征在于，所述第一人脸图片被分成第一区域和第二区域，所述第一区域与所述第二区域互不相交，所述采用预先训练好的卷积神经网络模型对所述第一人脸图片进行特征识别，得到人脸五官图片包括：
    对所述第一人脸图片中的所述第一区域进行分割，得到第二人脸图片的第三区域和第四区域，对所述第一人脸图片中的所述第二区域进行分割，得到第二人脸图片的第五区域和第六区域，其中，所述第三区域与所述第四区域互不相交，所述第五区域与所述第六区域互不相交；
    根据所述第二人脸图片中的所述第三区域、所述第四区域、所述第五区域和所述第六区域生成人脸五官图片。
  6. 一种疲劳驾驶检测装置，其特征在于，所述疲劳驾驶检测装置包括：
    提取模块，用于实时采集驾驶员在驾驶时得到的人脸五官图片并提取人脸五官图片上的各个面部特征点；
    输入模块，用于将各个面部特征点处于人脸上的位置输入到预先训练好的分类器中，得到所述驾驶员的面部五官动作，所述面部五官动作为驾驶员的人脸上五官根据反射所产生的动作，所述面部五官动作包括五官的移动幅度；
    判断模块，用于当所述面部五官动作中的五官的移动幅度超过预设的第一阈值，且记录到的所述五官动作的持续时间预设时间时，则确定所述驾驶员进入疲劳状态；
    确定模块，用于当在预设的时间段内若所述驾驶员的疲劳状态持续的总时长超过预设的第二阈值，且所述疲劳状态的发生频率超过预设的第三阈值时，则确定所述驾驶员疲劳驾驶。
  7. 如权利要求6所述的疲劳驾驶检测装置，其特征在于，提取模块包括分析单元，用于根据人脸五官图片采用预先训练好的面部平均模型进行分析，得到各个面部特征点；面部平均模型通过以下单元训练得到：
    建立单元，用于建立一个样本库，样本库存在第一数量人脸五官图片，在各人脸样本图片中标记第二数量面部特征点，得到各标记后的人脸样本图片；
    投入单元，用于将各标记后的人脸样本图片作为样本输入到预先训练好的人脸特征识别模型进行训练，得到面部平均模型。
  8. 如权利要求7中所述的疲劳驾驶检测装置，其特征在于，所述疲劳驾驶检测装置还包括：
    训练单元，用于通过如下梯度提升决策树算法公式训练所述人脸特征识别模型；
    p ^t+1＝p ^m+k m(i,p ^m)
    其中，m表示级联序号，k m表示当前级的回归器，各个回归器由很多棵回归树组成，p ^m为当前模型的形状估计，各个回归器根据输入的当前图片i和p ^m来预测一个增量k m(i,p ^m)，在模型训练的过程中，按照第一数量张标记后的人脸样本图片的先后顺序采用第一张人脸样本图片的第二数量个特征点训练出第一棵回归树，将所述第一棵回归树确定为当前回归树，采用所述当前回归树的预测值与所述第二数量个特征点的正常值的残差训练出下一棵回归树，将所述下一棵回归树确定为新的当前回归树，重复执行所述采用所述当前棵回归树的预测值与所述第二数量个特征点的正常值的残差训练出下一棵回归树，将所述下一棵回归树确定为新的当前回归树的步骤，直到训练出最后一棵回归树的预测值与所述第二数量部分特征点的正常值接近于0，得到所述梯度提升决策树算法的各棵回归树，根据所述各棵回归树生成所述人脸特征识别模型。
  9. 如权利要求6至8中任一项所述的疲劳驾驶检测装置，其特征在于，人脸五官图片通过以下单元获取：
    获取单元，用于获取原始人脸图片，其中，原始人脸图片为驾驶员在驾驶时的整张脸部的图片；
    收缩单元，用于将原始人脸图片缩小至预设大小得到第一人脸图片；
    识别单元，用于采用预先训练好的卷积神经网络模型对第一人脸图片进行特征识别，得到人脸五官图片。
  10. 如权利要求9中所述的疲劳驾驶检测装置，其特征在于，所述识别单元包括：
    分割单元，用于对第一人脸图片中的第一区域进行分割，得到第二人脸图片的第三区域和第四区域，对第一人脸图片中的第二区域进行分割，得到第二人脸图片的第五区域和第六区域，其中，第三区域与第四区域互不相交，第五区域与第六区域互不相交；
    生成单元，用于根据第二人脸图片中的第三区域、第四区域、第五区域和第六区域生成人脸五官图片。
  11. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    实时采集驾驶员在驾驶时得到的人脸五官图片并提取人脸五官图片上的各个面部特征点，所述面部特征点为人脸上五官的外维轮廓基本特征点；
    将各个面部特征点处于人脸上的位置输入到预先训练好的分类器中，得到所述驾驶员的面部五官动作，所述面部五官动作为驾驶员的人脸上五官根据反射所产生的动作，所述面部五官动作包括五官的移动幅度；
    当所述面部五官动作中的五官的移动幅度超过预设的第一阈值，且记录到的所述五官动作的持续时间超过预设时间时，则确定所述驾驶员进入疲劳状态；
    当在预设的时间段内若所述驾驶员的疲劳状态持续的总时长超过预设的第二阈值，且所述疲劳状态的发生频率超过预设的第三阈值时，则确定所述驾驶员疲劳驾驶。
  12. 如权利要求11所述的计算机设备，其特征在于，所述提取人脸五官图片上的各个面部特征点具体为：根据所述人脸五官图片采用预先训练好的面部平均模型进行分析，得到各个面部特征点；所述面部平均模型通过以下步骤训练得到：
    建立一个样本库，所述样本库存在第一数量人脸五官图片，在各人脸样本图片中标记第二数量面部特征点，得到各标记后的人脸样本图片；
    将各标记后的人脸样本图片作为样本输入到预先训练好的人脸特征识别模型进行训练，得到所述面部平均模型。
  13. 如权利要求12所述的计算机设备，其特征在于，所述人脸特征识别模型通过如下梯度提升决策树算法公式训练得到：
    p ^t+1＝p ^m+k m(i,p ^m)
    其中，m表示级联序号，k m表示当前级的回归器，各个回归器由很多棵回归树组成，p ^m为当前模型的形状估计，各个回归器根据输入的当前图片i和p ^m来预测一个增量 k m(i,p ^m)，在模型训练的过程中，按照第一数量张标记后的人脸样本图片的先后顺序采用第一张人脸样本图片的第二数量个特征点训练出第一棵回归树，将所述第一棵回归树确定为当前回归树，采用所述当前回归树的预测值与所述第二数量个特征点的正常值的残差训练出下一棵回归树，将所述下一棵回归树确定为新的当前回归树，重复执行所述采用所述当前棵回归树的预测值与所述第二数量个特征点的正常值的残差训练出下一棵回归树，将所述下一棵回归树确定为新的当前回归树的步骤，直到训练出最后一棵回归树的预测值与所述第二数量部分特征点的正常值接近于0，得到所述梯度提升决策树算法的各棵回归树，根据所述各棵回归树生成所述人脸特征识别模型。
  14. 如权利要求11至13中任一项所述的计算机设备，其特征在于，所述人脸五官图片通过以下步骤获取：
    获取原始人脸图片，其中，所述原始人脸图片为所述驾驶员在驾驶时的整张脸部的图片；
    将所述原始人脸图片缩小至预设大小得到第一人脸图片；
    采用预先训练好的卷积神经网络模型对所述第一人脸图片进行特征识别，得到所述人脸五官图片。
  15. 如权利要求14所述的计算机设备，其特征在于，所述第一人脸图片被分成第一区域和第二区域，所述第一区域与所述第二区域互不相交，所述采用预先训练好的卷积神经网络模型对所述第一人脸图片进行特征识别，得到人脸五官图片包括：
    对所述第一人脸图片中的所述第一区域进行分割，得到第二人脸图片的第三区域和第四区域，对所述第一人脸图片中的所述第二区域进行分割，得到第二人脸图片的第五区域和第六区域，其中，所述第三区域与所述第四区域互不相交，所述第五区域与所述第六区域互不相交；
    根据所述第二人脸图片中的所述第三区域、所述第四区域、所述第五区域和所述第六区域生成人脸五官图片。
  16. 一个或多个存储有计算机可读指令的非易失性可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
    实时采集驾驶员在驾驶时得到的人脸五官图片并提取人脸五官图片上的各个面部特征点，所述面部特征点为人脸上五官的外维轮廓基本特征点；
    将各个面部特征点处于人脸上的位置输入到预先训练好的分类器中，得到所述驾驶员的面部五官动作，所述面部五官动作为驾驶员的人脸上五官根据反射所产生的动作，所述 面部五官动作包括五官的移动幅度；
    当所述面部五官动作中的五官的移动幅度超过预设的第一阈值，且记录到的所述五官动作的持续时间超过预设时间时，则确定所述驾驶员进入疲劳状态；
    当在预设的时间段内若所述驾驶员的疲劳状态持续的总时长超过预设的第二阈值，且所述疲劳状态的发生频率超过预设的第三阈值时，则确定所述驾驶员疲劳驾驶。
  17. 如权利要求16所述的非易失性可读存储介质，其特征在于，所述提取人脸五官图片上的各个面部特征点具体为：根据所述人脸五官图片采用预先训练好的面部平均模型进行分析，得到各个面部特征点；所述面部平均模型通过以下步骤训练得到：
    建立一个样本库，所述样本库存在第一数量人脸五官图片，在各人脸样本图片中标记第二数量面部特征点，得到各标记后的人脸样本图片；
    将各标记后的人脸样本图片作为样本输入到预先训练好的人脸特征识别模型进行训练，得到所述面部平均模型。
  18. 如权利要求17所述的非易失性可读存储介质，其特征在于，所述人脸特征识别模型通过如下梯度提升决策树算法公式训练得到：
    p ^t+1＝p ^m+k m(i,p ^m)
    其中，m表示级联序号，k m表示当前级的回归器，各个回归器由很多棵回归树组成，p ^m为当前模型的形状估计，各个回归器根据输入的当前图片i和p ^m来预测一个增量k m(i,p ^m)，在模型训练的过程中，按照第一数量张标记后的人脸样本图片的先后顺序采用第一张人脸样本图片的第二数量个特征点训练出第一棵回归树，将所述第一棵回归树确定为当前回归树，采用所述当前回归树的预测值与所述第二数量个特征点的正常值的残差训练出下一棵回归树，将所述下一棵回归树确定为新的当前回归树，重复执行所述采用所述当前棵回归树的预测值与所述第二数量个特征点的正常值的残差训练出下一棵回归树，将所述下一棵回归树确定为新的当前回归树的步骤，直到训练出最后一棵回归树的预测值与所述第二数量部分特征点的正常值接近于0，得到所述梯度提升决策树算法的各棵回归树，根据所述各棵回归树生成所述人脸特征识别模型。
  19. 如权利要求16至18中任一项所述的非易失性可读存储介质，其特征在于，所述人脸五官图片通过以下步骤获取：
    获取原始人脸图片，其中，所述原始人脸图片为所述驾驶员在驾驶时的整张脸部的图片；
    将所述原始人脸图片缩小至预设大小得到第一人脸图片；
    采用预先训练好的卷积神经网络模型对所述第一人脸图片进行特征识别，得到所述人脸五官图片。
  20. 如权利要求19所述的非易失性可读存储介质，其特征在于，所述第一人脸图片被分成第一区域和第二区域，所述第一区域与所述第二区域互不相交，所述采用预先训练好的卷积神经网络模型对所述第一人脸图片进行特征识别，得到人脸五官图片包括：
    对所述第一人脸图片中的所述第一区域进行分割，得到第二人脸图片的第三区域和第四区域，对所述第一人脸图片中的所述第二区域进行分割，得到第二人脸图片的第五区域和第六区域，其中，所述第三区域与所述第四区域互不相交，所述第五区域与所述第六区域互不相交；
    根据所述第二人脸图片中的所述第三区域、所述第四区域、所述第五区域和所述第六区域生成人脸五官图片。
PCT/CN2018/106394 2018-08-02 2018-09-19 疲劳驾驶检测方法、装置、计算机设备及存储介质 WO2020024395A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810871611.1A CN109241842B (zh) 2018-08-02 2018-08-02 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN201810871611.1 2018-08-02

Publications (1)

Publication Number Publication Date
WO2020024395A1 true WO2020024395A1 (zh) 2020-02-06

Family

ID=65072810

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/106394 WO2020024395A1 (zh) 2018-08-02 2018-09-19 疲劳驾驶检测方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN109241842B (zh)
WO (1) WO2020024395A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444657A (zh) * 2020-03-10 2020-07-24 五邑大学 一种疲劳驾驶预测模型的构建方法、装置及存储介质
CN111814636A (zh) * 2020-06-29 2020-10-23 北京百度网讯科技有限公司 一种安全带检测方法、装置、电子设备及存储介质
CN111860098A (zh) * 2020-04-21 2020-10-30 北京嘀嘀无限科技发展有限公司 一种疲劳驾驶的检测方法、装置、电子设备和介质
CN111881783A (zh) * 2020-07-10 2020-11-03 北京嘉楠捷思信息技术有限公司 疲劳检测方法及装置
CN112070051A (zh) * 2020-09-16 2020-12-11 华东交通大学 基于剪枝压缩的疲劳驾驶快速检测方法
CN112183220A (zh) * 2020-09-04 2021-01-05 广州汽车集团股份有限公司 一种驾驶员疲劳检测方法及其系统、计算机存储介质
CN112989978A (zh) * 2021-03-04 2021-06-18 扬州微地图地理信息科技有限公司 基于高精度地图的驾驶辅助识别方法
CN113205081A (zh) * 2021-06-11 2021-08-03 北京惠朗时代科技有限公司 一种基于显著性检测的svm模型工人疲劳精准判别方法
CN114898339A (zh) * 2022-05-20 2022-08-12 一汽解放汽车有限公司 驾驶行为预测模型的训练方法、装置、设备、存储介质
CN114898339B (zh) * 2022-05-20 2024-06-07 一汽解放汽车有限公司 驾驶行为预测模型的训练方法、装置、设备、存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119714B (zh) * 2019-05-14 2022-02-25 山东浪潮科学研究院有限公司 一种基于卷积神经网络的驾驶员疲劳检测方法及装置
CN114127825A (zh) * 2019-07-25 2022-03-01 三菱电机株式会社 驾驶支援装置、驾驶支援方法、驾驶支援程序以及驾驶支援系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485191A (zh) * 2015-09-02 2017-03-08 腾讯科技（深圳）有限公司 一种驾驶员疲劳状态检测方法及系统
CN106781286A (zh) * 2017-02-10 2017-05-31 开易（深圳）科技有限公司 一种疲劳驾驶检测方法及系统
CN107992831A (zh) * 2017-12-07 2018-05-04 深圳云天励飞技术有限公司 疲劳状态检测方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692980B (zh) * 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
CN102254151B (zh) * 2011-06-16 2013-01-16 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
CN103479367B (zh) * 2013-09-09 2016-07-20 广东工业大学 一种基于面部运动单元识别的驾驶员疲劳检测方法
CN103714660B (zh) * 2013-12-26 2017-02-08 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN105740847A (zh) * 2016-03-02 2016-07-06 同济大学 一种基于驾驶员眼部识别和车辆行驶轨迹的疲劳等级判别算法
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警系统
CN106909879A (zh) * 2017-01-11 2017-06-30 开易（北京）科技有限公司 一种疲劳驾驶检测方法及系统
CN107229922A (zh) * 2017-06-12 2017-10-03 西南科技大学 一种疲劳驾驶监测方法及装置
CN107704805B (zh) * 2017-09-01 2018-09-07 深圳市爱培科技术股份有限公司 疲劳驾驶检测方法、行车记录仪及存储装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485191A (zh) * 2015-09-02 2017-03-08 腾讯科技（深圳）有限公司 一种驾驶员疲劳状态检测方法及系统
CN106781286A (zh) * 2017-02-10 2017-05-31 开易（深圳）科技有限公司 一种疲劳驾驶检测方法及系统
CN107992831A (zh) * 2017-12-07 2018-05-04 深圳云天励飞技术有限公司 疲劳状态检测方法、装置、电子设备及存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444657B (zh) * 2020-03-10 2023-05-02 五邑大学 一种疲劳驾驶预测模型的构建方法、装置及存储介质
CN111444657A (zh) * 2020-03-10 2020-07-24 五邑大学 一种疲劳驾驶预测模型的构建方法、装置及存储介质
CN111860098A (zh) * 2020-04-21 2020-10-30 北京嘀嘀无限科技发展有限公司 一种疲劳驾驶的检测方法、装置、电子设备和介质
CN111814636A (zh) * 2020-06-29 2020-10-23 北京百度网讯科技有限公司 一种安全带检测方法、装置、电子设备及存储介质
CN111881783A (zh) * 2020-07-10 2020-11-03 北京嘉楠捷思信息技术有限公司 疲劳检测方法及装置
CN112183220A (zh) * 2020-09-04 2021-01-05 广州汽车集团股份有限公司 一种驾驶员疲劳检测方法及其系统、计算机存储介质
CN112183220B (zh) * 2020-09-04 2024-05-24 广州汽车集团股份有限公司 一种驾驶员疲劳检测方法及其系统、计算机存储介质
CN112070051A (zh) * 2020-09-16 2020-12-11 华东交通大学 基于剪枝压缩的疲劳驾驶快速检测方法
CN112989978A (zh) * 2021-03-04 2021-06-18 扬州微地图地理信息科技有限公司 基于高精度地图的驾驶辅助识别方法
CN113205081A (zh) * 2021-06-11 2021-08-03 北京惠朗时代科技有限公司 一种基于显著性检测的svm模型工人疲劳精准判别方法
CN113205081B (zh) * 2021-06-11 2024-01-05 北京惠朗时代科技有限公司 一种基于显著性检测的svm模型工人疲劳精准判别方法
CN114898339A (zh) * 2022-05-20 2022-08-12 一汽解放汽车有限公司 驾驶行为预测模型的训练方法、装置、设备、存储介质
CN114898339B (zh) * 2022-05-20 2024-06-07 一汽解放汽车有限公司 驾驶行为预测模型的训练方法、装置、设备、存储介质

Also Published As

Publication number Publication date
CN109241842B (zh) 2024-03-05
CN109241842A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
WO2020024395A1 (zh) 疲劳驾驶检测方法、装置、计算机设备及存储介质
TWI731297B (zh) 一種風險預測方法、存儲介質和伺服器
WO2019228317A1 (zh) 人脸识别方法、装置及计算机可读介质
US20210390706A1 (en) Detection model training method and apparatus, computer device and storage medium
US20220092351A1 (en) Image classification method, neural network training method, and apparatus
WO2021017606A1 (zh) 视频处理方法、装置、电子设备及存储介质
CN108922622B (zh) 一种动物健康监测方法、装置及计算机可读存储介质
US11967151B2 (en) Video classification method and apparatus, model training method and apparatus, device, and storage medium
WO2020024400A1 (zh) 课堂监控方法、装置、计算机设备及存储介质
WO2020098074A1 (zh) 人脸样本图片标注方法、装置、计算机设备及存储介质
US20200005022A1 (en) Method, terminal, and storage medium for tracking facial critical area
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
CN113159073B (zh) 知识蒸馏方法及装置、存储介质、终端
US20180204094A1 (en) Image recognition method and apparatus
WO2021184902A1 (zh) 图像分类方法、装置、及其训练方法、装置、设备、介质
WO2019033525A1 (zh) Au特征识别方法、装置及存储介质
WO2020238353A1 (zh) 数据处理方法和装置、存储介质及电子装置
WO2021063056A1 (zh) 人脸属性识别方法、装置、电子设备和存储介质
WO2019109793A1 (zh) 人头区域识别方法、装置及设备
WO2022252642A1 (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
CN110287836B (zh) 图像分类方法、装置、计算机设备和存储介质
CN113435330B (zh) 基于视频的微表情识别方法、装置、设备及存储介质
WO2021057148A1 (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
WO2023284182A1 (en) Training method for recognizing moving target, method and device for recognizing moving target
US11893773B2 (en) Finger vein comparison method, computer equipment, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18928869

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18928869

Country of ref document: EP

Kind code of ref document: A1