WO2020232893A1 - 一种用户疲劳状态识别方法、装置、终端设备及介质 - Google Patents

一种用户疲劳状态识别方法、装置、终端设备及介质 Download PDF

Info

Publication number
WO2020232893A1
WO2020232893A1 PCT/CN2019/103278 CN2019103278W WO2020232893A1 WO 2020232893 A1 WO2020232893 A1 WO 2020232893A1 CN 2019103278 W CN2019103278 W CN 2019103278W WO 2020232893 A1 WO2020232893 A1 WO 2020232893A1
Authority
WO
WIPO (PCT)
Prior art keywords
threshold
user
fatigue
input variable
fatigue level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/103278
Other languages
English (en)
French (fr)
Inventor
王红伟
赵莫言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020232893A1 publication Critical patent/WO2020232893A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • This application belongs to the field of data processing technology, and in particular relates to a method, device, terminal device, and medium for identifying user fatigue status.
  • Fatigue driving is an extremely dangerous behavior, which will bring huge economic losses and casualties to the society, and it is also one of the main hidden dangers of traffic accidents.
  • some methods of user fatigue driving detection and corresponding actual products have appeared on the market, but the actual application results are not ideal, the detection accuracy of user fatigue driving status is not high, and it is difficult to implement to ensure user safety .
  • the embodiments of the present application provide a method and terminal device for identifying a user's fatigue state to solve the problem of inaccurate identification of a user's fatigue driving state in the prior art.
  • the first aspect of the embodiments of the present application provides a method for identifying a user fatigue state, including:
  • the first blink frequency and the first number of closed eyes are input to a pre-generated fuzzy controller to obtain the user’s real-time fatigue level, where the fuzzy controller is based on the pre-collected user’s preset time period Blink frequency sample data, closed eye frequency sample data, and fatigue level sample data corresponding to the preset time period are generated to identify the user’s fatigue level;
  • a safety warning is output to the user.
  • the second aspect of the embodiments of the present application provides a user fatigue state recognition device, including:
  • the data acquisition module is used to collect the facial video of the user in the first preset time period during driving, and process the facial video to obtain the first blink of the user in the first preset time period Frequency and number of first eyes closed;
  • the fatigue recognition module is used to input the first blink frequency and the first number of closed eyes to a pre-generated fuzzy controller to obtain the user’s real-time fatigue level, where the fuzzy controller is based on the pre-collected user
  • the sample data of blinking frequency, the number of closed eyes sample data and the fatigue level sample data corresponding to the preset time period are generated to identify the fatigue level of the user;
  • the safety warning module is configured to output a safety warning to the user if the real-time fatigue level of the user is higher than the preset level threshold.
  • a third aspect of the embodiments of the present application provides a terminal device, including a memory and a processor.
  • the memory stores computer-readable instructions that can run on the processor.
  • the processor executes the computer The following steps are implemented when reading instructions:
  • the first blink frequency and the first number of closed eyes are input to a pre-generated fuzzy controller to obtain the user’s real-time fatigue level, where the fuzzy controller is based on the pre-collected user’s preset time period Blink frequency sample data, closed eye frequency sample data, and fatigue level sample data corresponding to the preset time period are generated to identify the user’s fatigue level;
  • a safety warning is output to the user.
  • a fourth aspect of the embodiments of the present application provides a computer-readable storage medium that stores computer-readable instructions, wherein the computer-readable instructions are implemented when executed by at least one processor The following steps:
  • the first blink frequency and the first number of closed eyes are input to a pre-generated fuzzy controller to obtain the user’s real-time fatigue level, where the fuzzy controller is based on the pre-collected user’s preset time period Blink frequency sample data, closed eye frequency sample data, and fatigue level sample data corresponding to the preset time period are generated to identify the user’s fatigue level;
  • a safety warning is output to the user.
  • the number of closed eyes and the frequency of blinking when the user is driving fatigued It will be significantly higher than the value under normal conditions. Therefore, the blink frequency and the number of closed eyes during real-time driving are processed based on the fuzzy controller to obtain the real-time fatigue level of the user during driving. Finally, the real-time fatigue level of the user is compared. High, that is, when there may be fatigue driving, the user is warned to remind the user to pay attention to safe driving, which ensures the accuracy of the user's fatigue driving state recognition and ensures the user's driving safety.
  • FIG. 1 is a schematic diagram of the implementation process of a method for identifying a user fatigue state provided by Embodiment 1 of the present application;
  • FIG. 2 is a schematic diagram of the implementation process of the user fatigue state identification method provided by the second embodiment of the present application.
  • FIG. 3 is a schematic diagram of the implementation process of the method for recognizing the fatigue state of a user provided in Embodiment 3 of the present application;
  • FIG. 4 is a schematic diagram of the implementation process of the method for recognizing the fatigue state of a user provided in the fourth embodiment of the present application;
  • FIG. 5A is a schematic diagram of the implementation process of a method for identifying a user fatigue state provided in Embodiment 5 of the present application;
  • FIG. 5B is a fatigue state scoring rule of a user fatigue state recognition method provided in Embodiment 5 of the present application.
  • FIG. 6 is a schematic structural diagram of a user fatigue state recognition device provided by Embodiment 6 of the present application.
  • FIG. 7 is a schematic diagram of a terminal device provided in Embodiment 7 of the present application.
  • the corresponding fuzzy controller will be constructed according to the actual situation of the individual user, and the blink frequency of the user will be measured during actual driving.
  • Fig. 1 shows the implementation flow chart of the user fatigue state recognition method provided by the first embodiment of the present application, and the details are as follows:
  • S101 Collect a user's facial video during a first preset time period during driving, and process the facial video to obtain the first eye blink frequency and the first number of closed eyes of the user during the first preset time period.
  • the user’s fatigue driving monitoring is carried out in real time. Therefore, when acquiring data such as facial videos, real-time videos of the user during driving are also acquired.
  • advance Set a sampling duration and sampling frequency for example, the sampling duration is 5 seconds, the sampling frequency is 1 time/second, and the user's facial video will be collected according to the sampling duration and sampling frequency as the standard while the user is driving.
  • the user’s face video for 5 seconds, so as to realize the real-time monitoring of the user.
  • the sampling frequency can be set by the technicians according to the actual needs. The higher the sampling frequency, the higher the requirements for the software and hardware of the device.
  • the sampling frequency can be set to a small value, such as 2 times per second.
  • the regular meeting performs sampling for a preset sampling duration every 0.5 seconds. If the sampling duration is greater than 0.5 seconds, such as the above 5 seconds, the embodiment of this application will have sampling overlap, that is, the face videos collected several times before and after. There is a large amount of overlap. Although it will bring a certain increase in processing costs at this time, the fatigue driving of the user can be found in time, which is beneficial to ensure driving safety.
  • the embodiment of this application will sample the user's face video in real time according to the sampling duration and sampling frequency. Therefore, in the embodiment of this application, the first pre-processing of each processing It is assumed that the duration of the time period is equal to the sampling duration, but the time start point and time end point of the first preset time period need to be determined according to the actual situation. Specifically, the embodiment of the present application needs to obtain the face video obtained from the nearest sampling at the current time , The sampling start time and end time of the facial video are the start time and end time of the first preset time period.
  • the embodiment of the present application will perform human eye positioning on the facial video, as well as recognition of blinking and closed eyes, and count the user's blink frequency and the number of closed eyes within the first preset time period.
  • the method for identifying blinking and closing eyes is not limited here, and can be set by technicians according to actual needs, including but not limited to identifying blinking and closing eyes based on the distance between the upper and lower eyelids, or using deep learning-based Recognition of blinking and closed eyes can also be performed with reference to Embodiment 2 of this application and Embodiment 3 of this application.
  • a corresponding fuzzy controller for fatigue level recognition will be constructed in advance according to the actual situation of the user.
  • the process of fuzzy controller implementation of fuzzy control mainly includes input fuzzification, fuzzy reasoning and defuzzification, which can be specifically Refer to the related descriptions of Embodiment 5 of this application and Embodiment 6 of this application.
  • input fuzzification refers to the process of converting an actual value of an input variable in a basic domain into a language variable.
  • Fuzzy reasoning refers to a reasoning process in which an input is calculated to obtain an output according to a fuzzy control rule.
  • the fuzzy control rule is a password strength scoring rule obtained according to multiple practices.
  • the embodiment of the present application After acquiring the user's real-time first blink frequency and the first number of closed eyes, the embodiment of the present application directly inputs these physiological index data into the pre-built fuzzy controller corresponding to the household, so as to obtain the user's real-time fatigue level.
  • the classification of fatigue levels can be divided and set by the technicians according to the actual situation. For example, it can be set to include no fatigue, no fatigue, maybe fatigue, maybe fatigue, and fatigue.
  • a fatigue level threshold will be set in advance.
  • the specific form of the safety warning can be designed by a technician according to actual needs, and preferably, it can be a voice warning.
  • the emergency handling mode when the user is driving fatigued can be preset, such as automatically controlling the vehicle to stop slowly or issuing a warning to the emergency contact. At this time, while the safety warning is output, the The application embodiment will also automatically trigger the corresponding emergency handling mode to ensure the safety of the user's driving.
  • the execution body of the user fatigue state identification method can be set according to actual application requirements, which can be an independent terminal device installed in the vehicle, such as an independent fatigue detection with detection and alarm functions.
  • the instrument may also be a hardware module integrated with other devices.
  • the embodiment of the present application may be integrated into the driving recorder. Therefore, the software and hardware requirements of the embodiment of the present application are not specifically limited here.
  • the execution subject for collecting facial video and the execution subject for fatigue recognition may be the same or different. When they are not the same execution subject, the collection terminal needs to meet the aforementioned sampling requirements.
  • the duration and sampling frequency are used to collect the facial video and transmit it to the terminal for fatigue recognition in real time, so that the terminal for fatigue recognition can process the latest user facial video in real time.
  • the second embodiment of the present application includes:
  • S201 Perform framing processing on the face video to obtain corresponding consecutive multiple image frames.
  • S202 Perform eyelid distance recognition of the upper eyelid and the lower eyelid for each image frame, and search for image frames in which the eyelid distance is less than a preset distance threshold.
  • the upper and lower eyelids are recognized by the human eyes. Specifically, the human face is firstly located, and then the eyelid detection is performed on the human eye image, and the two arcs corresponding to the upper and lower eyelids are determined. Line, and finally calculate the maximum distance between the two arcs as the eyelid distance between the upper eyelid and the lower eyelid in the embodiment of the present application.
  • the eye positioning method and the eyelid detection method are not limited in the embodiments of this application, and can be set by the technicians themselves, including but not limited to the approximate position of the human eye in the face, and the characteristic that the human eye itself is a symmetrical ellipse , To locate the human eye, and at the same time to gray-scale the human eye, and identify the eyelid arc based on the gray-scale check in the gray-scale image.
  • the distance threshold is used to determine whether the user's eye status is closed eyes, which can be set by the technicians themselves. It should be noted that the actual eye characteristics of different users are quite different. For example, some people It is originally squinting. At this time, the distance between the upper and lower eyelids is relatively small compared to ordinary people. Therefore, when setting the distance threshold, it is preferable to set it with reference to the actual situation of the user to ensure accurate recognition. reliable.
  • S203 From the image frames whose eyelid distance is less than a preset distance threshold, filter out one or more image groups in which the image frame time in the group is continuous and the image frame time between the groups is discontinuous.
  • closing eyes is a continuous process, there must be more than one image frame whose eyelid distance is less than the distance threshold that can be detected once closed eyes. Therefore, in order to accurately identify the number of closed eyes, the image frame will be found in the embodiment of this application.
  • the image group whose middle eyelid distance is continuously smaller than the distance threshold. For each image group, it corresponds to an independent eye-closing behavior, so the time between each image group is not continuous (if continuous, it will be recognized For one image group, not two image groups).
  • S204 Count the number of image groups in which the number of image frames is greater than a preset number threshold in one or more image groups, and determine the number of image groups as the first number of eyes closed.
  • the embodiments of this application are aimed at the detection of user fatigue, that is, what needs to be detected in the embodiments of this application is closed eyes caused by user fatigue, but in actual situations, normal blinking phenomenon occurs even if the user is not tired Therefore, in the image group selected in S203, the corresponding closed eyes may also be the closed eyes of the user in a non-fatigue state. Therefore, the embodiment of the present application needs to select them to ensure the accuracy of subsequent identification and determination of the fatigue state.
  • the number of image groups will be screened, and only Count the number of image groups containing a large number of image frames as the corresponding number of closed eyes.
  • the preset number threshold value can be set by the technician himself, and preferably, it can be set to 5.
  • the third embodiment of the present application combines the user's eyelid distance in a non-fatigue state, and determines the corresponding distance threshold based on this.
  • S301 Collect facial videos of a user in a plurality of third preset time periods.
  • the facial video of the user in a non-fatigue state will be collected, so the specific time period corresponding to the third preset time period can be set by the technician himself, and it only needs to be when the user is in a non-fatigue state.
  • Time period is fine.
  • the specific time length can be set by the technicians themselves, and preferably can be set to 1 minute.
  • S302 Perform framing processing on the face video, perform eyelid distance recognition of the upper eyelid and the lower eyelid on the image frames obtained by the framing processing, and calculate the corresponding average eyelid distance.
  • S303 Calculate a corresponding preset distance threshold based on the average eyelid distance.
  • the calculation of the eyelid distance can refer to the related description of the first embodiment of the present application, which will not be repeated here.
  • the obtained average eyelid distance is the normal eyelid distance of the user in a non-fatigue state.
  • the distance between the eyes of the user in a non-fatigue state is analyzed to obtain the corresponding distance threshold that can be used to recognize the user's closed eyes, thereby ensuring the accuracy and reliability of the detection of the user's closed eyes.
  • the fourth embodiment of the present application includes:
  • S401 Perform blink recognition on the facial video, and count the total number of image frames corresponding to the recognized blink behavior.
  • S402 Calculate the quotient of the total number of image frames and the number of image frames included in the facial video to obtain a first blink frequency.
  • the method of blink recognition is not limited here, and can be set by the technicians themselves, including but not limited to such as the blink detection algorithm based on deep learning.
  • this embodiment of the present application will count the total number of image frames corresponding to the blinking behavior, and calculate the quotient of the total number of image frames corresponding to the blinking behavior to the total number of image frames of the facial video. In this way, the proportion of the blinking behavior in the total first preset time period is obtained, which is used as the first blinking frequency in the embodiment of the present application.
  • the embodiment of the present application will pre-build a fuzzy controller corresponding to the user, as shown in FIG. 5, including:
  • S501 Acquire pre-collected facial videos of the user in multiple second preset time periods.
  • the main purpose is to construct a fuzzy controller that can be used for user fatigue state recognition. Therefore, when acquiring sample data, it is necessary to obtain as much as possible the user’s facial videos under different fatigue states.
  • the number of the second preset time and the corresponding specific actual time period can be selected by the technicians themselves (the duration of the second preset time can be the same or different, set by the technicians), but it needs to be satisfied Contains facial videos of users in different fatigue states.
  • S502 Process the facial video to obtain a second eye blink frequency and a second number of closed eyes corresponding to the user in a plurality of second preset time periods.
  • the fatigue level evaluation of each sample facial video requires relevant experts to evaluate the facial video after viewing.
  • S504 Determine the second blink frequency and the second number of closed eyes corresponding to each second preset time period as the first input variable Qr and the second input variable Qs, respectively, and the fatigue level corresponding to each second preset time period Determine as the output variable T, and determine the basic domain, fuzzy domain, fuzzy subset and quantification corresponding to the first input variable, the second input variable and the output variable based on the second blink frequency, the second number of closed eyes, and the fatigue level factor.
  • the basic domain of the first input variable is determined to be [0, the first threshold] based on the second blink frequency, the second number of closed eyes and the fatigue level, and the fuzzy domain of the first input variable is [0, the first threshold/R1 , The first threshold *2/R1, the first threshold *3/R1, ..., the first threshold], the fuzzy subset is [rare, less, medium, more, a lot], and the quantization factor is 1.
  • the basic domain of the second input variable is determined to be [0, the second threshold] based on the second blink frequency, the second number of closed eyes and the fatigue level, and the fuzzy domain of the second input variable is [0, the second threshold/R2 , The second threshold *2/R2, the second threshold *3/R2, ..., the second threshold], the fuzzy subset is [small, small, medium, large, large], and the quantization factor is 1.
  • the basic domain of the third input variable is [0, the third threshold] based on the second blink frequency, the second number of closed eyes and the fatigue level
  • the fuzzy domain of the third input variable is [0, the third threshold/R3 ,
  • the fuzzy subset is [not fatigue, may not fatigue, maybe fatigue, may fatigue, fatigue]
  • the quantization factor is 1.
  • the first threshold, the second threshold, and the third threshold may respectively correspond to the maximum value of the second blinking frequency, the maximum number of the second closed eyes, and the maximum value of the fatigue level.
  • the first threshold may be 100 and the second threshold It can be 1, and the third threshold can be 1.
  • R1, R2, and R3 are constant terms used to divide the basic domain to obtain the corresponding fuzzy domain. The specific value can be calculated by the technician based on practical experience.
  • S505 Establish the first membership function of the first input variable and the first membership function of the second input variable according to the second blink frequency, the second number of closed eyes, the fatigue level, the basic domain, the fuzzy domain, the fuzzy subset, and the quantization factor. The second membership function and the third membership function of the output variable.
  • the membership functions of fuzzy controllers generally include: Gaussian membership functions, generalized bell-shaped membership functions, S-shaped membership functions, trapezoidal membership functions, triangular membership functions and Z-shaped membership functions.
  • Gaussian membership functions generalized bell-shaped membership functions
  • S-shaped membership functions trapezoidal membership functions
  • triangular membership functions triangular membership functions
  • Z-shaped membership functions Z-shaped membership functions.
  • the values of a and c corresponding to the function and the third membership function can be based on the pre-collected second blink frequency, second number of closed eyes, fatigue level, and the first input variable, second input variable, and output variable corresponding to the basic
  • the universe, fuzzy universe, fuzzy subset and quantization factor are obtained by fitting experiments. Through this membership function, the corresponding language value between the input variable and the output variable can be realized.
  • Qr is the first input variable
  • the symbolic meaning is: VS (very little), S (less), Z (medium), B (more), VB (many)
  • Qs is the second input variable
  • the symbolic meaning is: VS (small), S (small), Z (medium), B (large), VB (large)
  • T is the output variable
  • the symbol meaning is: NP (not fatigue), PNP (may not fatigue), MP (Maybe fatigue), PP (possibly fatigue), P (fatigue).
  • the generation process of the fuzzy controller can be completed according to the fatigue state scoring rules and the first membership function, the second membership function and the third membership function, and use the fuzzy controller The controller infers the input variables to get the corresponding output variables.
  • each parameter of the fuzzy controller generated above is obtained based on practical experience.
  • each parameter described above can be fine-tuned according to different application scenarios.
  • the level threshold of the first embodiment of the present application should also be one of NP, PNP, MP, PP, and P.
  • the number of closed eyes and the frequency of blinking when the user is driving fatigued It will be significantly higher than the value under normal conditions. Therefore, the blink frequency and the number of closed eyes during real-time driving are processed based on the fuzzy controller to obtain the real-time fatigue level of the user during driving. Finally, the real-time fatigue level of the user is compared. High, that is, when there may be fatigue driving, the user is warned to remind the user to pay attention to safe driving, which ensures the accuracy of the user's fatigue driving state recognition and ensures the user's driving safety.
  • the calculation and setting of various thresholds are carried out based on the actual situation of the user, and the corresponding fuzzy controller is constructed based on the data collected in the actual driving process of the user, thereby making the classification of the user's physiological index parameters more It is accurate and reliable, and ensures that the finally obtained fuzzy controller is suitable for the user himself, ensuring that the final identification of the user's fatigued driving is accurate and reliable, and ensuring the user's driving safety.
  • FIG. 6 shows a structural block diagram of a user fatigue state recognition device provided in an embodiment of the present application.
  • the user fatigue state recognition device illustrated in FIG. 6 may be the execution subject of the user fatigue state recognition method provided in the first embodiment.
  • the user fatigue state recognition device includes:
  • the data acquisition module 61 is configured to collect the facial video of the user in the first preset time period during the driving process, and process the facial video to obtain the first time of the user during the first preset time period. Blink frequency and number of first eyes closed.
  • the fatigue recognition module 62 is configured to input the first blink frequency and the first number of closed eyes to a pre-generated fuzzy controller to obtain the user’s real-time fatigue level, where the fuzzy controller is based on pre-collected
  • the user’s blinking frequency sample data, the number of closed eyes sample data and the fatigue level sample data corresponding to the preset time period are generated to identify the user’s fatigue level.
  • the safety warning module 63 is configured to output a safety warning to the user if the real-time fatigue level of the user is higher than a preset level threshold.
  • the data acquisition module 61 includes:
  • Framing processing is performed on the face video to obtain corresponding consecutive multiple image frames.
  • the data acquisition module 61 further includes:
  • the face video is divided into frames, and the upper eyelid and the lower eyelid distance are recognized on the image frames obtained by the divided frame processing, and the corresponding average eyelid distance is calculated.
  • the user fatigue state recognition device further includes:
  • the user fatigue state recognition device further includes:
  • the video acquisition module is configured to acquire pre-collected facial videos of the user in multiple second preset time periods.
  • the data calculation module is configured to process the facial video to obtain the second eye blink frequency and the second number of closed eyes corresponding to the user in the plurality of second preset time periods.
  • the fatigue acquiring module is configured to acquire the fatigue level of the user corresponding to each of the second preset times.
  • the model parameter determination module is configured to determine the second blink frequency and the second number of closed eyes corresponding to each of the second preset time periods as the first input variable Qr and the second input variable Qs, respectively.
  • the fatigue level corresponding to the second preset time period is determined as an output variable T, and the first input variable is determined based on the second blink frequency, the second number of closed eyes, and the fatigue level, respectively ,
  • the basic domain, fuzzy domain, fuzzy subset and quantization factor corresponding to the second input variable and the output variable.
  • the function determination module is used to determine according to the second blink frequency, the second number of closed eyes, the fatigue level, the basic domain, the fuzzy domain, the fuzzy subset, and the quantization factor, The first membership function of the first input variable, the second membership function of the second input variable, and the third membership function of the output variable are respectively established.
  • the controller building module is configured to establish the relationship between the first input variable, the second input variable and the output variable based on the second blink frequency, the second number of closed eyes and the fatigue level A fatigue level scoring rule, and constructing the fuzzy controller based on the fatigue level scoring rule, the first membership function, the second membership function, and the third membership function.
  • model parameter determination module includes:
  • the fuzzy domain is [0, the first threshold/R1, the first threshold*2/R1, the first threshold*3/R1,..., the first threshold]
  • the fuzzy subset is [rare, less, medium, Many, many]
  • the quantization factor is 1.
  • the basic domain of the second input variable is determined to be [0, second threshold] based on the second blink frequency, the second number of closed eyes, and the fatigue level, and the second input variable is
  • the fuzzy domain is [0, the second threshold/R2, the second threshold*2/R2, the second threshold*3/R2,..., the second threshold], and the fuzzy subset is [small, small, medium, Large, large], the quantization factor is 1.
  • the fuzzy domain is [0, the third threshold/R3, the third threshold*2/R3, the third threshold*3/R3,..., the third threshold]
  • the fuzzy subset is [not fatigue, may not fatigue, Maybe fatigue, maybe fatigue, fatigue]
  • the quantification factor is 1.
  • first”, “second”, etc. are used in the text in some embodiments of the present application to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another.
  • the first table may be named the second table, and similarly, the second table may be named the first table without departing from the scope of the various described embodiments.
  • the first form and the second form are both forms, but they are not the same form.
  • Fig. 7 is a schematic diagram of a terminal device provided by an embodiment of the present application.
  • the terminal device 7 of this embodiment includes a processor 70 and a memory 71.
  • the memory 71 stores computer readable instructions 72 that can run on the processor 70.
  • the steps in the foregoing embodiments of the user fatigue state recognition method are implemented, such as steps 101 to 106 shown in FIG. 1.
  • the processor 70 executes the computer-readable instructions 72
  • the functions of the modules/units in the foregoing device embodiments such as the functions of the modules 61 to 66 shown in FIG. 6, are implemented.
  • the terminal device 7 may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the terminal device may include, but is not limited to, a processor 70 and a memory 71.
  • FIG. 7 is only an example of the terminal device 7 and does not constitute a limitation on the terminal device 7. It may include more or less components than shown in the figure, or a combination of certain components, or different components.
  • the terminal device may also include an input sending device, a network access device, a bus, and the like.
  • the so-called processor 70 may be a central processing unit (Central Processing Unit, CPU), it can also be other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), ready-made programmable gate array (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor or the like.
  • the memory 71 may be an internal storage unit of the terminal device 7, such as a hard disk or a memory of the terminal device 7.
  • the memory 71 may also be an external storage device of the terminal device 7, such as a plug-in hard disk, a smart memory card (Smart Media Card, SMC), and a secure digital (Secure Digital, SD) equipped on the terminal device 7. Card, Flash Card, etc.
  • the memory 71 may also include both an internal storage unit of the terminal device 7 and an external storage device.
  • the memory 71 is used to store the computer-readable instructions and other programs and data required by the terminal device.
  • the memory 71 can also be used to temporarily store data that has been sent or will be sent.
  • each unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit can be implemented in the form of hardware or software functional unit.
  • the integrated module/unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • this application implements all or part of the procedures in the above-mentioned embodiments and methods, and can also be completed by instructing relevant hardware through computer-readable instructions, and the computer-readable instructions can be stored in a computer-readable storage medium.
  • the computer-readable instruction is executed by the processor, the steps of the foregoing method embodiments can be implemented.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • ROM read-only memory
  • PROM programmable ROM
  • EPROM electrically programmable ROM
  • EEPROM electrically erasable programmable ROM
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种用户疲劳状态识别方法、装置、终端设备及介质，适用于数据处理技术领域，该方法包括：采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到用户在第一预设时间段的第一眨眼频率和第一闭眼次数；将第一眨眼频率和第一闭眼次数输入至预先生成的模糊控制器，得到用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；若用户的实时疲劳等级高于预设等级阈值，向用户输出安全警告。本申请实施例保证了用户疲劳驾驶状态识别的准确性，保障了用户驾驶安全。

Description

一种用户疲劳状态识别方法、装置、终端设备及介质
本申请要求于2019年05月21日提交中国专利局、申请号为201910423723.5、发明名称为“一种用户疲劳状态识别方法、装置及终端设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请属于数据处理技术领域，尤其涉及一种用户疲劳状态识别方法、装置、终端设备及介质。
 背景技术
疲劳驾驶是一项危险系数极高的行为，会给社会带来巨大的经济损失和人员伤亡，也是现在交通事故主要隐患之一。为了防止用户疲劳驾驶，市场上已经出现了一些用户疲劳驾驶检测的方法和对应的实际产品，但实际应用结果均不理想，对用户疲劳驾驶状态的检测准确性不高，难以实施保障用户的安全。
 技术问题
有鉴于此，本申请实施例提供了一种用户疲劳状态识别方法及终端设备，以解决现有技术中对用户疲劳驾驶状态识别不准确的问题。
 技术解决方案
本申请实施例的第一方面提供了一种用户疲劳状态识别方法，包括：
采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；
将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；
若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。
本申请实施例的第二方面提供了一种用户疲劳状态识别装置，包括：
数据获取模块，用于采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；
疲劳识别模块，用于将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；
安全警告模块，用于若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；
将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；
若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被至少一个处理器执行时实现如下步骤：
采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；
将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；
若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。
 有益效果
通过预先构建基于眨眼频率和闭眼次数对应用户疲劳状态的模糊控制器，并在用户驾驶过程中进行眨眼频率和闭眼次数的检测识别，由于当用户疲劳驾驶时，其闭眼次数和眨眼频率会明显高于正常状态下的值，因此再将实时驾驶过程中的眨眼频率和闭眼次数基于模糊控制器进行处理，即可得到用户驾驶过程实时的实时疲劳等级，最后在用户实时疲劳等级较高，即可能存在疲劳驾驶时，对用户进行警告，以提示用户注意安全驾驶，保证了用户疲劳驾驶状态识别的准确性，保障了用户驾驶安全。
 附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的用户疲劳状态识别方法的实现流程示意图；
图2是本申请实施例二提供的用户疲劳状态识别方法的实现流程示意图；
图3是本申请实施例三提供的用户疲劳状态识别方法的实现流程示意图；
图4是本申请实施例四提供的用户疲劳状态识别方法的实现流程示意图；
图5A是本申请实施例五提供的用户疲劳状态识别方法的实现流程示意图；
图5B是本申请实施例五提供的用户疲劳状态识别方法的疲劳状态评分规则；
图6是本申请实施例六提供的用户疲劳状态识别装置的结构示意图；
图7是本申请实施例七提供的终端设备的示意图。
 本发明的实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
为了便于理解本申请，此处先对本申请实施例进行简要说明，考虑到实际情况中，当人体处于疲劳状态时容易出现困乏的情况，此时用户的眨眼频率和闭眼次数等生理指标数据会出现明显的上升情况，因此本申请实施例中会基于这些生理指标数据来进行用户的疲劳识别。但另一方面，考虑到实际情况中，对于不同用户而言其个体特性不同，最终表现出的疲劳情况下的各项生理指标参数变化情况也会有所差异，因此若直接预设的一些固定阈值来进行生理指标数据评估必然会导致最终结果的不准确，因此，在本申请实施例中，会针对个体用户的实际情况来构建对应的模糊控制器，在实际驾驶过程中对用户进行眨眼频率和闭眼次数的监测和实时模糊控制器的处理，并在发现用户疲劳等级较高时，即存在疲劳驾驶风险时，发出安全警告，详述如下：
图1示出了本申请实施例一提供的用户疲劳状态识别方法的实现流程图，详述如下：
S101，采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到用户在第一预设时间段的第一眨眼频率和第一闭眼次数。
在本申请实施例中，对用户疲劳驾驶监测是实时进行的，因此在进行脸部视频等数据获取时也是获取用户在驾驶过程中的实时视频，具体而言，本申请实施例中会以预先设置一个采样时长和采样频率，例如采样时长5秒钟，采样频率1次/秒，并会在用户驾驶过程中，以采样时长和采样频率为标准来采集用户的脸部视频，如每次采集用户5秒钟的脸部视频，从而实现对用户的实时监测，其中，采样的频率可以由技术人员根据实际需求设定，由于采样频率越高对设备软硬件的要求越高，所带来的成本也就越高，但另一方面采样频率越高得到的数据实时性效果越好，发现疲劳驾驶的及时性越高，因此，技术人员可以基于实际成本和对疲劳驾驶检测及时性两者进行衡量来进行采样频率的设置。例如，对于一些高速公路等场景，由于用户只要一出现疲劳驾驶，就极有可能会造成严重后果，针对该类场景可以将采样频率设置的较小，如2次/秒，此时本申请实施例会每隔0.5秒进行一次预设采样时长的采样，此时若采样时长大于0.5秒，如上述的5秒，本申请实施例则会出现采样重叠的情况，即前后几次采集的脸部视频是存在大量重叠的情况，此时虽然会带来一定的处理成本上升，但可以及时的发现用户疲劳驾驶情况，有利于保障驾驶安全。
在技术人员设置好上述的采样时长和采样频率的基础上，本申请实施例会按照采样时长和采样频率对用户实时进行脸部视频采样，因此在本申请实施例中，每次处理的第一预设时间段的时长等于采样时长，但第一预设时间段的时间起点和时间终点需要根据实际情况确定，具体而言，本申请实施例需要获取距离当前时刻最近的一次采样得到的脸部视频，则该脸部视频的采样起始时间和终止时间即为第一预设时间段的起始时间和终止时间。
在获取到用户的脸部视频之后，本申请实施例会对脸部视频进行人眼定位，以及眨眼和闭眼的识别，并统计在第一预设时间段内用户的眨眼频率和闭眼次数，其中对眨眼的识别方法和闭眼的识别方法此处不予限定，可由技术人员根据实际需求设定，包括但不限于如基于上下眼皮的距离来识别眨眼和闭眼，或者利用基于深度学习的眨眼和闭眼识别，亦可以参考本申请实施例二和本申请实施例三进行识别。
S102，将第一眨眼频率和第一闭眼次数输入至预先生成的模糊控制器，得到用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级。
在本申请实施例中，会预先针对用户的实际情况构建对应的用于疲劳等级识别的模糊控制器，模糊控制器实施模糊控制的过程主要包括输入模糊化、模糊推理以及去模糊化，具体可参考本申请实施例五和本申请实施例六的相关说明。其中，输入模糊化是指将输入变量在一个基本论域的一个实际值转换为语言变量的转化过程。模糊推理是指根据模糊控制规则对输入进行计算得到输出的推理过程，在本申请实施例中，模糊控制规则为根据多次实践得到的密码强度评分规则。
在获取到用户实时的第一眨眼频率和第一闭眼次数之后，本申请实施例会将这些生理指标数据直接输入至预先构建的户对应的模糊控制器，从而得到用户实时的疲劳等级情况。其中，对疲劳等级的划分可以由技术人员根据实际情况划分设定，如可以设置为包括不疲劳，可能不疲劳，也许疲劳，可能疲劳，疲劳。
S103，若用户的实时疲劳等级高于预设等级阈值，向用户输出安全警告。
在本申请实施例，会预先设一个疲劳的等级阈值，当识别出的用户疲劳等级高于该等级阈值时，即判定用户处于疲劳驾驶状态，此时会直接向用户发出安全警告，以提醒用户注意安全驾驶。其中，安全警告的具体形式可由技术人员根据实际需求设计，优选地，可以是语音警告。
作为本申请的一个优选实施例，可以预先设置好当用户疲劳驾驶时的紧急处理模式，如自动控制车辆缓慢停止行驶或者向紧急联系人发出警告，此时，在进行安全警告输出的同时，本申请实施例还会自动触发对应的紧急处理模式，以保证用户驾驶的安全。
在本申请实施例中，用户疲劳状态识别方法的执行主体可以根据实际应用需求进行设定，既可以是一个独立的终端设备安装于车辆之中，如一个独立的具有检测和报警功能的疲劳检测仪，也可以是集成与其他设备之中的硬件模块，例如可以将本申请实施例集成于行车记录仪之中，因此对于本申请实施例的软硬件需求，具体此处不予限定。应当说明地，在本申请实施例中，采集脸部视频的执行主体和进行疲劳识别的执行主体可以是同一个也可以是不同，当不是同一个执行主体时，采集的终端需满足上述的采样时长和采样频率对人脸视频进行采集，并实时传输至进行疲劳识别的终端，使得进行疲劳识别的终端处理的是实时最新的用户脸部视频即可。
作为本申请实施例一中进行闭眼次数分析的一种具体实现方式，如图2所示，本申请实施例二，包括：
S201，对脸部视频进行分帧处理，得到对应的连续多个图像帧。
S202，对每一个图像帧分别进行上眼皮和下眼皮的眼皮距离识别，并查找出其中眼皮距离小于预设距离阈值的图像帧。
在本申请实施例中，会对人眼进行上下眼皮的识别，具体而言，首先会对人脸进行人眼定位，再对人眼图像进行眼皮检测，确定出其中上下眼皮对应的两条弧线，最后计算两条弧线之间的最大距离，作为本申请实施例中的上眼皮和下眼皮的眼皮距离。其中人眼定位方法和眼皮检测方法本申请实施例不予限定，可由技术人员自行设定，包括但不限于如根据人眼在人脸中的大致位置，以及人眼本身为对称的椭圆的特点，来进行人眼定位，同时再对人眼进行灰度化处理，并根据灰度图像中的灰度查来进行眼皮弧线的识别。
其中，距离阈值用于判定用户人眼状态是否属于闭眼，可由技术人员自行设定，应当说明地，由于对于不同用户个体而言，其实际人眼特征是存在较大差别的，例如有些人本来就是眯眯眼，此时其上下眼皮的距离相对普通人而言本来就比较小，因此在对距离阈值进行设置时，优选地，应当参考用户实际的情况进行设定，以保证识别的准确可靠。
S203，从眼皮距离小于预设距离阈值的图像帧中，筛选出组内图像帧时间连续，组间图像帧时间不连续的一个或多个图像组。
由于闭眼是一个持续的过程，导致一次闭眼可检测到的眼皮距离小于距离阈值的图像帧必然不止一张，因此为了准确识别出闭眼的次数，本申请实施例中会查找出图像帧中眼皮距离连续小于距离阈值的图像组，对于每一图像组而言，其都是对应着一次独立的闭眼行为，因此每个图像组之间时间是不连续的（若连续就会被识别为一个图像组，而不是两个图像组）。
S204，统计一个或多个图像组中，包含图像帧数量大于预设数量阈值的图像组数量，并将图像组数量判定为第一闭眼次数。
应当说明地，本申请实施例针对的是用户疲劳的检测，即本申请实施例中需要检测的是用户疲劳下导致的闭眼，但实际情况中，即使用户不疲劳也会出现正常的眨眼现象，因此在S203筛选出的图像组，其对应的闭眼也有可能是用户非疲劳状态下的闭眼，因此本申请实施例需要将其筛选出来，以保证后续对疲劳状态识别判定的准确性。
考虑到实际情况中，非疲劳状态下的用户闭眼一般时间较短（其实就是快速眨眼），对应的图像帧数量较少，因此在本申请实施例中会对图像组进行数量筛选，并仅统计其中包含图像帧数量较多的图像组数量，以作为对应的闭眼次数。其中，预设的数量阈值大小，可由技术人员自行设定，优选地，可以设置为5。
作为本申请实施例二中计算距离阈值的一种具体实现方式，如图3所示，本申请实施例三会结合用户在非疲劳状态下的眼皮距离情况，并以此确定对应的距离阈值，包括：
S301，采集用户在多个第三预设时间段内的脸部视频。
在本申请实施例中，会采集用户处于非疲劳状态下的脸部视频，因此第三预设时间段具体对应的时间段可以有技术人员自行设定，只需要是用户处于非疲劳状态下的时间段即可。优选地，考虑到实际情况中，用户在一天中第一次开始驾驶的时候，一般都是非疲劳状态，因此可以将用户在当天第一次开始驾驶时的一段时间设置为第三预设时间，其中具体的时长可由技术人员自行设置，优选地可以设置为1分钟。
S302，对脸部视频进行分帧处理，对分帧处理得到的图像帧进行上眼皮和下眼皮的眼皮距离识别，并计算对应的平均眼皮距离。
S303，基于平均眼皮距离，计算对应的预设距离阈值。
其中，对眼皮距离的计算可参考本申请实施例一的相关说明，此处不予赘述。得到的平均眼皮距离即为该用户在非疲劳状态下的正常眼皮距离，此时本申请实施例会基于这个平均眼皮距离来确定对应的用于识别用户闭眼的距离阈值，具体而言，可以取平均眼皮距离的1/n的值作为距离阈值，其中n的具体值可由技术人员设定，优选地，n=4，或者将平均眼皮距离减去一个预设值，得到距离阈值。
在本申请实施例中，通过对用户本人非疲劳状态下的人眼距离进行分析，得到对应的可用于该用户闭眼识别的距离阈值，从而保证了对用户闭眼检测的准确可靠。
作为本申请实施例一中进行眨眼频率的一种具体的计算方法，如图4所示，本申请实施例四，包括：
S401，对脸部视频进行眨眼识别，并统计识别出的眨眼行为对应的图像帧总数量。
S402，计算图像帧总数量与脸部视频包含的图像帧数量之商，得到第一眨眼频率。
其中，眨眼识别的方法此处不予限定，可由技术人员自行设定，包括但不限于如基于深度学习的眨眼检测算法等。在确定出脸部视频中包含的眨眼行为之后，本申请实施例会统计这些眨眼行为对应的图像帧总数量，并计算眨眼行为对应的图像帧总数量占脸部视频总图像帧数的商值，从而得到眨眼行为占总第一预设时间段的比例，并作为本申请实施例中的第一眨眼频率。
作为本申请实施例五，为了保证本申请实施例一中用户疲劳状态的准确识别，本申请实施例会预先构建用户对应的模糊控制器，如图5所示，包括：
S501，获取预先采集的用户在多个第二预设时间段内的脸部视频。
在本申请实施例中，主要是为了构建可以用于用户疲劳状态识别的模糊控制器，因此在进行样本数据获取时，需要尽可能地获取用户在不同疲劳状态下的脸部视频，因此在本申请实施例中，第二预设时间的数量以及对应的具体实际时间段可以由技术人员自行选定（第二预设时间的时长可以相同也可以不同，由技术人员自行设置），但需要满足包含用户在不同疲劳状态下的脸部视频。优选地，可以先记录用户在一个长时间内驾驶的脸部视频，如一年或两年内驾驶的脸部视频，并从中筛选出包含不同疲劳状态下的脸部视频，此时这些脸部视频对应的时间段即为第二预设时间段。
S502，对脸部视频进行处理，得到用户在多个第二预设时间段内分别对应的第二眨眼频率和第二闭眼次数。
本申请实施例中对眨眼疲劳和闭眼次数的处理方法与上述本申请实施例一至本申请实施例四相同，具体可参考上述本申请实施例的说明，此处不予赘述。
S503，获取各个第二预设时间对应的用户的疲劳等级。
在本申请实施例中，对各个样本脸部视频的疲劳等级评估，需要相关专家对脸部视频观看后评估。
S504，将每个第二预设时间段对应的第二眨眼频率和第二闭眼次数分别确定为第一输入变量Qr和第二输入变量Qs，每个第二预设时间段对应的疲劳等级确定为输出变量T，并基于第二眨眼频率、第二闭眼次数和疲劳等级分别确定第一输入变量、第二输入变量和输出变量对应的基本论域、模糊论域、模糊子集和量化因子。
具体而言，包括：
根据基于第二眨眼频率、第二闭眼次数和疲劳等级确定第一输入变量的基本论域为[0，第一阈值]，第一输入变量的模糊论域为[0，第一阈值/R1，第一阈值*2/R1，第一阈值*3/R1，…，第一阈值]，模糊子集为[很少，少，中等，多，很多]，量化因子为1。
根据基于第二眨眼频率、第二闭眼次数和疲劳等级确定第二输入变量的基本论域为[0，第二阈值]，第二输入变量的模糊论域为[0，第二阈值/R2，第二阈值*2/R2，第二阈值*3/R2，…，第二阈值]，模糊子集为[很小，小，中等，大，很大]，量化因子为1。
根据基于第二眨眼频率、第二闭眼次数和疲劳等级确定第三输入变量的基本论域为[0，第三阈值]，第三输入变量的模糊论域为[0，第三阈值/R3，第三阈值*2/R3，第三阈值*3/R3，…，第三阈值]，模糊子集为[不疲劳，可能不疲劳，也许疲劳，可能疲劳，疲劳]，量化因子为1。
其中，第一阈值、第二阈值、第三阈值可以分别对应第二眨眼频率的最大值、第二闭眼次数的最大值和疲劳等级的最大值，例如第一阈值可以为100，第二阈值可以为1，第三阈值可以为1，R1、R2和R3为常数项，用于对基本论域划分得到对应的模糊论域，具体值可由技术人员根据实践经验计算得到。
S505，根据第二眨眼频率、第二闭眼次数、疲劳等级、基本论域、模糊论域、模糊子集和量化因子，分别建立第一输入变量的第一隶属函数、第二输入变量的第二隶属函数以及输出变量的第三隶属函数。
模糊控制器的隶属函数一般包括：高斯型隶属函数、广义钟形隶属函数、S型隶属函数、梯形隶属函数、三角形隶属函数和Z形隶属函数。在实际应用中，经过专家的实践经验可知，S型隶属函数可以有效地解决疲劳等级识别的问题。
具体而言：分别建立第一输入变量、第二输入变量和读出入变量的S型隶属函数F(x)=1/（1+e-a(x-c)），其中，第一隶属函数、第二隶属函数以及第三隶属函数分别对应的a和c的取值可以根据预先采集的第二眨眼频率、第二闭眼次数、疲劳等级以及第一输入变量、第二输入变量和输出变量分别对应的基本论域、模糊论域、模糊子集和量化因子进行拟合试验得到。通过该隶属函数可以实现输入变量与输出变量之间对应的语言值。
S506，基于第二眨眼频率、第二闭眼次数和疲劳等级，建立第一输入变量、第二输入变量和输出变量之间的疲劳等级评分规则，并基于疲劳等级评分规则、第一隶属函数、第二隶属函数以及第三隶属函数，构建模糊控制器。
在S505获取了数据之后，可以建立如图5B所示的疲劳状态评分规则：
其中，Qr为第一输入变量，符号意义为：VS（很少）、S（少）、Z（中等）、B（多）、VB（很多），Qs为第二输入变量，符号意义为：VS（很小）、S（小）、Z（中等）、B（大）、VB（很大），T为输出变量，符号意义为：NP（不疲劳）、PNP（可能不疲劳）、MP（也许疲劳）、PP（可能疲劳）、P（疲劳）。
本申请实施例中，在建立好上述疲劳状态评分规则之后，即可根据疲劳状态评分规则以及第一隶属函数、第二隶属函数和第三隶属函数完成模糊控制器的生成过程，并利用该模糊控制器对输入变量进行推理得到相应的输出变量。需要说明的是，上述生成模糊控制器的各个参数均为根据实践经验得到，在本申请的一些实施方式中，上述各个参数可以根据不同的应用场景进行微调。
对应与上述的输出变量，本申请实施例一的等级阈值，也应当是NP、PNP、MP、PP和P中的一个。
通过预先构建基于眨眼频率和闭眼次数对应用户疲劳状态的模糊控制器，并在用户驾驶过程中进行眨眼频率和闭眼次数的检测识别，由于当用户疲劳驾驶时，其闭眼次数和眨眼频率会明显高于正常状态下的值，因此再将实时驾驶过程中的眨眼频率和闭眼次数基于模糊控制器进行处理，即可得到用户驾驶过程实时的实时疲劳等级，最后在用户实时疲劳等级较高，即可能存在疲劳驾驶时，对用户进行警告，以提示用户注意安全驾驶，保证了用户疲劳驾驶状态识别的准确性，保障了用户驾驶安全。同时，基于用户实际真实的情况来进行各个阈值的计算和设置，同时基于用户实际的驾驶过程采集的数据来进行对应的模糊控制器构建，从而使得对用户生理指标参数的等级/状态划分更为精准可靠，且保证了最终得到的模糊控制器适用于用户本人，确保了最终对用户疲劳驾驶识别的精准可靠，保障了用户驾驶安全。
对应于上文实施例的方法，图6示出了本申请实施例提供的用户疲劳状态识别装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。图6示例的用户疲劳状态识别装置可以是前述实施例一提供的用户疲劳状态识别方法的执行主体。
参照图6，该用户疲劳状态识别装置包括：
数据获取模块61，用于采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数。
疲劳识别模块62，用于将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级。
安全警告模块63，用于若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。
进一步地，数据获取模块61，包括：
对所述脸部视频进行分帧处理，得到对应的连续多个图像帧。
对每一个图像帧分别进行上眼皮和下眼皮的眼皮距离识别，并查找出其中眼皮距离小于预设距离阈值的图像帧。
从眼皮距离小于预设距离阈值的图像帧中，筛选出组内图像帧时间连续，组间图像帧时间不连续的一个或多个图像组。
统计所述一个或多个图像组中，包含图像帧数量大于预设数量阈值的图像组数量，并将所述图像组数量判定为所述第一闭眼次数。
进一步地，数据获取模块61，还包括：
采集用户在多个第三预设时间段内的脸部视频。
对脸部视频进行分帧处理，对分帧处理得到的图像帧进行上眼皮和下眼皮的眼皮距离识别，并计算对应的平均眼皮距离。
基于平均眼皮距离，计算对应的所述预设距离阈值。
进一步地，该用户疲劳状态识别装置，还包括：
对脸部视频进行眨眼识别，并统计识别出的眨眼行为对应的图像帧总数量。
计算所述图像帧总数量与所述脸部视频包含的图像帧数量之商，得到所述第一眨眼频率。
进一步地，该用户疲劳状态识别装置，还包括：
视频获取模块，用于获取预先采集的所述用户在多个第二预设时间段内的脸部视频。
数据计算模块，用于对脸部视频进行处理，得到用户在多个所述第二预设时间段内分别对应的第二眨眼频率和第二闭眼次数。
疲劳获取模块，用于获取各个所述第二预设时间对应的所述用户的疲劳等级。
模型参数确定模块，用于将每个所述第二预设时间段对应的所述第二眨眼频率和所述第二闭眼次数分别确定为第一输入变量Qr和第二输入变量Qs，每个所述第二预设时间段对应的所述疲劳等级确定为输出变量T，并基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子。
函数确定模块，用于根据所述第二眨眼频率、所述第二闭眼次数、所述疲劳等级、所述基本论域、所述模糊论域、所述模糊子集和所述量化因子，分别建立所述第一输入变量的第一隶属函数、所述第二输入变量的第二隶属函数以及所述输出变量的第三隶属函数。
控制器构建模块，用于基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级，建立所述第一输入变量、所述第二输入变量和所述输出变量之间的疲劳等级评分规则，并基于所述疲劳等级评分规则、所述第一隶属函数、所述第二隶属函数以及所述第三隶属函数，构建所述模糊控制器。
进一步地，模型参数确定模块，包括：
根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第一输入变量的基本论域为[0，第一阈值]，所述第一输入变量的模糊论域为[0，第一阈值/R1，第一阈值*2/R1，第一阈值*3/R1，…，第一阈值]，所述模糊子集为[很少，少，中等，多，很多]，量化因子为1。
根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第二输入变量的基本论域为[0，第二阈值]，所述第二输入变量的模糊论域为[0，第二阈值/R2，第二阈值*2/R2，第二阈值*3/R2，…，第二阈值]，所述模糊子集为[很小，小，中等，大，很大]，量化因子为1。
根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第三输入变量的基本论域为[0，第三阈值]，所述第三输入变量的模糊论域为[0，第三阈值/R3，第三阈值*2/R3，第三阈值*3/R3，…，第三阈值]，所述模糊子集为[不疲劳，可能不疲劳，也许疲劳，可能疲劳，疲劳]，量化因子为1。
本申请实施例提供的用户疲劳状态识别装置中各模块实现各自功能的过程，具体可参考前述图1所示实施例一的描述，此处不再赘述。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
还应理解的是，虽然术语“第一”、“第二”等在文本中在一些本申请实施例中用来描述各种元素，但是这些元素不应该受到这些术语的限制。这些术语只是用来将一个元素与另一元素区分开。例如，第一表格可以被命名为第二表格，并且类似地，第二表格可以被命名为第一表格，而不背离各种所描述的实施例的范围。第一表格和第二表格都是表格，但是它们不是同一表格。
图7是本申请一实施例提供的终端设备的示意图。如图7所示，该实施例的终端设备7包括：处理器70、存储器71，所述存储器71中存储有可在所述处理器70上运行的计算机可读指令72。所述处理器70执行所述计算机可读指令72时实现上述各个用户疲劳状态识别方法实施例中的步骤，例如图1所示的步骤101至106。或者，所述处理器70执行所述计算机可读指令72时实现上述各装置实施例中各模块/单元的功能，例如图6所示模块61至66的功能。
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入发送设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机可读指令以及所述终端设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经发送或者将要发送的数据。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (19)

  1. 一种用户疲劳状态识别方法，其特征在于，包括：
    采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；
    将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；
    若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。
  2. 如权利要求1所述的用户疲劳状态识别方法，其特征在于，所述对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一闭眼次数，包括：
    对所述脸部视频进行分帧处理，得到对应的连续多个图像帧；
    对每一个图像帧分别进行上眼皮和下眼皮的眼皮距离识别，并查找出其中眼皮距离小于预设距离阈值的图像帧；
    从眼皮距离小于预设距离阈值的图像帧中，筛选出组内图像帧时间连续，组间图像帧时间不连续的一个或多个图像组；
    统计所述一个或多个图像组中，包含图像帧数量大于预设数量阈值的图像组数量，并将所述图像组数量判定为所述第一闭眼次数。
  3. 如权利要求1所述的用户疲劳状态识别方法，其特征在于，所述对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率，包括：
    对脸部视频进行眨眼识别，并统计识别出的眨眼行为对应的图像帧总数量；
    计算所述图像帧总数量与所述脸部视频包含的图像帧数量之商，得到所述第一眨眼频率。
  4. 如权利要求1至3任意一项所述的用户疲劳状态识别方法，其特征在于，所述模糊控制器的生成，包括：
    获取预先采集的所述用户在多个第二预设时间段内的脸部视频；
    对脸部视频进行处理，得到用户在多个所述第二预设时间段内分别对应的第二眨眼频率和第二闭眼次数；
    获取各个所述第二预设时间对应的所述用户的疲劳等级；
    将每个所述第二预设时间段对应的所述第二眨眼频率和所述第二闭眼次数分别确定为第一输入变量Qr和第二输入变量Qs，每个所述第二预设时间段对应的所述疲劳等级确定为输出变量T，并基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子；
    根据所述第二眨眼频率、所述第二闭眼次数、所述疲劳等级、所述基本论域、所述模糊论域、所述模糊子集和所述量化因子，分别建立所述第一输入变量的第一隶属函数、所述第二输入变量的第二隶属函数以及所述输出变量的第三隶属函数；
    基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级，建立所述第一输入变量、所述第二输入变量和所述输出变量之间的疲劳等级评分规则，并基于所述疲劳等级评分规则、所述第一隶属函数、所述第二隶属函数以及所述第三隶属函数，构建所述模糊控制器。
  5. 如权利要求4所述的用户疲劳状态识别方法，其特征在于，所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子，包括：
    根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第一输入变量的基本论域为[0，第一阈值]，所述第一输入变量的模糊论域为[0，第一阈值/R1，第一阈值*2/R1，第一阈值*3/R1，…，第一阈值]，所述模糊子集为[很少，少，中等，多，很多]，量化因子为1；
    根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第二输入变量的基本论域为[0，第二阈值]，所述第二输入变量的模糊论域为[0，第二阈值/R2，第二阈值*2/R2，第二阈值*3/R2，…，第二阈值]，所述模糊子集为[很小，小，中等，大，很大]，量化因子为1；
    根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第三输入变量的基本论域为[0，第三阈值]，所述第三输入变量的模糊论域为[0，第三阈值/R3，第三阈值*2/R3，第三阈值*3/R3，…，第三阈值]，所述模糊子集为[不疲劳，可能不疲劳，也许疲劳，可能疲劳，疲劳]，量化因子为1。
  6. 一种用户疲劳状态识别装置，其特征在于，包括：
    数据获取模块，用于采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；
    疲劳识别模块，用于将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；
    安全警告模块，用于若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。
  7. 如权利要求7所述的用户疲劳状态识别装置，其特征在于，数据获取模块，包括：
    对所述脸部视频进行分帧处理，得到对应的连续多个图像帧。
    对每一个图像帧分别进行上眼皮和下眼皮的眼皮距离识别，并查找出其中眼皮距离小于预设距离阈值的图像帧。
    从眼皮距离小于预设距离阈值的图像帧中，筛选出组内图像帧时间连续，组间图像帧时间不连续的一个或多个图像组。
    统计所述一个或多个图像组中，包含图像帧数量大于预设数量阈值的图像组数量，并将所述图像组数量判定为所述第一闭眼次数。
  8. 如权利要求7所述的用户疲劳状态识别装置，其特征在于，还包括：
    对脸部视频进行眨眼识别，并统计识别出的眨眼行为对应的图像帧总数量。
    计算所述图像帧总数量与所述脸部视频包含的图像帧数量之商，得到所述第一眨眼频率。
  9. 如权利要求7至9任意一项所述的用户疲劳状态识别装置，其特征在于，还包括：
    视频获取模块，用于获取预先采集的所述用户在多个第二预设时间段内的脸部视频。
    数据计算模块，用于对脸部视频进行处理，得到用户在多个所述第二预设时间段内分别对应的第二眨眼频率和第二闭眼次数。
    疲劳获取模块，用于获取各个所述第二预设时间对应的所述用户的疲劳等级。
    模型参数确定模块，用于将每个所述第二预设时间段对应的所述第二眨眼频率和所述第二闭眼次数分别确定为第一输入变量Qr和第二输入变量Qs，每个所述第二预设时间段对应的所述疲劳等级确定为输出变量T，并基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子。
    函数确定模块，用于根据所述第二眨眼频率、所述第二闭眼次数、所述疲劳等级、所述基本论域、所述模糊论域、所述模糊子集和所述量化因子，分别建立所述第一输入变量的第一隶属函数、所述第二输入变量的第二隶属函数以及所述输出变量的第三隶属函数。
    控制器构建模块，用于基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级，建立所述第一输入变量、所述第二输入变量和所述输出变量之间的疲劳等级评分规则，并基于所述疲劳等级评分规则、所述第一隶属函数、所述第二隶属函数以及所述第三隶属函数，构建所述模糊控制器。
  10. 如权利要求10所述的用户疲劳状态识别装置，其特征在于，模型参数确定模块，包括：
    根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第一输入变量的基本论域为[0，第一阈值]，所述第一输入变量的模糊论域为[0，第一阈值/R1，第一阈值*2/R1，第一阈值*3/R1，…，第一阈值]，所述模糊子集为[很少，少，中等，多，很多]，量化因子为1。
    根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第二输入变量的基本论域为[0，第二阈值]，所述第二输入变量的模糊论域为[0，第二阈值/R2，第二阈值*2/R2，第二阈值*3/R2，…，第二阈值]，所述模糊子集为[很小，小，中等，大，很大]，量化因子为1。
    根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第三输入变量的基本论域为[0，第三阈值]，所述第三输入变量的模糊论域为[0，第三阈值/R3，第三阈值*2/R3，第三阈值*3/R3，…，第三阈值]，所述模糊子集为[不疲劳，可能不疲劳，也许疲劳，可能疲劳，疲劳]，量化因子为1。
  11. 如权利要求8所述的用户疲劳状态识别装置，其特征在于，所述数据获取模块，还包括：
    采集用户在多个第三预设时间段内的脸部视频。
    对脸部视频进行分帧处理，对分帧处理得到的图像帧进行上眼皮和下眼皮的眼皮距离识别，并计算对应的平均眼皮距离。
    基于平均眼皮距离，计算对应的所述预设距离阈值。
  12. 一种终端设备，其特征在于，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
    采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；
    将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；
    若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。
  13. 如权利要求13所述的终端设备，其特征在于，所述对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一闭眼次数，包括：
    对所述脸部视频进行分帧处理，得到对应的连续多个图像帧；
    对每一个图像帧分别进行上眼皮和下眼皮的眼皮距离识别，并查找出其中眼皮距离小于预设距离阈值的图像帧；
    从眼皮距离小于预设距离阈值的图像帧中，筛选出组内图像帧时间连续，组间图像帧时间不连续的一个或多个图像组；
    统计所述一个或多个图像组中，包含图像帧数量大于预设数量阈值的图像组数量，并将所述图像组数量判定为所述第一闭眼次数。
  14. 如权利要求13或14所述的终端设备，其特征在于，所述模糊控制器的生成，包括：
    获取预先采集的所述用户在多个第二预设时间段内的脸部视频；
    对脸部视频进行处理，得到用户在多个所述第二预设时间段内分别对应的第二眨眼频率和第二闭眼次数；
    获取各个所述第二预设时间对应的所述用户的疲劳等级；
    将每个所述第二预设时间段对应的所述第二眨眼频率和所述第二闭眼次数分别确定为第一输入变量Qr和第二输入变量Qs，每个所述第二预设时间段对应的所述疲劳等级确定为输出变量T，并基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子；
    根据所述第二眨眼频率、所述第二闭眼次数、所述疲劳等级、所述基本论域、所述模糊论域、所述模糊子集和所述量化因子，分别建立所述第一输入变量的第一隶属函数、所述第二输入变量的第二隶属函数以及所述输出变量的第三隶属函数；
    基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级，建立所述第一输入变量、所述第二输入变量和所述输出变量之间的疲劳等级评分规则，并基于所述疲劳等级评分规则、所述第一隶属函数、所述第二隶属函数以及所述第三隶属函数，构建所述模糊控制器。
  15. 如权利要求15所述的终端设备，其特征在于，所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子，包括：
    根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第一输入变量的基本论域为[0，第一阈值]，所述第一输入变量的模糊论域为[0，第一阈值/R1，第一阈值*2/R1，第一阈值*3/R1，…，第一阈值]，所述模糊子集为[很少，少，中等，多，很多]，量化因子为1；
    根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第二输入变量的基本论域为[0，第二阈值]，所述第二输入变量的模糊论域为[0，第二阈值/R2，第二阈值*2/R2，第二阈值*3/R2，…，第二阈值]，所述模糊子集为[很小，小，中等，大，很大]，量化因子为1；
    根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第三输入变量的基本论域为[0，第三阈值]，所述第三输入变量的模糊论域为[0，第三阈值/R3，第三阈值*2/R3，第三阈值*3/R3，…，第三阈值]，所述模糊子集为[不疲劳，可能不疲劳，也许疲劳，可能疲劳，疲劳]，量化因子为1。
  16. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被至少一个处理器执行时实现如下步骤：
    采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；
    将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；
    若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。
  17. 根据权利要求17所述的计算机可读存储介质，其特征在于，所述对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一闭眼次数，包括：
    对所述脸部视频进行分帧处理，得到对应的连续多个图像帧；
    对每一个图像帧分别进行上眼皮和下眼皮的眼皮距离识别，并查找出其中眼皮距离小于预设距离阈值的图像帧；
    从眼皮距离小于预设距离阈值的图像帧中，筛选出组内图像帧时间连续，组间图像帧时间不连续的一个或多个图像组；
    统计所述一个或多个图像组中，包含图像帧数量大于预设数量阈值的图像组数量，并将所述图像组数量判定为所述第一闭眼次数。
  18. 根据权利要求17或18所述的计算机可读存储介质，其特征在于，所述模糊控制器的生成，包括：
    获取预先采集的所述用户在多个第二预设时间段内的脸部视频；
    对脸部视频进行处理，得到用户在多个所述第二预设时间段内分别对应的第二眨眼频率和第二闭眼次数；
    获取各个所述第二预设时间对应的所述用户的疲劳等级；
    将每个所述第二预设时间段对应的所述第二眨眼频率和所述第二闭眼次数分别确定为第一输入变量Qr和第二输入变量Qs，每个所述第二预设时间段对应的所述疲劳等级确定为输出变量T，并基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子；
    根据所述第二眨眼频率、所述第二闭眼次数、所述疲劳等级、所述基本论域、所述模糊论域、所述模糊子集和所述量化因子，分别建立所述第一输入变量的第一隶属函数、所述第二输入变量的第二隶属函数以及所述输出变量的第三隶属函数；
    基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级，建立所述第一输入变量、所述第二输入变量和所述输出变量之间的疲劳等级评分规则，并基于所述疲劳等级评分规则、所述第一隶属函数、所述第二隶属函数以及所述第三隶属函数，构建所述模糊控制器。
  19. 根据权利要求19所述的计算机可读存储介质，其特征在于，所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子，包括：
    根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第一输入变量的基本论域为[0，第一阈值]，所述第一输入变量的模糊论域为[0，第一阈值/R1，第一阈值*2/R1，第一阈值*3/R1，…，第一阈值]，所述模糊子集为[很少，少，中等，多，很多]，量化因子为1；
    根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第二输入变量的基本论域为[0，第二阈值]，所述第二输入变量的模糊论域为[0，第二阈值/R2，第二阈值*2/R2，第二阈值*3/R2，…，第二阈值]，所述模糊子集为[很小，小，中等，大，很大]，量化因子为1；
    根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第三输入变量的基本论域为[0，第三阈值]，所述第三输入变量的模糊论域为[0，第三阈值/R3，第三阈值*2/R3，第三阈值*3/R3，…，第三阈值]，所述模糊子集为[不疲劳，可能不疲劳，也许疲劳，可能疲劳，疲劳]，量化因子为1。
PCT/CN2019/103278 2019-05-21 2019-08-29 一种用户疲劳状态识别方法、装置、终端设备及介质 Ceased WO2020232893A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910423723.5 2019-05-21
CN201910423723.5A CN110245574B (zh) 2019-05-21 2019-05-21 一种用户疲劳状态识别方法、装置及终端设备

Publications (1)

Publication Number Publication Date
WO2020232893A1 true WO2020232893A1 (zh) 2020-11-26

Family

ID=67884646

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/103278 Ceased WO2020232893A1 (zh) 2019-05-21 2019-08-29 一种用户疲劳状态识别方法、装置、终端设备及介质

Country Status (2)

Country Link
CN (1) CN110245574B (zh)
WO (1) WO2020232893A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528792A (zh) * 2020-12-03 2021-03-19 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN113468956A (zh) * 2021-05-24 2021-10-01 北京迈格威科技有限公司 注意力判定方法、模型训练方法及对应装置
CN113469023A (zh) * 2021-06-28 2021-10-01 北京百度网讯科技有限公司 确定警觉度的方法、装置、设备和存储介质
CN115457517A (zh) * 2022-08-29 2022-12-09 东南大学 一种基于深度学习的驾驶员疲劳程度量化方法
CN115909287A (zh) * 2021-09-30 2023-04-04 八维通科技有限公司 一种驾驶行为分析方法、系统及电子设备
CN115937961A (zh) * 2023-03-02 2023-04-07 济南丽阳神州智能科技有限公司 一种线上学习识别方法及设备
CN116434288A (zh) * 2021-12-31 2023-07-14 丰图科技(深圳)有限公司 状态识别方法、装置、终端和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243236A (zh) * 2020-01-17 2020-06-05 南京邮电大学 一种基于深度学习的疲劳驾驶预警方法及系统
CN111387940B (zh) * 2020-03-12 2023-02-03 泰康保险集团股份有限公司 一种疲劳检测方法及装置、电子设备
CN111866056B (zh) * 2020-03-23 2023-11-21 北京嘀嘀无限科技发展有限公司 信息推送方法、装置、电子设备和存储介质
CN111708437A (zh) * 2020-06-11 2020-09-25 湖北美和易思教育科技有限公司 一种人工智能物联网电子书
CN113591666A (zh) * 2021-07-26 2021-11-02 深圳创联时代电子商务有限公司 应用于手机的控制方法、装置、计算机可读介质以及手机
CN114587343A (zh) * 2022-03-09 2022-06-07 南京邮电大学 一种基于步态信息的下肢疲劳等级识别方法及系统
CN116168374B (zh) * 2023-04-21 2023-12-12 南京淼瀛科技有限公司 一种主动安全辅助驾驶方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070021876A1 (en) * 2005-05-12 2007-01-25 Denso Corporation Driver condition detecting device, in-vehicle alarm system and drive assistance system
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN105303771A (zh) * 2015-09-15 2016-02-03 成都通甲优博科技有限责任公司 一种疲劳判断系统及方法
CN105632104A (zh) * 2016-03-18 2016-06-01 内蒙古大学 一种疲劳驾驶检测系统和方法
CN109191789A (zh) * 2018-10-18 2019-01-11 斑马网络技术有限公司 疲劳驾驶检测方法、装置、终端和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013215356A (ja) * 2012-04-06 2013-10-24 Panasonic Corp 眼疲労計測装置およびその方法
CN105022981B (zh) * 2014-04-18 2019-08-16 中兴通讯股份有限公司 一种检测人眼健康状态的方法、装置及移动终端
CN108545080A (zh) * 2018-03-20 2018-09-18 北京理工大学 驾驶员疲劳检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070021876A1 (en) * 2005-05-12 2007-01-25 Denso Corporation Driver condition detecting device, in-vehicle alarm system and drive assistance system
CN103714660A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN105303771A (zh) * 2015-09-15 2016-02-03 成都通甲优博科技有限责任公司 一种疲劳判断系统及方法
CN105632104A (zh) * 2016-03-18 2016-06-01 内蒙古大学 一种疲劳驾驶检测系统和方法
CN109191789A (zh) * 2018-10-18 2019-01-11 斑马网络技术有限公司 疲劳驾驶检测方法、装置、终端和存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528792A (zh) * 2020-12-03 2021-03-19 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112528792B (zh) * 2020-12-03 2024-05-31 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN113468956A (zh) * 2021-05-24 2021-10-01 北京迈格威科技有限公司 注意力判定方法、模型训练方法及对应装置
CN113469023A (zh) * 2021-06-28 2021-10-01 北京百度网讯科技有限公司 确定警觉度的方法、装置、设备和存储介质
CN115909287A (zh) * 2021-09-30 2023-04-04 八维通科技有限公司 一种驾驶行为分析方法、系统及电子设备
CN116434288A (zh) * 2021-12-31 2023-07-14 丰图科技(深圳)有限公司 状态识别方法、装置、终端和存储介质
CN115457517A (zh) * 2022-08-29 2022-12-09 东南大学 一种基于深度学习的驾驶员疲劳程度量化方法
CN115937961A (zh) * 2023-03-02 2023-04-07 济南丽阳神州智能科技有限公司 一种线上学习识别方法及设备

Also Published As

Publication number Publication date
CN110245574B (zh) 2024-07-05
CN110245574A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
WO2020232893A1 (zh) 一种用户疲劳状态识别方法、装置、终端设备及介质
Panagopoulos et al. Forecasting markers of habitual driving behaviors associated with crash risk
CN107609330B (zh) 基于门禁日志挖掘的内部威胁异常行为分析方法
CN115171335A (zh) 一种融合图像和语音的独居老人室内安全保护方法及装置
Sengar et al. VigilEye--Artificial Intelligence-based Real-time Driver Drowsiness Detection
CN116386277A (zh) 疲劳驾驶检测方法、装置、电子设备及介质
AlKishri et al. Enhanced image processing and fuzzy logic approach for optimizing driver drowsiness detection
CN117475414A (zh) 基于驾驶员人脸信息的疲劳检测与判定方法及装置
Sathesh et al. Allowance of driving based on drowsiness detection using audio and video processing
CN107920224B (zh) 一种异常告警方法、设备及视频监控系统
CN116965818B (zh) 一种基于人工智能的异常情绪调控方法及系统
CN113591682B (zh) 疲劳状态检测方法、装置、可读存储介质以及电子设备
Li et al. Real-time driver drowsiness estimation by multi-source information fusion with Dempster–Shafer theory
CN107767515A (zh) 一种用于实验室管理系统的人员管理方法
Sun et al. [Retracted] Using Big Data‐Based Neural Network Parallel Optimization Algorithm in Sports Fatigue Warning
CN117809847A (zh) 一种车内健康监测方法、系统、电子设备和车辆
Khan et al. Human Drowsiness Detection System
CN115601731A (zh) 一种针对用户的驾驶状态识别方法、设备及介质
CN115459952A (zh) 攻击检测方法、电子设备和计算机可读存储介质
CN116327115A (zh) 异常睡眠音频片段的识别方法、电子设备及程序产品
Lanka et al. Driver Alertness Monitoring Through Eye Blinking Patterns
Srinithi et al. An advanced approach for predicting driver drowsiness Using CNN and real-time facial detection
CN115192003B (zh) 一种镇静水平的自动评估方法及相关产品
CN118372835B (zh) 基于眼动特征的疲劳驾驶辨识方法及系统
Khan et al. Accident-Avoidance System using latest Sensing Systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19929544

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE