WO2021196738A1 - 儿童状态检测方法及装置、电子设备、存储介质 - Google Patents

儿童状态检测方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
WO2021196738A1
WO2021196738A1 PCT/CN2020/136250 CN2020136250W WO2021196738A1 WO 2021196738 A1 WO2021196738 A1 WO 2021196738A1 CN 2020136250 W CN2020136250 W CN 2020136250W WO 2021196738 A1 WO2021196738 A1 WO 2021196738A1
Authority
WO
WIPO (PCT)
Prior art keywords
child
information
face
target image
state
Prior art date
Application number
PCT/CN2020/136250
Other languages
English (en)
French (fr)
Inventor
王飞
钱晨
Original Assignee
上海商汤临港智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海商汤临港智能科技有限公司 filed Critical 上海商汤临港智能科技有限公司
Priority to KR1020217034715A priority Critical patent/KR20210142177A/ko
Priority to JP2021557464A priority patent/JP7259078B2/ja
Priority to SG11202113260SA priority patent/SG11202113260SA/en
Publication of WO2021196738A1 publication Critical patent/WO2021196738A1/zh
Priority to US17/536,802 priority patent/US20220084384A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the present disclosure relates to the field of computer vision technology, and in particular to a method and device for detecting a child's state, electronic equipment, and a computer-readable storage medium.
  • the current automotive electronics industry is developing rapidly, providing a convenient and comfortable cabin environment for people to ride. Intelligent and safety of the cabin is an important direction for the development of the current automotive industry.
  • the present disclosure at least provides a method and device for detecting a child's state.
  • the present disclosure provides a method for detecting a child's state, including:
  • the aforementioned child state detection method further includes:
  • an alarm is issued in response to the moving speed of the vehicle cabin being greater than a preset value.
  • the child state detection method further includes:
  • an alarm is issued in response to the moving speed of the vehicle cabin being greater than a preset value.
  • the identifying the child in the target image further includes:
  • the cabin environment in the cabin is adjusted.
  • the identifying the child in the target image includes:
  • the object information of an object includes the center point information of the object and the object type information corresponding to the center point of the object;
  • the child in the target image is determined.
  • the determining object information of each object in the target image based on the target image includes:
  • the target feature point with the largest response value greater than the preset threshold is taken as the center point of the object, and the location information of the center point of the object is determined based on the position index of the target feature point on the first feature map.
  • the central point information of the object further includes length information and width information of the central point of the object; the object of each object included in the target image is determined based on the target image Information also includes:
  • the width information of the center point of the object corresponding to the target feature point is acquired at the position corresponding to the position index of the target feature point.
  • the determining object information of each object included in the target image based on the target image further includes:
  • the object includes a human face and a human body
  • the determining the child in the target image based on the determined object information of each object includes:
  • the object type information corresponding to the center point of the matched human body and the object type information corresponding to the center point of the face are used to determine whether the matched human body and the person to which the face belongs is a child.
  • the child state detection method further includes:
  • the object type information corresponding to the center point of the face is used to determine whether the person to which the center point of the face belongs is a child.
  • the state characteristic information includes the child's sleep state characteristic information
  • the child’s sleep state characteristic information is determined.
  • the determining the child’s sleep state characteristic information based on the child’s left eye open and closed eye status information and right eye open and closed eye status information includes:
  • the sleep state characteristic information is a non-sleep state.
  • the state characteristic information includes the child's emotional state characteristic information
  • the emotional state characteristic information of the face represented by the face sub-image is determined.
  • the actions of the organs on the human face include:
  • the step of recognizing the actions of each of the at least two organs on the face represented by the face sub-image is performed by a neural network for action recognition, and
  • the neural network used for action recognition includes a backbone network and at least two classification branch networks, and each classification branch network is used to recognize an action of an organ on a human face;
  • the action of recognizing each of the at least two organs on the face represented by the face sub-image includes:
  • Each classification branch network is used to perform action recognition according to the feature map of the facial sub-image, and the occurrence probability of the action that can be recognized by each classification branch network is obtained;
  • the action whose occurrence probability is greater than the preset probability is determined as the action of the organ on the face represented by the face sub-image.
  • the present disclosure provides a child state detection device, including:
  • An image acquisition module configured to acquire a target image in the cabin
  • a child recognition module configured to recognize the child in the target image
  • a position determining module configured to determine whether the child is located on a rear seat in the cabin based on the position information of the child
  • the early warning module is configured to issue an alarm when the child is not on the rear seat in the cabin.
  • the present disclosure provides an electronic device including a processor, a memory, and a bus.
  • the memory stores machine-readable instructions executable by the processor.
  • the processor is connected to the The memories communicate through a bus, and when the machine-readable instructions are executed by the processor, the steps of the child state detection method described above are executed.
  • the present disclosure also provides a computer-readable storage medium having a computer program stored on the computer-readable storage medium, and the computer program executes the steps of the above-mentioned child state detection method when the computer program is run by a processor.
  • the present disclosure provides a computer program product, including computer readable code.
  • the processor in the electronic device executes the The server executes the above method.
  • the foregoing apparatus, electronic equipment, and computer-readable storage medium of the present disclosure at least contain technical features that are substantially the same as or similar to the technical features of any aspect of the foregoing method or any embodiment of any aspect of the present disclosure. Therefore, regarding the foregoing apparatus, for the effect description of the electronic device, and the computer-readable storage medium, please refer to the effect description of the above method content, which will not be repeated here.
  • Figure 1 shows a flowchart of a method for detecting a child's state provided by an embodiment of the present disclosure
  • FIG. 2 shows a flowchart of determining the object information of each object in the target image in another child state detection method provided by an embodiment of the present disclosure
  • FIG. 3 shows a flowchart of determining object type information in yet another method for detecting a child's state according to an embodiment of the present disclosure
  • FIG. 4 shows a flowchart of determining and identifying characteristic information of a child's emotional state in yet another method for detecting a child's state provided by an embodiment of the present disclosure
  • Figure 5 shows a schematic structural diagram of a child state detection device provided by an embodiment of the present disclosure
  • Fig. 6 shows a schematic structural diagram of an electronic device provided by an embodiment of the present disclosure.
  • the present disclosure provides a child state detection method and device, electronic equipment, and computer-readable storage medium.
  • the present disclosure determines whether the child in the cabin is located on the rear seat by identifying the child in the cabin and the position of the child, and issues an alarm when the child is not on the rear seat, which effectively improves the child’s ride
  • the accuracy of the recognition of the safety state while in the car is beneficial to improve the safety of children riding in the car.
  • embodiments are used to describe the child state detection method and device, electronic equipment, and computer-readable storage medium of the present disclosure.
  • the embodiment of the present disclosure provides a method for detecting a child's state, and the method is applied to a terminal device or a server that detects the state and safety of the child.
  • the child state detection method provided by the embodiment of the present disclosure includes the following steps:
  • the target image may or may not include children.
  • the image may be taken by a terminal device that detects the state and safety of the child, or it may be taken by other photographing equipment and sent to the above-mentioned state and safety of the child.
  • the terminal device or server for testing may be used to test.
  • identifying the children in the target image includes filtering the children among the objects in the target image, and determining the location information of the children.
  • the object information of each object in the target image may be determined based on the target image.
  • the object information of an object includes the central point information of the object and the object type information corresponding to the central point of the object. Then, based on the determined object information of each object, the child in the target image is determined.
  • the foregoing object type information may include child type, rear seat type, safety seat type, adult type, etc.; the center point information may include location information of the center point of the corresponding object. Then, in implementation, the object type information corresponding to the determined center point can be used to filter out children from each object in the target image, and then the center point information belonging to the child can be used to determine the location information of the child.
  • the child in the target image can be accurately determined, and the accuracy of child recognition in the target image is improved.
  • S130 Based on the position information of the child, determine whether the child is located on the rear seat in the cabin.
  • the method of recognizing the rear seat in the target image and determining the position information of the rear seat is the same as the method of recognizing the child in the target image and determining the position information of the child. That is, it can be: the rear seat can be filtered from the objects in the target image by using the object type information corresponding to the determined center point, and then the center point information belonging to the rear seat can be used to determine the rear seat location information.
  • the above child state detection method may further include the following steps:
  • the method of identifying the safety seat in the target image and determining the position information of the safety seat is the same as the method of identifying the child in the target image and determining the position information of the child. That is, it may be: the safety seat can be filtered from the objects in the target image by using the object type information corresponding to the determined center point, and then the position information of the safety seat can be determined by using the center point information belonging to the safety seat.
  • an alarm is issued in response to the moving speed of the cabin being greater than the preset value. In this way, further in the child riding scene, when there is no safety seat in the cabin, an alarm can be issued in time to improve the safety of the child riding.
  • the alarm is issued, which further improves the accuracy of the safety state recognition when the child is riding, and improves the safety of the child riding.
  • the child, the rear seat, the safety seat, etc. can be identified and positioned according to the object information.
  • the aforementioned objects may be human faces, human bodies, rear seats, safety seats, and so on.
  • the following steps may be used to determine the object information of each object in the target image:
  • S210 Perform feature extraction on the target image to obtain a first feature map corresponding to the target image.
  • the target image is first input into a neural network for image feature extraction.
  • the target image is input into a backbone network (backbone) for image feature extraction to obtain an initial feature map.
  • the initial feature map is input to a neural network for object information extraction to obtain the above-mentioned first feature map.
  • the above-mentioned target image can be an image with a size of 640*480 pixels, and an initial feature map of 80*60*C can be obtained after backbone processing. Among them, C represents the number of channels. After the initial feature map is processed by the neural network for object information extraction, an 80*60*3 first feature map can be obtained.
  • S220 Obtain a response value of each feature point in the first feature map as the center point of the object from the first preset channel in the first feature map.
  • the first preset channel may be the 0th channel in the first feature map, the channel is the channel of the center point of the object, and the response value in the channel may indicate the possibility of each feature point as the center point of the object.
  • the sigmoid activation function can be used to convert these response values to between 0 and 1.
  • S230 Divide the first feature map into multiple sub-regions, and determine the largest response value and the feature point corresponding to the largest response value in each sub-region;
  • a maximum pooling max pooling operation with a step length of 1 of 3*3 is performed on the feature map to obtain the maximum response value within 3*3 and its position index on the first feature map. That is, 60*80 maximum response values and their corresponding position indexes can be obtained.
  • the same location indexes can also be combined to obtain the N largest response values, the location index corresponding to each largest response value, and the feature points corresponding to each largest response value.
  • S240 Use the target feature point with the largest response value greater than the preset threshold as the center point of the object, and determine the position information of the center point of the object based on the position index of the target feature point on the first feature map.
  • the threshold thrd can be preset, and when the maximum response value is greater than thrd, it is determined that this characteristic point is the center point of the object.
  • the center point of the object and the position information of the center point are used as the center point information.
  • the center point information may also include length information and width information of the center point of the object.
  • the length information of the center point of the object corresponding to the target feature point is acquired at the position corresponding to the position index of the target feature point.
  • the width information of the center point of the object corresponding to the target feature point is acquired at the position corresponding to the position index of the target feature point.
  • the above-mentioned second preset channel may be the first channel in the first characteristic map
  • the third preset channel may be the second channel in the first characteristic map.
  • the position index of the center point can be used to accurately obtain the length information and width information of the center point of the object from other preset channels of the feature map.
  • the object can be a human face, a human body, a rear seat, a safety seat, etc.
  • different neural networks need to be used to determine the first feature map corresponding to different objects, and then based on different first feature maps.
  • the feature map is used to determine the center point of different objects, the position information of each center point, the length information of each center point and the width information of each center point.
  • the object information includes the object type information corresponding to the center point of the object.
  • the following steps can be used to determine the object type information:
  • S310 Perform feature extraction on the target image to obtain a second feature map corresponding to the target image.
  • the target image can be input into a neural network for image feature extraction, for example, the target image is input into the backbone neural network for image feature extraction to obtain an initial feature map, and then the initial feature map is input to the object to be processed
  • the neural network for type recognition processes to obtain a second feature map, and the object type information corresponding to the center point of each object can be determined based on the second feature map.
  • the above-mentioned second feature map may be an 80*60*2 feature map.
  • each feature point on the second feature map corresponds to a two-dimensional feature vector
  • the center point of the object corresponds to the two-dimensional feature vector on the feature point on the second feature map.
  • Perform classification processing to obtain classification results.
  • one classification result represents a child
  • another classification result represents the other
  • the above-mentioned object may be a human body or a face.
  • each feature point on the second feature map corresponds to a two-dimensional feature vector
  • the center point of the object corresponds to the two-dimensional feature point on the second feature map.
  • the feature vector is classified to obtain the classification result.
  • one classification result represents a safety seat
  • another classification result represents the other, based on the above classification results, it can be determined whether the object type information of the center point object is a safety seat .
  • the rear seats can also be identified.
  • the object can be a human face, a human body, a rear seat, a safety seat, etc.
  • different neural networks need to be used to determine the second feature map corresponding to different objects, and then based on different second feature maps.
  • Feature map to determine the object type information of different objects.
  • S320 Determine the position index of the target feature point on the second feature map based on the position index of the target feature point on the first feature map.
  • the target feature point is the center point of the object.
  • the target feature point is the feature point corresponding to the largest response value greater than the preset threshold.
  • the position index of the center point can be used to accurately obtain the object type information corresponding to the center point of the object.
  • Step 1 Based on the position offset information corresponding to the center point of each human body, respectively determine the predicted position information of the center point of the face that matches each human body; wherein, the human body and the face of the same person match.
  • the target image is first input into a neural network for image feature extraction.
  • the target image is input into the backbone neural network for image feature extraction to obtain an initial feature map.
  • the initial feature map is input to a neural network for determining the position offset information, and a feature map is obtained. Based on the feature map, the position offset information corresponding to the center point of each human body can be determined.
  • an 80*60*2 feature map can be obtained.
  • Step 2 Determine a face that matches each human body based on the determined predicted location information and the location information of the center point of each human face.
  • the face corresponding to the position of the center point closest to the position corresponding to the predicted position information is taken as the face that matches the human body.
  • Step 3 For the matched human body and face, use the object type information corresponding to the center point of the matched human body and the object type information corresponding to the center point of the face to determine whether the matched human body and face belong to the person For children.
  • the object type information corresponding to the center point of the successfully matched human body indicates that the person to which the corresponding human body belongs is a child or the object type information corresponding to the center point of the human face indicates that the person to which the corresponding human face belongs is a child.
  • the person to whom the face belongs is a child.
  • the above-mentioned position offset information corresponding to the center point of the human body can be used to determine the predicted position information of the center point of the face that matches each human body, and then the predicted position information can be used to determine the face that matches each human body. Using successfully matched human bodies and faces for child recognition can improve the accuracy of recognition.
  • the object type information corresponding to the center point of the human body is used to determine whether the person to which the center point of the human body belongs is a child. In the case where the object type information corresponding to the center point of the human body indicates a child, it is determined that the person to which the human body belongs is a child.
  • the object type information corresponding to the center point of the face is used to determine whether the person to which the center point of the face belongs is a child. In the case where the object type information corresponding to the center point of the face indicates a child, it is determined that the person to which the face belongs is a child.
  • the object type information corresponding to its own central point can be used to more accurately identify the child.
  • the above-mentioned state characteristic information may include sleep state characteristic information, emotional state characteristic information, and the like.
  • the characteristic information of the emotional state may include happiness, crying, calmness, and so on.
  • adjusting the cabin environment in the cabin may be: adjusting the light to a soft state, or playing a lullaby, etc., when the state characteristic information indicates that the child is in a sleeping state;
  • the state characteristic information indicates that the child is in a happy emotional state, set the music to be played to a cheerful type of music;
  • the state characteristic information indicates that the child is in a crying emotional state, it will be played
  • the music is set to soothing type music.
  • the following steps can be used to determine whether the child is asleep:
  • Step one intercept the child's face sub-image from the target image.
  • center point of the human face and the length information and width information of the center point of the human face determined in the above embodiment can be used to intercept the child's face sub-image from the target image.
  • facial sub-images can reduce the size and the number of pixels of the image used for sleep state recognition, that is, it can reduce the amount of data processing for sleep state recognition and improve the efficiency of sleep state recognition.
  • Step 2 Based on the face sub-image, determine the left eye open and closed state information and the right eye open and closed state information of the child.
  • the left eye open and closed state information includes left eye invisible, left eye visible and open eye, and left eye visible and closed eye.
  • the right eye open and closed state information includes the right eye is not visible, the right eye is visible and the eye is open, and the right eye is visible and the eye is closed.
  • the face sub-image is input into a trained neural network, and after processing by the neural network, 9 kinds of left and right eye status information can be output.
  • the foregoing neural network may be composed of two fully connected layers, and the input of the neural network is a feature map obtained by image feature extraction of a face sub-image.
  • the first fully connected layer converts the input feature map into a K4-dimensional feature vector
  • the second fully connected layer converts the K4-dimensional feature vector into a 9-dimensional vector output, and then performs classification softmax processing, and the dimension with the largest score of the softmax output corresponds to
  • the status information of is the last predicted status information.
  • Step 3 Determine the child’s sleep state characteristic information based on the child’s left eye open and closed state information and right eye open and closed state information.
  • the child Based on the left-eye open-closed state information and right-eye open-closed state information corresponding to multiple consecutive frames of the target image, determine the child’s closed-eye cumulative time; when the closed-eye cumulative time is greater than a preset threshold, determine The sleep state characteristic information is a sleep state; when the cumulative duration of closed eyes is less than or equal to a preset threshold, it is determined that the sleep state characteristic information is a non-sleep state.
  • the cumulative duration of the child’s closed eyes is determined by combining the child’s left and right eye open and closed state information, and then the relationship between the child’s cumulative duration of closed eyes and the preset threshold can be used to accurately determine whether the child is in a sleep state.
  • the state feature information also includes the child's emotional state feature information. As shown in Figure 4, the following steps can be used to identify the child's emotional state feature information:
  • center point of the human face and the length information and width information of the center point of the human face determined in the above embodiment can be used to intercept the child's face sub-image from the target image.
  • facial sub-images can reduce the size and the number of pixels of the image used for emotional state recognition, that is, it can reduce the amount of data processing for emotional state recognition and improve the efficiency of emotional state recognition.
  • the actions of the organs on the human face may include: frowning, staring, raising the corners of the mouth, raising the upper lip, lowering the corners of the mouth, and opening the mouth.
  • the face Before inputting the facial sub-images into the trained neural network to perform the action recognition of the organs on the face, in order to improve the efficiency and accuracy of the action recognition of the neural network, in a possible implementation manner, the face can also be recognized first. Perform image preprocessing on the sub-images to obtain processed face sub-images; wherein, the image pre-processing is used to perform key information enhancement processing on the face sub-images; and then input the processed face sub-images to the trained nerve
  • the network performs action recognition.
  • S430 Determine the emotional state feature information of the face represented by the face sub-image based on the recognized action of each organ.
  • the emotional state feature information is the corner of the mouth
  • the corresponding emotional state feature information is happy
  • the organ's action is staring and opening the mouth.
  • the emotional state is characterized by surprise.
  • the characteristic information of the emotional state on the face when determining the characteristic information of the emotional state on the face based on the movement of the recognized organ, it can be based on the movement of each organ on the recognized face, as well as the preset movement and characteristic information of the emotional state. Correspondence between the two to determine the characteristic information of the emotional state of the face represented by the face sub-image.
  • step 420 when performing image preprocessing on the face sub-image, the following steps can be used: determine the position information of the key points in the face sub-image; perform affine on the face sub-image based on the position information of the key points Transform to obtain the corrected image corresponding to the face sub-image; perform normalization processing on the corrected image to obtain the processed face sub-image.
  • the key points in the face sub-image can include, for example, the corners of the eyes, the corners of the mouth, the brows, the tails of the eyebrows, the nose, etc.
  • the key points in the face sub-images can be set according to requirements; The position coordinates in the face sub-image.
  • the transformation matrix can be determined based on the position information of the key points and the preset position information of the pre-stored target key points.
  • the transformation matrix is used to represent The transformation relationship between the position information of each key point in the face sub-image and the preset position information of the target key point matching the key point, and then the face sub-image is affinely transformed based on the transformation matrix.
  • x', y' represent the abscissa and ordinate of the pre-stored target key point
  • x, y represent the abscissa and ordinate of the key point
  • the facial sub-images in different orientations in the facial sub-images can be converted into front-facing facial sub-images, and motion recognition can be performed based on the corrected images corresponding to the facial sub-images.
  • the accuracy of action recognition can be improved.
  • the step of recognizing the action of each of the at least two organs on the face represented by the face sub-image is performed by a neural network for action recognition, and the step for performing actions
  • the recognized neural network includes a backbone network and at least two classification branch networks, and each classification branch network is used to recognize an action of an organ on a human face.
  • the foregoing action of identifying each of the at least two organs on the face represented by the face sub-image may include:
  • Step 1 Use the backbone network to perform feature extraction on the face sub-image to obtain a feature map of the face sub-image.
  • Step 2 Each classification branch network is used to perform action recognition according to the feature map of the facial sub-image, and the occurrence probability of the action that can be recognized by each classification branch network is obtained.
  • Step 3 Determine an action whose occurrence probability is greater than a preset probability as the action of the organ on the face represented by the face sub-image.
  • the above method can simultaneously identify the actions of multiple organs corresponding to the face sub-image.
  • each classification branch network is used to identify the corresponding The movement of the organ, because when training each classification branch network, you can focus on the image features corresponding to the action of a specific organ.
  • This method can make the recognition accuracy of the trained classification branch network higher, so that the emotional state recognition The accuracy rate is higher.
  • the present disclosure also provides a child state detection device, which is applied to a terminal device or server for child state and safety, and each module can implement the same method steps as in the above method And the same beneficial effects are achieved, so the same parts will not be repeated in this disclosure.
  • a child state detection device may include:
  • the image acquisition module 510 is configured to acquire a target image in the cabin
  • the child recognition module 520 is configured to recognize the child in the target image
  • the position determining module 530 is configured to determine whether the child is located on the rear seat in the cabin based on the position information of the child;
  • the early warning module 540 is configured to issue an alarm when the child is not on the rear seat in the cabin.
  • the aforementioned position determining module 530 is further configured to determine whether the child is located on the safety seat based on the position information of the child and the position information of the safety seat in the target image;
  • the early warning module 540 issues an alarm when the child is not located on the safety seat, and in response to the moving speed of the cabin being greater than a preset value.
  • the child state detection device further includes: a safety seat recognition module 520 configured to recognize the safety seat in the target image;
  • the above-mentioned early warning module 540 is further configured to: in the case of determining that there is no safety seat in the vehicle cabin, send an alarm in response to the moving speed of the vehicle cabin being greater than a preset value.
  • the above-mentioned child identification module 520 is further configured to:
  • the cabin environment in the cabin is adjusted.
  • the child recognition module 520 when the child recognition module 520 recognizes the child in the target image, it is configured to:
  • the object information of an object includes the center point information of the object and the object type information corresponding to the center point of the object;
  • the child in the target image is determined.
  • the child recognition module 520 determines the object information of each object in the target image based on the target image, it is configured to:
  • the target feature point with the largest response value greater than the preset threshold is taken as the center point of the object, and the location information of the center point of the object is determined based on the position index of the target feature point on the first feature map.
  • the center point information of the object further includes length information and width information of the center point of the object; the child identification module 520 is further configured to:
  • the width information of the center point of the object corresponding to the target feature point is acquired at the position corresponding to the position index of the target feature point.
  • the child recognition module 520 determines the object information of each object included in the target image based on the target image, it is further configured to:
  • the object includes a human face and a human body
  • the child recognition module 520 determines the child in the target image based on the determined object information of each object, it is configured to:
  • the object type information corresponding to the center point of the matched human body and the object type information corresponding to the center point of the face are used to determine whether the matched human body and the person to which the face belongs is a child.
  • the child identification module 520 is further configured to:
  • the object type information corresponding to the center point of the face is used to determine whether the person to which the center point of the face belongs is a child.
  • the state characteristic information includes the child's sleep state characteristic information
  • the child recognition module 520 recognizes the state characteristic information of the child, it is configured to:
  • the child’s sleep state characteristic information is determined.
  • the child recognition module 520 is configured to determine the child’s sleep state characteristic information based on the child’s left eye open and closed eye status information and right eye open and closed eye status information:
  • the sleep state characteristic information is a non-sleep state.
  • the state characteristic information includes the child's emotional state characteristic information
  • the child recognition module 520 recognizes the state characteristic information of the child, it is configured to:
  • the emotional state characteristic information of the face represented by the face sub-image is determined.
  • the actions of the organs on the human face include:
  • the step of recognizing the action of each of the at least two organs on the face represented by the face sub-image is performed by a neural network for action recognition, and the step for performing The neural network for action recognition includes a backbone network and at least two classification branch networks, and each classification branch network is used to recognize an action of an organ on a human face;
  • the action of recognizing each of the at least two organs on the face represented by the face sub-image includes:
  • Each classification branch network is used to perform action recognition according to the feature map of the facial sub-image, and the occurrence probability of the action that can be recognized by each classification branch network is obtained;
  • the action whose occurrence probability is greater than the preset probability is determined as the action of the organ on the face represented by the face sub-image.
  • the embodiment of the present disclosure discloses an electronic device, as shown in FIG. 6, comprising: a processor 601, a memory 602, and a bus 603.
  • the memory 602 stores machine-readable instructions executable by the processor 601. When the device is running, the processor 601 and the memory 602 communicate through the bus 603.
  • embodiments of the present disclosure also provide a computer-readable storage medium with a computer program stored on the computer-readable storage medium, and the computer program executes the steps of the method described in the above method embodiment when the computer program is run by a processor.
  • the embodiment of the present disclosure also provides a computer program product corresponding to the above method and device, including a computer-readable storage medium storing program code, and the instructions included in the program code can be used to execute the method steps in the previous method embodiments
  • a computer program product including a computer-readable storage medium storing program code
  • the instructions included in the program code can be used to execute the method steps in the previous method embodiments
  • the working process of the system and device described above can refer to the corresponding process in the method embodiment, which will not be repeated in this disclosure.
  • the disclosed system, device, and method may be implemented in other ways.
  • the device embodiments described above are merely illustrative.
  • the division of the modules is only a logical function division, and there may be other divisions in actual implementation.
  • multiple modules or components may be combined or It can be integrated into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some communication interfaces, devices or modules, and may be in electrical, mechanical or other forms.
  • the modules described as separate components may or may not be physically separated, and the components displayed as modules may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional units in the various embodiments of the present disclosure may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the function is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a non-volatile computer readable storage medium executable by a processor.
  • the technical solution of the present disclosure essentially or the part that contributes to the prior art or the part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium, including Several instructions are used to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute all or part of the steps of the methods described in the various embodiments of the present disclosure.
  • the aforementioned storage media include: U disk, mobile hard disk, ROM, RAM, magnetic disk or optical disk and other media that can store program codes.
  • the present disclosure determines whether the child in the cabin is located on the rear seat by identifying the child in the cabin and the position of the child, and issues an alarm when the child is not on the rear seat, which effectively improves the child’s ride
  • the accuracy of the recognition of the safety state while in the car is beneficial to improve the safety of children riding in the car.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)

Abstract

一种儿童状态检测方法及装置、电子设备、计算机可读存储介质及计算机程序产品。其中，首先获取车舱内的目标图像；之后，识别目标图像中的儿童；以及，基于儿童的位置信息，确定儿童是否位于车舱内的后排座椅上；最后，在儿童未位于车舱内的后排座椅上的情况下，发出告警，以有效对儿童乘车的安全性进行识别和预警。

Description

儿童状态检测方法及装置、电子设备、存储介质
相关申请的交叉引用
本公开基于申请号为202010239259.7、申请日为2020年03月30日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此以引入方式并入本公开。
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种儿童状态检测方法及装置、电子设备、计算机可读存储介质。
背景技术
当前汽车电子行业发展迅速，为人们乘车提供了方便舒适的车舱环境。车舱智能化、安全化是当前汽车行业发展的重要方向。
儿童由于身体发育等方面的限制，乘车风险较大。车载系统的安全感知方面，目前无法有效对儿童乘车的安全性进行识别和预警，导致儿童乘车存在安全方面的问题。
发明内容
有鉴于此，本公开至少提供一种儿童状态检测方法及装置。
第一方面，本公开提供了一种儿童状态检测方法，包括：
获取车舱内的目标图像；
识别所述目标图像中的儿童；
基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上；
在所述儿童未位于车舱内的后排座椅上的情况下，发出告警。
本方面，通过对车舱内儿童以及儿童位置的识别，判定车舱内的儿童是否位于后排座椅上，并在儿童未位于后排座椅上的情况下，发出告警，有效提高了儿童乘车时安全状态识别的准确率，有利于提升儿童乘车的安全性。
在一种可能的实施方式中，上述儿童状态检测方法还包括：
基于所述儿童的位置信息和所述目标图像中的安全座椅的位置信息，确定所述儿童是否位于安全座椅上；
在所述儿童未位于安全座椅上的情况下，响应于所述车舱的移动速度大于预设值，发出告警。
在一种可能的实施方式中，所述儿童状态检测方法还包括：
对所述目标图像中的安全座椅进行识别；
在确定车舱内没有安全座椅的情况下，响应于所述车舱的移动速度大于预设值，发出告警。
在一种可能的实施方式中，所述识别所述目标图像中的儿童，还包括：
识别所述儿童的状态特征信息；
基于所述状态特征信息，调整所述车舱内的车舱环境。
在一种可能的实施方式中，所述识别所述目标图像中的儿童，包括：
基于所述目标图像，确定所述目标图像中的各个对象的对象信息；一个对象的对象信息包括该对象的中心点信息和该对象的中心点对应的对象类型信息；
基于确定的各个对象的对象信息，确定所述目标图像中的儿童。
在一种可能的实施方式中，所述基于所述目标图像，确定所述目标图像中的各个对象的对象信息，包括：
对所述目标图像进行特征提取，得到所述目标图像对应的第一特征图；
从所述第一特征图的第一预设通道中，获取所述第一特征图中每个特征点作为对象中心点的响应值；
将所述第一特征图分割为多个子区域，并确定每个子区域内最大的响应值和最大的响应值对应的特征点；
将最大的响应值大于预设阈值的目标特征点作为对象的中心点，并基于所述目标特征点在第一特征图上的位置索引确定对象的中心点的位置信息。
在一种可能的实施方式中，所述对象的中心点信息还包括对象的中心点的长度信息和宽度信息；所述基于所述目标图像，确定所述目标图像中所包括的各个对象的对象信息，还包括：
从所述第一特征图的第二预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的长度信息；
从所述第一特征图的第三预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的宽度信息。
在一种可能的实施方式中，所述基于所述目标图像，确定所述目标图像中所包括的各个对象的对象信息，还包括：
对所述目标图像进行特征提取，得到所述目标图像对应的第二特征图；
基于所述目标特征点在第一特征图上的位置索引，确定所述目标特征点在所述第二特征图上的位置索引；
从所述目标特征点在所述第二特征图上的位置索引对应的位置处，获取所述目标特征点对应的对象类型信息。
在一种可能的实施方式中，所述对象包括人脸和人体；
所述基于确定的各个对象的对象信息，确定所述目标图像中的儿童，包括：
基于每个人体的中心点对应的位置偏移信息，分别确定与每个人体相匹配的人脸的中心点的预测位置信息；其中，属于同一个人的人体和人脸相匹配；
基于确定的预测位置信息和每个人脸的中心点的位置信息，确定与每个人体相匹配的人脸；
对于匹配成功的人体和人脸，利用匹配成功的人体的中心点对应的对象类型信息和人脸的中心点对应的对象类型信息，确定该匹配成功的人体和人脸所属的人是否为儿童。
在一种可能的实施方式中，所述儿童状态检测方法还包括：
对于未匹配成功的人体，利用该人体的中心点对应的对象类型信息确定该人体的中心点所属的人是否为儿童；
对于未匹配成功的人脸，利用该人脸的中心点对应的对象类型信息，确定该人脸的中心点所属的人是否为儿童。
在一种可能的实施方式中，所述状态特征信息包括儿童的睡眠状态特征信息；
所述识别所述儿童的状态特征信息，包括：
从所述目标图像中截取儿童的脸部子图像；
基于所述脸部子图像，确定儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息；
基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息。
在一种可能的实施方式中，所述基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息，包括：
基于连续多帧所述目标图像对应的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定所述儿童的闭眼累积时长；
在所述闭眼累积时长大于预设阈值时，确定所述睡眠状态特征信息为睡眠状态；
在所述闭眼累积时长小于或等于预设阈值时，确定所述睡眠状态特征信息为非睡眠状态。
在一种可能的实施方式中，所述状态特征信息包括儿童的情绪状态特征信息；
所述识别所述儿童的状态特征信息，包括：
从所述目标图像中截取儿童的脸部子图像；
识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作；
基于识别到的所述每个器官的动作，确定所述脸部子图像代表的人脸上的情绪状态特征信息。
在一种可能的实施方式中，人脸上的器官的动作包括：
皱眉、瞪眼、嘴角上扬、上唇上抬、嘴角向下、张嘴。
在一种可能的实施方式中，所述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作的步骤，由用于进行动作识别的神经网络执行，所述用于进行动作识别的神经网络包括主干网络和至少两个分类分支网络，每个分类分支网络用于识别人脸上的一个器官的一种动作；
所述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作，包括：
利用主干网络对所述脸部子图像进行特征提取，得到所述脸部子图像的特征图；
分别利用每个分类分支网络根据所述脸部子图像的特征图进行动作识别，得到每个分类分支网络能够识别的动作的发生概率；
将发生概率大于预设概率的动作确定为所述脸部子图像代表的人脸上的器官的动作。
第二方面，本公开提供了一种儿童状态检测装置，包括：
图像获取模块，配置为获取车舱内的目标图像；
儿童识别模块，配置为识别所述目标图像中的儿童；
位置判定模块，配置为基于所述儿童的位置信息，确定所述儿童是否位于车舱内的 后排座椅上；
预警模块，配置为在所述儿童未位于车舱内的后排座椅上的情况下，发出告警。
第三方面，本公开提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述儿童状态检测方法的步骤。
第四方面，本公开还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述儿童状态检测方法的步骤。
本公开提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行用于实现上述一个或多个实施例中服务器执行上述方法。
本公开上述装置、电子设备、和计算机可读存储介质，至少包含与本公开上述方法的任一方面或任一方面的任一实施方式的技术特征实质相同或相似的技术特征，因此关于上述装置、电子设备、和计算机可读存储介质的效果描述，可以参见上述方法内容的效果描述，这里不再赘述。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例提供的一种儿童状态检测方法的流程图；
图2示出了本公开实施例提供的另一种儿童状态检测方法中确定目标图像中各个对象的对象信息的流程图；
图3示出了本公开实施例提供的再一种儿童状态检测方法中确定对象类型信息的流程图；
图4示出了本公开实施例提供的再一种儿童状态检测方法中确定识别儿童的情绪状态特征信息的流程图；
图5示出了本公开实施例提供的一种儿童状态检测装置的结构示意图；
图6示出了本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，应当理解，本公开中附图仅起到说明和描述的目的，并不用于限定本公开的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本公开中使用的流程图示出了根据本公开的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本公开内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，本公开实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本公开提供了一种儿童状态检测方法及装置、电子设备、计算机可读存储介质。本公开通过对车舱内儿童以及儿童位置的识别，判定车舱内的儿童是否位于后排座椅上，并在儿童未位于后排座椅上的情况下，发出告警，有效提高了儿童乘车时安全状态识别的准确率，有利于提升儿童乘车的安全性。
下面通过实施例对本公开的儿童状态检测方法及装置、电子设备、计算机可读存储介质进行说明。
本公开实施例提供了一种儿童状态检测方法，该方法应用于对儿童状态和安全性进行检测的终端设备或服务器等。如图1所示，本公开实施例提供的儿童状态检测方法包括如下步骤：
S110、获取车舱内的目标图像。
这里，目标图像中可能包括儿童，也可能不包括儿童，该图像既可以是对儿童状态和安全性进行检测的终端设备拍摄的，也可以是其他拍摄设备拍摄后传送给上述对儿童状态和安全性进行检测的终端设备或服务器的。
S120、识别所述目标图像中的儿童。
这里，识别目标图像中的儿童包括从目标图像中的各个对象中筛选得到其中的儿童，以及确定儿童的位置信息。
在识别目标图像中的儿童时，可以首先基于所述目标图像，确定所述目标图像中的各个对象的对象信息。其中，一个对象的对象信息包括该对象的中心点信息和该对象的中心点对应的对象类型信息。之后，基于确定的各个对象的对象信息，确定所述目标图像中的儿童。
上述对象类型信息可以包括儿童类型、后排座椅类型、安全座椅类型、成年人类型等；中心点信息可以包括对应的对象的中心点的位置信息。那么，在实施时，可以利用确定的中心点对应的对象类型信息，从目标图像中的各个对象中筛选出儿童，之后，利用属于儿童的中心点信息确定儿童的位置信息。
本步骤，通过对对象的中心点和中心点对应的对象类型信息的识别和确定，能够准确的确定目标图像中的儿童，提高了目图像中儿童识别的准确率。
S130、基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上。
这里，在判断儿童是否位于车舱内的后排座椅上之前，首先需要识别目标图像中的后排座椅以及确定后排座椅的位置信息。
识别目标图像中的后排座椅以及确定后排座椅的位置信息的方法，与上述识别目标图像中的儿童，以及确定儿童的位置信息的方法相同。即，可以是：可以利用确定的中心点对应的对象类型信息，从目标图像中的各个对象中筛选出后排座椅，之后，利用属 于后排座椅的中心点信息确定后排座椅的位置信息。
在确定了儿童的位置信息和后排座椅的位置信息之后，利用这两个位置信息，可以确定儿童是否位于车舱内的后排座椅上。
S140、在所述儿童未位于车舱内的后排座椅上的情况下，发出告警。
这里，通过前面的判断，在确定儿童未位于后排座椅上的情况下，儿童的乘车状态是不安全的，此时可以向司机或其他乘客等发出告警，以纠正儿童在车舱内的位置，从而提升儿童乘车的安全性。
为了进一步提升儿童在乘车过程中的安全性，儿童不但应该位于后排座椅上，而且应该位于安全座椅上，因此，上述儿童状态检测方法还可以进一步包括如下步骤：
基于所述儿童的位置信息和所述目标图像中的安全座椅的位置信息，确定所述儿童是否位于安全座椅上；在所述儿童未位于安全座椅上的情况下，响应于所述车舱的移动速度大于预设值，发出告警。
在执行上述步骤之前，首先需要识别目标图像中的安全座椅，并在车舱内有安全座椅的情况下，确定安全座椅的位置信息。
识别目标图像中的安全座椅以及确定安全座椅的位置信息的方法，与上述识别目标图像中的儿童，以及确定儿童的位置信息的方法相同。即，可以是：可以利用确定的中心点对应的对象类型信息，从目标图像中的各个对象中筛选出安全座椅，之后，利用属于安全座椅的中心点信息确定安全座椅的位置信息。
在确定了儿童的位置信息和安全座椅的位置信息之后，利用这两个位置信息，可以确定儿童是否位于车舱内的安全座椅上。
如果通过识别，确定车舱内没有安全座椅，在确定车舱内没有安全座椅的情况下，响应于所述车舱的移动速度大于预设值，发出告警。这样，进一步在儿童乘车场景中，在车舱内没有安全座椅的情况下，能及时发出告警，提升儿童乘车的安全性。
上述在儿童未位于安全座椅上，并且在车舱的移动速度大于预设值时，发出告警，进一步提高了儿童乘车时安全状态识别的准确率，提升了儿童乘车的安全性。
上述实施例，根据对象信息可以对儿童、后排座椅、安全座椅等进行识别和定位。上述对象可以是人脸、人体、后排座椅、安全座椅等。
那么，如图2所示，在一些实施例中，可以利用如下步骤来确定目标图像中各个对象的对象信息：
S210、对所述目标图像进行特征提取，得到所述目标图像对应的第一特征图。
这里，可以是首先将目标图像输入到一个神经网络中进行图像特征提取，例如，将目标图像输入骨干网络(backbone)这个神经网络中进行图像特征提取，得到一个初始特征图。之后再将该初始特征图输入到一个用于进行对象信息提取的神经网络，得到上述第一特征图。
在实施时，上述目标图像可以是一个尺寸为640*480像素的图像，经过backbone处理后可以得到80*60*C的初始特征图。其中，C表示通道数量。初始特征图经过用于进行对象信息提取的神经网络处理之后，可以得到一个80*60*3第一特征图。
S220、从所述第一特征图的第一预设通道中，获取所述第一特征图中每个特征点作为对象中心点的响应值。
这里，第一预设通道可以是第一特征图中的第0通道，该通道为对象中心点的通道，该通道中的响应值可以表示各个特征点作为对象的中心点的可能性。
在获取到第一预设通道中各个特征点对应的响应值之后，可以利用sigmoid激活函将这些响应值转化为0到1之间。
S230、将所述第一特征图分割为多个子区域，并确定每个子区域内最大的响应值和最大的响应值对应的特征点；
这里，可以是，对特征图进行3*3的步长为1的最大池化max pooling操作，获得3*3内的最大响应值及其在第一特征图上的位置索引。即可以获得60*80个最大的响应值及其对应的位置索引。
之后，还可以合并相同的位置索引，得到N个最大的响应值、每个最大的响应值对应的位置索引以及每个最大的响应值对应的特征点。
S240、将最大的响应值大于预设阈值的目标特征点作为对象的中心点，并基于所述目标特征点在第一特征图上的位置索引确定对象的中心点的位置信息。
这里，可以预先设定阈值thrd，当最大的响应值大于thrd时，判定此特征点为对象的中心点。
上述，通过对特征图中的响应值进行最大池化的处理，能够找到局部范围内最有可能成为对象的中心点的特征点，从而能够有效提高确定的中心点的准确度。
上述，将对象的中心点和中心点的位置信息作为中心点信息。在一些实施例中，中心点信息还可以包括对象的中心点的长度信息和宽度信息。此时，可以利用如下步骤确定中心点的长度信息和宽度信息：
从所述第一特征图的第二预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的长度信息。从所述第一特征图的第三预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的宽度信息。
上述第二预设通道可以是第一特征图中的第1通道，第三预设通道可以是第一特征图中的第2通道。上述步骤是从第一特征图中的第1通道中，中心点对应的位置处获取中心点的长度信息，从第一特征图中的第2通道中，中心点对应的位置处获取中心点的宽度信息。
上述在确定的对象的中心点之后，利用中心点的位置索引，能够从特征图的其他预设通道中准确的获取对象的中心点的长度信息和宽度信息。
由于对象可以是人脸、人体、后排座椅、安全座椅等，因此，在实施时，需要利用不同的神经网络来确定不同对象对应的第一特征图，之后，再基于不同的第一特征图来确定不同对象的中心点、每个中心点的位置信息、每个中心点的长度信息和每个中心点的宽度信息。
由上面的陈述可知，对象信息包括对象的中心点对应的对象类型信息，在一些实施例中，如图3所示，可以利用如下步骤确定对象类型信息：
S310、对所述目标图像进行特征提取，得到所述目标图像对应的第二特征图。
这里，可以是将目标图像输入到一个神经网络中进行图像特征提取，例如，将目标图像输入backbone这个神经网络中进行图像特征提取，得到一个初始特征图，之后将 该初始特征图输入到进行对象类型识别的神经网络进行处理，得到第二特征图，基于该第二特征图能够确定每个对象的中心点对应的对象类型信息。上述第二特征图可以是一个80*60*2的特征图。
在对儿童进行识别的应用场景中，第二特征图上每个特征点对应有一个2维的特征向量，对对象的中心点对应于上述第二特征图上的特征点上的二维特征向量进行分类处理，可以得到分类结果，在一种分类结果代表儿童，另一种分类结果代表其他的情况下，基于上述分类结果可以确定中心点对象的对象类型信息是否为儿童。在对儿童进行识别的应用场景中，上述对象可以是人体或人脸。
在对安全座椅进行识别的应用场景中，第二特征图上每个特征点对应有一个2维的特征向量，对对象的中心点对应于上述第二特征图上的特征点上的二维特征向量进行分类处理，可以得到分类结果，在一种分类结果代表安全座椅，另一种分类结果代表其他的情况下，基于上述分类结果可以确定中心点对象的对象类型信息是否为安全座椅。
当然，利用相同的方法，还可以对后排座椅等进行识别。
由于对象可以是人脸、人体、后排座椅、安全座椅等，因此，在实施时，需要利用不同的神经网络来确定不同对象对应的第二特征图，之后，再基于不同的第二特征图来确定不同对象的对象类型信息。
S320、基于所述目标特征点在第一特征图上的位置索引，确定所述目标特征点在所述第二特征图上的位置索引。
这里，目标特征点即为对象的中心点。目标特征点是大于预设阈值的最大的响应值对应的特征点。
S330、从所述目标特征点在所述第二特征图上的位置索引对应的位置处，获取所述目标特征点对应的对象类型信息。
上述在确定的对象的中心点之后，利用中心点的位置索引，能够准确的获取对象的中心点对应的对象类型信息。
在对儿童进行识别的应用场景中，在确定了各个对象的中心点对应的对象类型信息之后，可以利用如下步骤识别目标图像中的儿童：
步骤一、基于每个人体的中心点对应的位置偏移信息，分别确定与每个人体相匹配的人脸的中心点的预测位置信息；其中，属于同一个人的人体和人脸相匹配。
在执行此步骤之前，首先需要确定每个人体的中心点与属于同一个人的人脸中心点的位置偏移信息，之后，再利用位置偏移信息确定预测位置信息。
在确定上述位置偏移信息时，可以是，首先将目标图像输入到一个神经网络中进行图像特征提取，例如，将目标图像输入backbone这个神经网络中进行图像特征提取，得到一个初始特征图。之后再将该初始特征图输入到一个用于确定上述位置偏移信息的神经网络，得到一个特征图，基于该特征图就能够确定于每个人体的中心点对应的位置偏移信息。
在实施时，初始特征图经过用于确定上述位置偏移信息的神经网络处理之后，可以得到一个80*60*2的特征图。
步骤二、基于确定的预测位置信息和每个人脸的中心点的位置信息，确定与每个人体相匹配的人脸。
这里，是将与预测位置信息对应的位置最接近的中心点的位置对应的人脸，作为与人体相匹配的人脸。
步骤三、对于匹配成功的人体和人脸，利用匹配成功的人体的中心点对应的对象类型信息和人脸的中心点对应的对象类型信息，确定该匹配成功的人体和人脸所属的人是否为儿童。
这里，匹配成功的人体的中心点对应的对象类型信息指示对应的人体所属的人为儿童或人脸的中心点对应的对象类型信息指示对应的人脸所属的人为儿童，确定该匹配成功的人体和人脸所属的人为儿童。
上述利用人体的中心点对应的位置偏移信息，能够确定与每个人体相匹配的人脸的中心点的预测位置信息，继而利用预测位置信息能够确定与每个人体相匹配的人脸。利用匹配成功的人体和人脸进行儿童识别，能够提高识别的准确率。
由于遮挡等原因，会有未匹配成功的人体或人脸，此时，对于未匹配成功的人体，利用该人体的中心点对应的对象类型信息确定该人体的中心点所属的人是否为儿童。在该人体的中心点对应的对象类型信息指示儿童的情况下，确定该人体所属的人为儿童。
对于未匹配成功的人脸，利用该人脸的中心点对应的对象类型信息，确定该人脸的中心点所属的人是否为儿童。在该人脸的中心点对应的对象类型信息指示儿童的情况下，确定该人脸所属的人为儿童。
上述对于未匹配成功的人体或人脸，可以利用其自身的中心点对应的对象类型信息能够较为准确地进行儿童识别。
在改善儿童乘车过程中的安全性问题的同时，可以通过识别儿童的状态特征信息，并基于状态特征信息，调整所述车舱内的车舱环境，来为儿童提供更加舒适和安全的乘车环境。
上述状态特征信息可以包括睡眠状态特征信息、情绪状态特征信息等。其中情绪状态特征信息可以包括高兴、哭泣、平静等。
在确定了上述状态特征信息之后，调整所述车舱内的车舱环境可以是：在所述状态特征信息指示儿童处于睡眠状态的情况下，将灯光调节为柔和状态，或者播放摇篮曲等；在所述状态特征信息指示所述儿童处于高兴的情绪状态的情况下，将播放的音乐设置为欢快类型的音乐；在所述状态特征信息指示所述儿童处于哭泣的情绪状态的情况下，将播放的音乐设置为安抚类型的音乐。
在一些实施例中，可以利用如下步骤确定儿童是否处于睡眠状态：
步骤一、从所述目标图像中截取儿童的脸部子图像。
这里，可以利用上面实施例确定的人脸的中心点和人脸的中心点的长度信息和宽度信息，来从目标图像中截取儿童的脸部子图像。
利用脸部子图像能够减少用于进行睡眠状态识别的图像的尺寸和像素数量，即能够降低进行睡眠状态识别的数据处理量，提高睡眠状态识别的效率。
步骤二、基于所述脸部子图像，确定儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息。
这里，左眼睁闭眼状态信息包括左眼不可见、左眼可见且睁眼、左眼可见且闭眼。右眼睁闭眼状态信息包括右眼不可见、右眼可见且睁眼、右眼可见且闭眼。
在实施时，将脸部子图像输入一个训练好的神经网络中，经过该神经网络的处理，能够输出9种左右眼的状态信息。
上述神经网络可以由两层全联接层构成，该神经网络的输入是对脸部子图像进行图像特征提取得到的特征图。第一层全联接层将输入的特征图转化为K4维特征向量，第二层全联接层将K4维特征向量转化为9维向量输出，之后进行分类softmax处理，softmax输出的分数最大的维对应的状态信息即为最后预测的状态信息。
步骤三、基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息。
这里，可以利用如下子步骤实现：
基于连续多帧所述目标图像对应的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定所述儿童的闭眼累积时长；在所述闭眼累积时长大于预设阈值时，确定所述睡眠状态特征信息为睡眠状态；在所述闭眼累积时长小于或等于预设阈值时，确定所述睡眠状态特征信息为非睡眠状态。
上述，结合儿童左眼和右眼的睁闭眼状态信息确定儿童的闭眼累积时长，继而利用儿童的闭眼累积时长与预设阈值的关系，能够准确地确定儿童是否处于睡眠状态。
由上面的描述可知，状态特征信息还包括儿童的情绪状态特征信息，在如图4所示，可以利用如下步骤识别所述儿童的情绪状态特征信息：
S410、从所述目标图像中截取儿童的脸部子图像。
这里，可以利用上面实施例确定的人脸的中心点和人脸的中心点的长度信息和宽度信息，来从目标图像中截取儿童的脸部子图像。
利用脸部子图像能够减少用于进行情绪状态识别的图像的尺寸和像素数量，即能够降低进行情绪状态识别的数据处理量，提高情绪状态识别的效率。
S420、识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作。
这里，人脸上的器官的动作可以包括：皱眉、瞪眼、嘴角上扬、上唇上抬、嘴角向下、张嘴。
在将脸部子图像输入至训练的神经网络进行人脸上的器官的动作识别之前，为了提高神经网络进行动作识别的效率和精度，在一种可能的实施方式中，还可以先将脸部子图像进行图像预处理，得到处理后的脸部子图像；其中，所述图像预处理用于对脸部子图像进行关键信息增强处理；然后将处理后的脸部子图像输入至训练的神经网络进行动作识别。
S430、基于识别到的所述每个器官的动作，确定所述脸部子图像代表的人脸上的情绪状态特征信息。
这里，情绪状态特征信息与器官的动作之间有一定的对应关系，示例性的，器官的动作为嘴角上扬时，对应的情绪状态特征信息为开心，器官的动作为瞪眼且张嘴时，对应的情绪状态特征信为惊讶。
在实施过程中，在基于识别的器官的动作，确定人脸上的情绪状态特征信息时，可以是基于识别的人脸上的每个器官的动作、以及预先设置的动作与情绪状态特征信息之间的对应关系，确定脸部子图像代表的人脸上的情绪状态特征信息。
上述步骤420中，在对脸部子图像进行图像预处理时，可以利用如下步骤进行：确 定脸部子图像中关键点的位置信息；基于关键点的位置信息，对脸部子图像进行仿射变换，得到脸部子图像对应的转正后的图像；对转正后的图像进行归一化处理，得到处理后的脸部子图像。
脸部子图像中的关键点例如可以包括眼角、嘴角、眉头、眉尾、鼻子等，实施中，脸部子图像中的关键点可以根据需求进行设置；关键点的位置信息可以是关键点在脸部子图像中的位置坐标。
上述在基于关键点的位置信息，对脸部子图像进行仿射变换时，可以先基于关键点的位置信息、以及预存的目标关键点的预设位置信息，确定变换矩阵，变换矩阵用于表示脸部子图像中每个关键点的位置信息、和与该关键点匹配的目标关键点的预设位置信息之间的变换关系，然后基于变换矩阵，对脸部子图像进行仿射变换。
在基于关键点的位置信息、以及预存的目标关键点的预设位置信息，确定变换矩阵时，可以根据以下公式(1)进行计算：
Figure PCTCN2020136250-appb-000001
其中，x’，y’表示预存的目标关键点的横纵坐标，x，y表示关键点的横纵坐标，
Figure PCTCN2020136250-appb-000002
表示变换矩阵。
在基于变换矩阵，对脸部子图像进行仿射变换时，可以先确定脸部子图像中每一个像素点的坐标，然后将脸部子图像中每一个像素点的坐标带入上述公式中，确定每一个像素点对应的变换后的坐标，基于每一个像素点对应的变换后的坐标，确定脸部子图像对应的转正后的图像。
通过将脸部子图像进行仿射变换，可以将脸部子图像中不同朝向的脸部子图像转换为正面朝向的脸部子图像，基于脸部子图像对应的转正后的图像进行动作识别，可以提高动作识别的精度。
在基于关键点的位置信息，对脸部子图像进行仿射变换，脸部子图像对应的转正后的图像之后，还可以基于关键点的位置信息，对转正后的图像进行图像剪切，得到剪切后的图像，然后对剪切后的图像进行归一化处理。
上述，先识别人脸上的器官的动作，然后基于识别出的动作，确定人脸对应的表情状态，由于人脸上的器官的动作与人脸的表情状态之间的关系是客观存在的，基于这种方式，不需要用户针对脸部子图像进行表情状态的主观定义，另外，由于人脸上的器官的动作可以专注于某些特定的人脸特征，对脸部子图像进行器官的动作的识别，相比直接进行表情姿态的识别，准确性可以提升许多，因此，本实施方式提高了人脸表情识别的精度。
在一些实施例中，上述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作的步骤，由用于进行动作识别的神经网络执行，所述用于进行动作识别的神经网络包括主干网络和至少两个分类分支网络，每个分类分支网络用于识别人脸上的一个 器官的一种动作。
上述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作，可以包括：
步骤一、利用主干网络对所述脸部子图像进行特征提取，得到所述脸部子图像的特征图。
步骤二、分别利用每个分类分支网络根据所述脸部子图像的特征图进行动作识别，得到每个分类分支网络能够识别的动作的发生概率。
步骤三、将发生概率大于预设概率的动作确定为所述脸部子图像代表的人脸上的器官的动作。
在脸部子图像代表的人脸上包含多个器官的动作时，通过上述方法，可以同时识别出脸部子图像对应的多个器官的动作，另外，这里使用每个分类分支网络分别识别对应的器官的动作，由于训练每个分类分支网络时，可以专注于特定器官的动作对应的图像特征，这种方式可以使得训练出的分类分支网络的识别精度更高，从而使得情绪状态识别时的准确率更高。
对应于上述儿童状态检测方法，本公开还提供了一种儿童状态检测装置，该装置应用于进行儿童状态和安全性的终端设备或服务器上，并且各个模块能够实现与上述方法中相同的方法步骤以及取得相同的有益效果，因此对于其中相同的部分，本公开不再进行赘述。
如图5所示，本公开提供的一种儿童状态检测装置可以包括：
图像获取模块510，配置为获取车舱内的目标图像；
儿童识别模块520，配置为识别所述目标图像中的儿童；
位置判定模块530，配置为基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上；
预警模块540，配置为在所述儿童未位于车舱内的后排座椅上时，发出告警。
在一些实施例中，上述位置判定模块530还配置为：基于所述儿童的位置信息和所述目标图像中的安全座椅的位置信息，确定所述儿童是否位于安全座椅上；
预警模块540在所述儿童未位于安全座椅上，并且响应于所述车舱的移动速度大于预设值，发出告警。
在一些实施例中，所述儿童状态检测装置还包括：安全座椅识别模块520，配置为对所述目标图像中的安全座椅进行识别；
上述预警模块540还配置为：在确定车舱内没有安全座椅的情况下，响应于所述车舱的移动速度大于预设值，发出告警。
在一些实施例中，上述儿童识别模块520还配置为：
识别所述儿童的状态特征信息；
基于所述状态特征信息，调整所述车舱内的车舱环境。
在一些实施例中，所述儿童识别模块520在识别所述目标图像中的儿童时，配置为：
基于所述目标图像，确定所述目标图像中的各个对象的对象信息；一个对象的对象信息包括该对象的中心点信息和该对象的中心点对应的对象类型信息；
基于确定的各个对象的对象信息，确定所述目标图像中的儿童。
在一些实施例中，所述儿童识别模块520在基于所述目标图像，确定所述目标图像中的各个对象的对象信息时，配置为：
对所述目标图像进行特征提取，得到所述目标图像对应的第一特征图；
从所述第一特征图的第一预设通道中，获取所述第一特征图中每个特征点作为对象中心点的响应值；
将所述第一特征图分割为多个子区域，并确定每个子区域内最大的响应值和最大的响应值对应的特征点；
将最大的响应值大于预设阈值的目标特征点作为对象的中心点，并基于所述目标特征点在第一特征图上的位置索引确定对象的中心点的位置信息。
在一些实施例中，所述对象的中心点信息还包括对象的中心点的长度信息和宽度信息；所述儿童识别模块520，还配置为：
从所述第一特征图的第二预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的长度信息；
从所述第一特征图的第三预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的宽度信息。
在一些实施例中，所述儿童识别模块520在基于所述目标图像，确定所述目标图像中所包括的各个对象的对象信息时，还配置为：
对所述目标图像进行特征提取，得到所述目标图像对应的第二特征图；
基于所述目标特征点在第一特征图上的位置索引，确定所述目标特征点在所述第二特征图上的位置索引；
从所述目标特征点在所述第二特征图上的位置索引对应的位置处，获取所述目标特征点对应的对象类型信息。
在一些实施例中，所述对象包括人脸和人体；
所述儿童识别模块520在基于确定的各个对象的对象信息，确定所述目标图像中的儿童时，配置为：
基于每个人体的中心点对应的位置偏移信息，分别确定与每个人体相匹配的人脸的中心点的预测位置信息；其中，属于同一个人的人体和人脸相匹配；
基于确定的预测位置信息和每个人脸的中心点的位置信息，确定与每个人体相匹配的人脸；
对于匹配成功的人体和人脸，利用匹配成功的人体的中心点对应的对象类型信息和人脸的中心点对应的对象类型信息，确定该匹配成功的人体和人脸所属的人是否为儿童。
在一些实施例中，所述儿童识别模块520在还配置为：
对于未匹配成功的人体，利用该人体的中心点对应的对象类型信息确定该人体的中心点所属的人是否为儿童；
对于未匹配成功的人脸，利用该人脸的中心点对应的对象类型信息，确定该人脸的中心点所属的人是否为儿童。
在一些实施例中，所述状态特征信息包括儿童的睡眠状态特征信息；
所述儿童识别模块520在识别所述儿童的状态特征信息时，配置为：
从所述目标图像中截取儿童的脸部子图像；
基于所述脸部子图像，确定儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息；
基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息。
在一些实施例中，所述儿童识别模块520在基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息时，配置为：
基于连续多帧所述目标图像对应的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定所述儿童的闭眼累积时长；
在所述闭眼累积时长大于预设阈值时，确定所述睡眠状态特征信息为睡眠状态；
在所述闭眼累积时长小于或等于预设阈值时，确定所述睡眠状态特征信息为非睡眠状态。
在一些实施例中，所述状态特征信息包括儿童的情绪状态特征信息；
所述儿童识别模块520在识别所述儿童的状态特征信息时，配置为：
从所述目标图像中截取儿童的脸部子图像；
识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作；
基于识别到的所述每个器官的动作，确定所述脸部子图像代表的人脸上的情绪状态特征信息。
在一些实施例中，人脸上的器官的动作包括：
皱眉、瞪眼、嘴角上扬、上唇上抬、嘴角向下、张嘴。
在一些实施例中，所述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作的步骤，由用于进行动作识别的神经网络执行，所述用于进行动作识别的神经网络包括主干网络和至少两个分类分支网络，每个分类分支网络用于识别人脸上的一个器官的一种动作；
所述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作，包括：
利用主干网络对所述脸部子图像进行特征提取，得到所述脸部子图像的特征图；
分别利用每个分类分支网络根据所述脸部子图像的特征图进行动作识别，得到每个分类分支网络能够识别的动作的发生概率；
将发生概率大于预设概率的动作确定为所述脸部子图像代表的人脸上的器官的动作。
本公开实施例公开了一种电子设备，如图6所示，包括：处理器601、存储器602和总线603，所述存储器602存储有所述处理器601可执行的机器可读指令，当电子设备运行时，所述处理器601与所述存储器602之间通过总线603通信。
所述机器可读指令被所述处理器601执行时执行以下儿童状态检测方法的步骤：
获取车舱内的目标图像；
识别所述目标图像中的儿童；
基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上；
在所述儿童未位于车舱内的后排座椅上的情况下，发出告警。
除此之外，机器可读指令被处理器601执行时，还可以执行上述方法部分描述的任一实施方式中的方法内容，这里不再赘述。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述方法的步骤。
本公开实施例还提供的一种对应于上述方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中的方法步骤，实现可参见方法实施例，在此不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，本文不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的工作过程，可以参考方法实施例中的对应过程，本公开中不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
工业实用性
本公开通过对车舱内儿童以及儿童位置的识别，判定车舱内的儿童是否位于后排座椅上，并在儿童未位于后排座椅上的情况下，发出告警，有效提高了儿童乘车时安全状态识别的准确率，有利于提升儿童乘车的安全性。

Claims (19)

  1. 一种儿童状态检测方法，包括：
    获取车舱内的目标图像；
    识别所述目标图像中的儿童；
    基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上；
    在所述儿童未位于车舱内的后排座椅上的情况下，发出告警。
  2. 根据权利要求1所述的儿童状态检测方法，其中，还包括：
    基于所述儿童的位置信息和所述目标图像中的安全座椅的位置信息，确定所述儿童是否位于安全座椅上；
    在所述儿童未位于安全座椅上的情况下，响应于所述车舱的移动速度大于预设值，发出告警。
  3. 根据权利要求1所述的儿童状态检测方法，其中，所述方法还包括：
    对所述目标图像中的安全座椅进行识别；
    在确定车舱内没有安全座椅的情况下，响应于所述车舱的移动速度大于预设值，发出告警。
  4. 根据权利要求1所述的儿童状态检测方法，其中，所述识别所述目标图像中的儿童，还包括：
    识别所述儿童的状态特征信息；
    基于所述状态特征信息，调整所述车舱内的车舱环境。
  5. 根据权利要求1所述的儿童状态检测方法，其中，所述识别所述目标图像中的儿童，包括：
    基于所述目标图像，确定所述目标图像中的各个对象的对象信息；一个对象的对象信息包括该对象的中心点信息和该对象的中心点对应的对象类型信息；
    基于确定的各个对象的对象信息，确定所述目标图像中的儿童。
  6. 根据权利要求5所述的儿童状态检测方法，其中，所述基于所述目标图像，确定所述目标图像中的各个对象的对象信息，包括：
    对所述目标图像进行特征提取，得到所述目标图像对应的第一特征图；
    从所述第一特征图的第一预设通道中，获取所述第一特征图中每个特征点作为对象中心点的响应值；
    将所述第一特征图分割为多个子区域，并确定每个子区域内最大的响应值和最大的响应值对应的特征点；
    将最大的响应值大于预设阈值的目标特征点作为对象的中心点，并基于所述目标特征点在第一特征图上的位置索引确定对象的中心点的位置信息。
  7. 根据权利要求6所述的儿童状态检测方法，其中，所述对象的中心点信息还包括对象的中心点的长度信息和宽度信息；所述基于所述目标图像，确定所述目标图像中所包括的各个对象的对象信息，还包括：
    从所述第一特征图的第二预设通道中，所述目标特征点的位置索引对应的位置 处，获取所述目标特征点对应的对象的中心点的长度信息；
    从所述第一特征图的第三预设通道中，所述目标特征点的位置索引对应的位置处，获取所述目标特征点对应的对象的中心点的宽度信息。
  8. 根据权利要求6所述的儿童状态检测方法，其中，所述基于所述目标图像，确定所述目标图像中所包括的各个对象的对象信息，还包括：
    对所述目标图像进行特征提取，得到所述目标图像对应的第二特征图；
    基于所述目标特征点在第一特征图上的位置索引，确定所述目标特征点在所述第二特征图上的位置索引；
    从所述目标特征点在所述第二特征图上的位置索引对应的位置处，获取所述目标特征点对应的对象类型信息。
  9. 根据权利要求5至8任一项所述的儿童状态检测方法，其中，所述对象包括人脸和人体；
    所述基于确定的各个对象的对象信息，确定所述目标图像中的儿童，包括：
    基于每个人体的中心点对应的位置偏移信息，分别确定与每个人体相匹配的人脸的中心点的预测位置信息；其中，属于同一个人的人体和人脸相匹配；
    基于确定的预测位置信息和每个人脸的中心点的位置信息，确定与每个人体相匹配的人脸；
    对于匹配成功的人体和人脸，利用匹配成功的人体的中心点对应的对象类型信息和人脸的中心点对应的对象类型信息，确定该匹配成功的人体和人脸所属的人是否为儿童。
  10. 根据权利要求9所述的儿童状态检测方法，其中，所述方法还包括：
    对于未匹配成功的人体，利用该人体的中心点对应的对象类型信息确定该人体的中心点所属的人是否为儿童；
    对于未匹配成功的人脸，利用该人脸的中心点对应的对象类型信息，确定该人脸的中心点所属的人是否为儿童。
  11. 根据权利要求4所述的儿童状态检测方法，其中，所述状态特征信息包括儿童的睡眠状态特征信息；
    所述识别所述儿童的状态特征信息，包括：
    从所述目标图像中截取儿童的脸部子图像；
    基于所述脸部子图像，确定儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息；
    基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息。
  12. 根据权利要求11所述的儿童状态检测方法，其中，所述基于儿童的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定儿童的睡眠状态特征信息，包括：
    基于连续多帧所述目标图像对应的左眼睁闭眼状态信息和右眼睁闭眼状态信息，确定所述儿童的闭眼累积时长；
    在所述闭眼累积时长大于预设阈值时，确定所述睡眠状态特征信息为睡眠状态；
    在所述闭眼累积时长小于或等于预设阈值时，确定所述睡眠状态特征信息为非睡眠状态。
  13. 根据权利要求4所述的儿童状态检测方法，其中，所述状态特征信息包括儿童的情绪状态特征信息；
    所述识别所述儿童的状态特征信息，包括：
    从所述目标图像中截取儿童的脸部子图像；
    识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作；
    基于识别到的所述每个器官的动作，确定所述脸部子图像代表的人脸上的情绪状态特征信息。
  14. 根据权利要求13所述的儿童状态检测方法，其中，人脸上的器官的动作包括：
    皱眉、瞪眼、嘴角上扬、上唇上抬、嘴角向下、张嘴。
  15. 根据权利要求11或12所述的儿童状态检测方法，其中，所述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作的步骤，由用于进行动作识别的神经网络执行，所述用于进行动作识别的神经网络包括主干网络和至少两个分类分支网络，每个分类分支网络用于识别人脸上的一个器官的一种动作；
    所述识别所述脸部子图像代表的人脸上的至少两个器官中每个器官的动作，包括：
    利用主干网络对所述脸部子图像进行特征提取，得到所述脸部子图像的特征图；
    分别利用每个分类分支网络根据所述脸部子图像的特征图进行动作识别，得到每个分类分支网络能够识别的动作的发生概率；
    将发生概率大于预设概率的动作确定为所述脸部子图像代表的人脸上的器官的动作。
  16. 一种儿童状态检测装置，包括：
    图像获取模块，配置为获取车舱内的目标图像；
    儿童识别模块，配置为识别所述目标图像中的儿童；
    位置判定模块，配置为基于所述儿童的位置信息，确定所述儿童是否位于车舱内的后排座椅上；
    预警模块，配置为在所述儿童未位于车舱内的后排座椅上的情况下，发出告警。
  17. 一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至15任一所述的儿童状态检测方法。
  18. 一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至15任一所述的儿童状态检测方法。
  19. 一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行用于实现权利要求1至15任一项所述的儿童状态检测方法。
PCT/CN2020/136250 2020-03-30 2020-12-14 儿童状态检测方法及装置、电子设备、存储介质 WO2021196738A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020217034715A KR20210142177A (ko) 2020-03-30 2020-12-14 어린이 상태 검출 방법 및 장치, 전자 기기, 메모리
JP2021557464A JP7259078B2 (ja) 2020-03-30 2020-12-14 子供状態検出方法及び装置、電子機器、記憶媒体
SG11202113260SA SG11202113260SA (en) 2020-03-30 2020-12-14 Method and apparatus for detecting child status, electronic device, and storage medium
US17/536,802 US20220084384A1 (en) 2020-03-30 2021-11-29 Method and apparatus for detecting child status, electronic device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010239259.7 2020-03-30
CN202010239259.7A CN111439170B (zh) 2020-03-30 2020-03-30 儿童状态检测方法及装置、电子设备、存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/536,802 Continuation US20220084384A1 (en) 2020-03-30 2021-11-29 Method and apparatus for detecting child status, electronic device, and storage medium

Publications (1)

Publication Number Publication Date
WO2021196738A1 true WO2021196738A1 (zh) 2021-10-07

Family

ID=71649227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/136250 WO2021196738A1 (zh) 2020-03-30 2020-12-14 儿童状态检测方法及装置、电子设备、存储介质

Country Status (6)

Country Link
US (1) US20220084384A1 (zh)
JP (1) JP7259078B2 (zh)
KR (1) KR20210142177A (zh)
CN (1) CN111439170B (zh)
SG (1) SG11202113260SA (zh)
WO (1) WO2021196738A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998871A (zh) * 2022-06-07 2022-09-02 东风汽车集团股份有限公司 一种车内哄娃模式实现系统及实现方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111439170B (zh) * 2020-03-30 2021-09-17 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质
KR20220004156A (ko) * 2020-03-30 2022-01-11 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드 디지털 휴먼에 기반한 자동차 캐빈 인터랙션 방법, 장치 및 차량
CN112085701B (zh) * 2020-08-05 2024-06-11 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN111931640B (zh) * 2020-08-07 2022-06-10 上海商汤临港智能科技有限公司 异常坐姿识别方法、装置、电子设备及存储介质
CN111931639B (zh) * 2020-08-07 2024-06-11 上海商汤临港智能科技有限公司 驾驶员行为检测方法、装置、电子设备及存储介质
CN112001348A (zh) * 2020-08-31 2020-11-27 上海商汤临港智能科技有限公司 车舱内的乘员检测方法及装置、电子设备和存储介质
CN112418243A (zh) * 2020-10-28 2021-02-26 北京迈格威科技有限公司 特征提取方法、装置及电子设备
CN113581187A (zh) * 2021-08-06 2021-11-02 阿尔特汽车技术股份有限公司 用于车辆的控制方法及相应的系统、车辆、设备和介质
CN113920492A (zh) * 2021-10-29 2022-01-11 上海商汤临港智能科技有限公司 车内人员检测方法及装置、电子设备和存储介质
CN115284976B (zh) * 2022-08-10 2023-09-12 东风柳州汽车有限公司 车辆座椅自动调节方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020011722A1 (en) * 2000-07-12 2002-01-31 Siemens Ag, Automotive Systems Group Vehicle occupant weight classification system
CN103043003A (zh) * 2012-12-24 2013-04-17 朱佩芬 车载儿童安全保障系统
CN103359038A (zh) * 2013-08-05 2013-10-23 北京汽车股份有限公司 一种识别儿童坐副驾驶位置的方法、系统及汽车
CN107229893A (zh) * 2016-03-24 2017-10-03 杭州海康威视数字技术股份有限公司 一种检测车辆的副驾驶室中是否存在儿童的方法及装置
CN109740516A (zh) * 2018-12-29 2019-05-10 深圳市商汤科技有限公司 一种用户识别方法、装置、电子设备及存储介质
CN110135300A (zh) * 2019-04-30 2019-08-16 信利光电股份有限公司 儿童安全监控方法、装置、计算机设备及计算机可读存储介质
CN110826521A (zh) * 2019-11-15 2020-02-21 爱驰汽车有限公司 驾驶员疲劳状态识别方法、系统、电子设备和存储介质
CN111439170A (zh) * 2020-03-30 2020-07-24 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007662B2 (ja) * 1998-01-12 2007-11-14 本田技研工業株式会社 乗員検知装置
JP4702100B2 (ja) 2006-02-27 2011-06-15 トヨタ自動車株式会社 居眠り判定装置および居眠り運転警告装置
US20140361889A1 (en) * 2012-11-26 2014-12-11 II Billy Russell Wall Child Occupancy Monitoring System for a Vehicle Seat
JP2017110990A (ja) 2015-12-16 2017-06-22 アルパイン株式会社 走行支援装置および走行支援方法
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警系统
JP2019123354A (ja) 2018-01-16 2019-07-25 株式会社デンソー 乗員検知装置
US10838425B2 (en) 2018-02-21 2020-11-17 Waymo Llc Determining and responding to an internal status of a vehicle
WO2019180876A1 (ja) 2018-03-22 2019-09-26 三菱電機株式会社 体格推定装置および体格推定方法
CN114821546A (zh) * 2019-10-22 2022-07-29 上海商汤智能科技有限公司 车舱内图像处理方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020011722A1 (en) * 2000-07-12 2002-01-31 Siemens Ag, Automotive Systems Group Vehicle occupant weight classification system
CN103043003A (zh) * 2012-12-24 2013-04-17 朱佩芬 车载儿童安全保障系统
CN103359038A (zh) * 2013-08-05 2013-10-23 北京汽车股份有限公司 一种识别儿童坐副驾驶位置的方法、系统及汽车
CN107229893A (zh) * 2016-03-24 2017-10-03 杭州海康威视数字技术股份有限公司 一种检测车辆的副驾驶室中是否存在儿童的方法及装置
CN109740516A (zh) * 2018-12-29 2019-05-10 深圳市商汤科技有限公司 一种用户识别方法、装置、电子设备及存储介质
CN110135300A (zh) * 2019-04-30 2019-08-16 信利光电股份有限公司 儿童安全监控方法、装置、计算机设备及计算机可读存储介质
CN110826521A (zh) * 2019-11-15 2020-02-21 爱驰汽车有限公司 驾驶员疲劳状态识别方法、系统、电子设备和存储介质
CN111439170A (zh) * 2020-03-30 2020-07-24 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998871A (zh) * 2022-06-07 2022-09-02 东风汽车集团股份有限公司 一种车内哄娃模式实现系统及实现方法

Also Published As

Publication number Publication date
US20220084384A1 (en) 2022-03-17
KR20210142177A (ko) 2021-11-24
CN111439170B (zh) 2021-09-17
CN111439170A (zh) 2020-07-24
JP7259078B2 (ja) 2023-04-17
JP2022530605A (ja) 2022-06-30
SG11202113260SA (en) 2021-12-30

Similar Documents

Publication Publication Date Title
WO2021196738A1 (zh) 儿童状态检测方法及装置、电子设备、存储介质
US11151363B2 (en) Expression recognition method, apparatus, electronic device, and storage medium
US20210012127A1 (en) Action recognition method and apparatus, driving action analysis method and apparatus, and storage medium
Mbouna et al. Visual analysis of eye state and head pose for driver alertness monitoring
WO2019095571A1 (zh) 人物情绪分析方法、装置及存储介质
US11403879B2 (en) Method and apparatus for child state analysis, vehicle, electronic device, and storage medium
US20220084316A1 (en) Method and electronic device for recognizing abnormal sitting posture, and storage medium
US20230081982A1 (en) Image processing method and apparatus, computer device, storage medium, and computer program product
CN110569756A (zh) 人脸识别模型构建方法、识别方法、设备和存储介质
WO2018218839A1 (zh) 一种活体识别方法和系统
CN111439267B (zh) 一种舱内环境的调整方法及装置
CN108416291B (zh) 人脸检测识别方法、装置和系统
WO2021139167A1 (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN111062292A (zh) 一种疲劳驾驶检测装置与方法
CN113392699A (zh) 用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备
CN113168680A (zh) 状态判定装置、状态判定方法以及状态判定程序
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN113627256A (zh) 基于眨眼同步及双目移动检测的伪造视频检验方法及系统
CN115331205A (zh) 一种云边协同的驾驶员疲劳检测系统
Chalup et al. Simulating pareidolia of faces for architectural image analysis
CN112115790A (zh) 人脸识别方法、装置、可读存储介质和电子设备
WO2023160075A1 (zh) 图像修复方法、装置、设备和介质
CN116740792A (zh) 一种观光车作业人员人脸识别方法及系统
Zheng et al. Multi-angle face detection based on DP-Adaboost
Borah et al. ANN based human facial expression recognition in color images

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021557464

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20217034715

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20928200

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20928200

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 30.03.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20928200

Country of ref document: EP

Kind code of ref document: A1