WO2020078462A1 - 乘客状态分析方法和装置、车辆、电子设备、存储介质 - Google Patents

乘客状态分析方法和装置、车辆、电子设备、存储介质 Download PDF

Info

Publication number
WO2020078462A1
WO2020078462A1 PCT/CN2019/111929 CN2019111929W WO2020078462A1 WO 2020078462 A1 WO2020078462 A1 WO 2020078462A1 CN 2019111929 W CN2019111929 W CN 2019111929W WO 2020078462 A1 WO2020078462 A1 WO 2020078462A1
Authority
WO
WIPO (PCT)
Prior art keywords
child
passenger
image
vehicle
information
Prior art date
Application number
PCT/CN2019/111929
Other languages
English (en)
French (fr)
Inventor
易成名
梁冠华
韦阳
秦仁波
于晨笛
Original Assignee
上海商汤智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海商汤智能科技有限公司 filed Critical 上海商汤智能科技有限公司
Priority to KR1020207014873A priority Critical patent/KR102446686B1/ko
Priority to SG11202004942RA priority patent/SG11202004942RA/en
Priority to JP2020528320A priority patent/JP2021504814A/ja
Publication of WO2020078462A1 publication Critical patent/WO2020078462A1/zh
Priority to US16/882,844 priority patent/US11386676B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B60R2300/8013—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo for child monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Abstract

本申请实施例公开了乘客状态分析方法和装置、车辆、电子设备、存储介质，其中，方法包括：获取车内后排座椅区域的视频流；对所述视频流中的至少一帧图像进行人脸和/或人体检测；根据人脸和/或人体检测的结果确定所述后排座椅区域的乘客的状态信息；响应于所述乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息。

Description

乘客状态分析方法和装置、车辆、电子设备、存储介质
本申请要求在2018年10月19日提交中国专利局、申请号为CN201811224257.X、发明名称为“乘客状态分析方法和装置、车辆、电子设备、存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机视觉技术，尤其是一种乘客状态分析方法和装置、车辆、电子设备、存储介质。
背景技术
现实生活中，驾驶员在驾驶车辆时，其驾驶状态是影响到驾驶安全问题的重要因素。为保障驾驶过程中的驾驶安全，需要对驾驶员的驾驶状态进行监测，并依据其监测结果协调控制车辆的行车状态。
发明内容
本申请实施例提供了一种乘客状态分析技术方案。
根据本申请实施例的一个方面，提供的一种乘客状态分析方法，包括：
获取车内后排座椅区域的视频流；
对所述视频流中的至少一帧图像进行人脸和/或人体检测；
根据人脸和/或人体检测的结果确定所述后排座椅区域的乘客的状态信息；
响应于所述乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息。
根据本申请实施例的另一个方面，提供的一种乘客状态分析装置，包括：
视频采集单元，用于获取车内后排座椅区域的视频流；
图像检测单元，用于对所述视频流中的至少一帧图像进行人脸和/或人体检测；
状态确定单元，用于根据人脸和/或人体检测的结果确定所述后排座椅区域的乘客的状态信息；
信息提示单元，用于响应于所述乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息。
根据本申请实施例的又一个方面，提供的一种车辆，包括上述任意一项实施例所述的乘客状态分析装置。
根据本申请实施例的还一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的乘客状态分析装置。
根据本申请实施例的再一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述乘客状态分析方法的操作。
根据本申请实施例的又一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述乘客状态分析方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述乘客状态分析方法的指令。
基于本申请上述实施例提供的一种乘客状态分析方法和装置、车辆、电子设备、存储介质，获取车 内后排座椅区域的视频流；对视频流中的至少一帧图像进行人脸和/或人体检测；根据人脸和/或人体检测的结果确定后排座椅区域的乘客的状态信息；响应于乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息，通过对乘客的状态进行分析，结合提示信息可减少意外情况的发生，提高了乘客乘车的安全性和舒适性。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请实施例提供的乘客状态分析方法的一个流程示意图。
图2为本申请实施例提供的乘客状态分析方法的另一流程示意图。
图3为本申请实施例提供的乘客状态分析方法的一个可选示例的流程示意图。
图4为本申请实施例提供的乘客状态分析方法的另一个可选示例的流程示意图。
图5为本申请实施例提供的乘客状态分析方法的又一个可选示例的流程示意图。
图6为本申请实施例提供的乘客状态分析方法的还一个可选示例的流程示意图。
图7为本申请实施例提供的乘客状态分析装置的一个结构示意图。
图8为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：车载设备、个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本申请实施例提供的乘客状态分析方法的一个流程示意图。该方法可以由任意电子设备执行，例如终端设备、服务器、移动设备、车载设备等等，本申请实施例对此不做限定。如图1所示，该实施例方法包括：
步骤110，获取车内后排座椅区域的视频流。
本申请实施例中所指车辆可以包括各种型号的载人车辆，例如：小型汽车、小客车、大客车等。这些车辆中除驾驶员外还可以包括至少一个乘客，本实施例中的乘客是指车室内位于非驾驶员座位区域的人员；乘客的位置与驾驶员的位置有明显区分，本申请实施例将乘客座椅区域称为后排座椅区域，即，车室内位于车内驾驶区域之后的座椅区域，称为后排座椅区域，并不一定是最后一排，也可能是中间排；通过对后排座椅区域进行采集获得包括乘客的视频流，以实现对车内乘客的状态分析。
在一个可选示例中，该步骤110可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的视频采集单元71执行。
步骤120，对视频流中的至少一帧图像进行人脸和/或人体检测。
可选地，乘客在车内的状态不仅包括通过面部表情确定的状态，还可以包括基于肢体动作确定的状态，因此，本申请实施例中通过对人脸和/或人体进行检测，来实现对乘客状态的分析，提高了乘客状态检测的准确率，减少由于状态漏检导致的意外，例如：乘客面部处于正常状态，而将手伸出车窗，这时仅进行人脸检测，将错过对危险动作的报警；又例如：当乘客身体不动，面部出现呕吐或痛苦等症状，这时仅进行人体检测，将错过对乘客异常状态的报警；因此，本申请实施例对人脸和/或人体进行检测，具体对人脸、人体、还是人脸和人体一起检测可根据获得的乘客图像中哪部分包括异常内容决定。可选地，本申请各实施例中的神经网络，分别可以是一个多层神经网络(即：深度神经网络)，其中的神经网络可以是多层的卷积神经网络，例如可以是LeNet、AlexNet、GoogLeNet、VGG、ResNet等任意神经网络模型。各神经网络可以采用相同类型和结构的神经网络，也可以采用不同类型和/或结构的神经网络。本申请实施例不对此进行限制。
可选地，可通过一个或两个经过训练的神经网络实现对人脸和/或人体的检测，以获得乘客的人脸和/或人体的检测结果，本申请实施例不限制具体的检测过程。
在一个可选示例中，该步骤120可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的图像检测单元72执行。
步骤130，根据人脸和/或人体检测的结果确定后排座椅区域的乘客的状态信息。
在一个或多个可选的实施例中，通过对人脸和/或人体检测的结果进行分析或统计以获得乘客的状态信息，例如：统计检测结果中的闭眼时间，当闭眼时间达到设定时间或者闭眼的累计时间占统计时间窗的比例超过设定阈值时，可认为该乘客的状态为睡眠状态。
在一个可选示例中，该步骤130可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的状态确定单元73执行。
步骤140，响应于乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息。
可选地，提示信息可以包括但不限于以下至少一种表现形式：声音提示信息(如：报警音、人声提示等)、振动提示信息(如：控制驾驶员座椅振动、控制其他设备振动等)、显示提示信息(如显示视频流中与提示内容相关的图像帧、显示文字或字符提示信息等)、气味提示信息(如：向驾驶员位置发出刺激性气味等)等等。以上提示信息可单独采用或结合使用，以提高接收者能准确及时的接收到提示信息的概率。
可选地，为了提高乘客的实时安全性，可在车内的驾驶员区域中驾驶员视线范围内设置显示设备，使驾驶员可实时获得提示信息，及时对乘客状态进行处理，以提高乘客的安全性。
在一个可选示例中，该步骤140可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的信息提示单元74执行。
基于本申请上述实施例提供的一种乘客状态分析方法，获取车内后排座椅区域的视频流；对视频流中的至少一帧图像进行人脸和/或人体检测；根据人脸和/或人体检测的结果确定后排座椅区域的乘客的状态信息；响应于乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息，通过对乘客的状态进行分析，结合提示信息可减少意外情况的发生，提高了乘客乘车的安全性和舒适性。由于后排座椅区域是驾驶员视线范围之外的区域，通过该区域人员的状态分析，可将有效信息或驾驶员关心的信息及时提示给驾驶员，使得驾驶员再通常情形下可以专心驾驶，减少分心驾驶因素，提高驾驶安全性；此外还可以及时发现异常信息或驾驶员关注的信息，以便驾驶员可以及时采取措施处理，提高用户体验。
图2为本申请实施例提供的乘客状态分析方法的另一个流程示意图。如图2所示，本实施例方法包括：
步骤210，获取车内后排座椅区域的视频流。
步骤220，对视频流中的至少一帧图像进行人脸和/或人体检测。
本申请实施例中步骤210和步骤220与上述实施例的步骤110和步骤120类似，可参照上述实施例对该步骤进行理解，在此不再赘述。
步骤230，根据人脸和/或人体检测的结果，确定乘客是否处于异常状态和/或乘客是否做出危险动作。
本申请实施例中，乘客处于异常状态和/或做出危险动作，可能导致乘客的安全或车辆的安全受到威胁，此时，如果不能及时对乘客的状态进行处理，将导致较严重的后果。
在一个或多个可选的实施例中，异常状态可以包括但不限于以下至少之一：暴躁、呕吐、噎食、咳嗽、痛苦、哭泣、睡着、睡醒等。
可选地，由于异常状态通常不能仅基于一帧图像的检测结果确定，为了确定乘客是否处于异常状态，可以对人脸和/或人体检测的结果进行统计或分析，例如：统计检测结果中的闭眼时间，当闭眼时间达到设定时间，可认为该乘客的状态为睡眠状态；或者可基于训练好的分类神经网络实现，基于该训练好的分类神经网络，可基于人脸和/或人体检测的结果直接获得是否处于异常状态的分类结果；本申请实施例不限制获得乘客是否处于异常状态的具体手段。
可选地，小孩属于特殊乘客，由于小孩的状态不稳定，并且容易受到外界干扰而发生意外状态，并且当乘客是小孩时，小孩的状态可能会对驾驶员的状态产生影响，例如：小孩在哭泣，会使驾驶员分心，无法实现安全驾驶，或者，小孩在座位上乱动而驾驶员未及时发现，会导致小孩发生危险。
在一个或多个可选的实施例中，危险动作可以包括但不限于以下至少之一：开车门、手持器械、解开安全带、将部分身体伸出车窗、离开指定区域、抽烟等。
可选地，在车辆行驶过程中，如乘客出现威胁自身或其他乘客及驾驶员人身安全的动作时，可认为该乘客做出了危险动作，当出现这些危险动作时，需要驾驶员或其他乘客或其他相关人员进行及时制止，以防止意外发生，例如，在设有禁烟设备的车辆内，抽烟会触发禁烟设备(如烟雾报警器等)；确定乘客是否做出危险动作可对人脸和/或人体检测的结果进行统计或分析，例如：统计检测结果中的手在车门开关处，当手在车门开关处的时间达到设定时间，可认为该乘客做出了开车门的危险动作；或者可基于训练好的分类神经网络实现，基于该训练好的分类神经网络，可基于人脸和/或人体检测的结果直接获得乘客是否做出危险动作的分类结果；本申请实施例不限制获得乘客是否做出危险动作的具体手段。
可选地，由于小孩的特殊性，小孩的异常状态中的离开指定区域可以是离开儿童座椅，当小孩离开 儿童座椅将无法保障其乘车安全，儿童座椅能够为小孩提供乘车安全的保障，按照国家标准的《机动车儿童乘员用约束系统》，小孩乘车时，需要坐于儿童座椅上；而对于大人的离开指定区域(例如：大客车上的固定座位等)，可能是站立或到其他座位上，可能会危害到其他乘客的利益，同样需要及时制止。
步骤240，响应于乘客出现异常状态、乘客做出危险动作、乘客处于异常状态达到预设时间或者乘客处于危险动作状态达到预设时间，向车内的驾驶员区域或者指定设备输出提示信息。
本申请实施例中，乘客的不同的异常状态和危险动作具有不同的紧急性，有些异常状态和危险动作一旦出现，需要马上处理，否则会产生较为严重的后果，例如：乘客处于噎食状态，如不及时处理可能危害乘客的生命安全，需要及时处理，或乘客将部分身体伸出车窗，由于车辆处于行驶中，随时可能与其他车辆交错，导致乘客发生危险，需要及时制止该乘客的危险动作；而有些异常状态和危险动作的紧急性不高，可以在出现一段时间后再进行处理，例如：乘客处于咳嗽状态，可能是由于生病或其他原因引起，但短时间的咳嗽可能属于乘客的正常行为或慢性病，处理人员的干预无法产生明显效果，并且其危险性较小，只有当咳嗽的持续时间达到设定时间，说明属于特殊情况，需要处理人员进行正确干预，以保障乘客安全；较为特殊的，当乘客是小孩时，小孩的紧急性要比大人高；根据紧急性的不同可以使处理人员能够对同时出现的多个状态依次处理，而不会因为同时提示信息太多而忙乱出错，例如：车内同时出现将部分身体伸出车窗的乘客和咳嗽的乘客，将先针对将部分身体伸出车窗发出提示信息，当咳嗽持续达到预设时间时，再发出提示信息。
在一个或多个可选的实施例中，乘客包括以下至少之一：大人、小孩。
即乘客是小孩或大人，本申请实施例中所指小孩，可以包括但不限于儿童、婴儿、幼儿等；而确定图像中的人是否为小孩，可以将通常公众视觉上认为是小孩的人确定为小孩，也可以将参考年龄或自定义年龄以下的人确定为小孩，例如：参考年龄可以是法律规定的小孩年龄(如12岁)，或可以将自定义年龄设置为3岁、6岁或8岁等等，本申请实施例不限制小孩的具体年龄，可根据具体情况自定义不同年龄段作为小孩，例如：在幼儿园将6岁以下的小孩，而在乘车时将12岁以下定义为小孩。大人可以包括但不限于：不属于小孩的未成年人、成年人，其中，成年人又可以根据年龄段分为多种，例如：少年人、青年人、中年人、老年人等等。
本申请实施例中的乘客可以是通常意义上的乘车人员，也可以是需要特殊关注的人，例如：老人、病人、孕妇、残疾人、行动不便的人等等。其中，乘客和驾驶员可以有特定关系，例如：家庭成员关系；也可以没有特定关系，例如：作为公共交通工具上的车辆上的驾驶员和乘客。
在一个或多个可选的实施例中，人脸和/或人体检测的结果可以包括但不限于以下至少之一：是否有人脸、是否有人体、睁眼、闭眼、表情、年龄、张嘴、闭嘴、肢体动作。
乘客的状态由人脸和/或人体检测的结果确定，因此，本申请实施例中的人脸和/或人体检测的结果为与人的状态相关的检测结果，基于以上至少一个检测结果可以确定人的状态，例如：基于闭眼状态确定乘客是否处于睡着状态，根据闭眼和睁眼状态确定乘客是否处于睡醒状态，根据指定区域是否有人体或是否有人脸，确定乘客是否离开指定区域。
图3为本申请实施例提供的乘客状态分析方法的一个可选示例的流程示意图。在本可选示例中乘客包括小孩；后排座椅区域包括儿童座椅区域；如图3所示，本实施例方法包括：
步骤310，获取车内后排座椅区域的视频流。
步骤320，对视频流中的至少一帧图像进行人脸和/或人体检测，确定图像中是否有人脸和/或是否有人体。
本申请实施例中步骤310和步骤320与上述实施例的步骤110和步骤120类似，可参照上述实施例对该步骤进行理解，在此不再赘述。
步骤320与上述步骤120的区别仅在于获得的检测结果包括是否有人脸、是否有人体中的至少之一，通过限制检测结果获得针对小孩的一种情况的状态，以提高对小孩的状态进行处理的效率。
步骤330，根据人脸和/或人体检测的结果确定小孩是否位于儿童座椅上。
可选地，根据儿童座椅区域是否有人脸和/或是否有人体，即可确定小孩是否位于儿童座椅上，特殊的，当小孩位于儿童座椅上时，可能由于其他物体(如：被子、毯子等)遮挡其身体部位，因此，在身体被遮挡的情况下，可选择通过是否有人脸判断小孩是否在儿童座椅上，或是否有人脸和是否有人体判断小孩是否在儿童座椅上，以提高检测结果的准确性。
步骤340，响应于小孩离开儿童座椅或者儿童座椅上无小孩状态超过预设时间，向车内的驾驶员区域或者指定设备输出提示信息。
为了提高小孩的安全性，儿童座椅通常固定在车辆座椅上，固定之后，儿童座椅的位置就已经确定，小孩离开儿童座椅或者儿童座椅上无小孩状态超过预设时间，说明小孩未坐于儿童座椅上，在车辆行进时，小孩未坐于儿童座椅上是十分危险的，需要按照本申请实施例提供的提示信息对小孩进行安置，以提高小孩乘车的安全性。
图4为本申请实施例提供的乘客状态分析方法的另一个可选示例的流程示意图。在本可选示例中乘客包括小孩；如图4所示，本实施例方法包括：
步骤410，获取车内后排座椅区域的视频流。
步骤420，对视频流中的至少一帧图像进行人脸和/或人体检测。
本申请实施例中步骤410和步骤420与上述实施例的步骤110和步骤120类似，可参照上述实施例对该步骤进行理解，在此不再赘述。
步骤430，根据人脸和/或人体检测的结果确定小孩是否哭泣。
本实施例中，判断小孩是否处于哭泣状态，可由经过训练的神经网络实现，或其他方式确定小孩是否哭泣，本申请实施例不限制确定小孩是否哭泣的具体手段；例如：可以利用经过训练的分类网络判断小孩是否哭泣，该分类网络可以包括两个类别(哭泣和非哭泣)；该分类网络可以直接对人脸图像进行处理，也可以对人脸图像对应的人脸特征进行处理，该人脸特征是人脸图像经过特征提取获得的。
步骤440，响应于小孩出现哭泣或者小孩处于哭泣状态达到预设时间，向车内的驾驶员区域或者指定设备输出提示信息。
由于小孩的情绪和身体状况处于不稳定状态，随时会发生改变，小孩处于不同状态时，需要合理操作，以减少小孩产生不适或影响驾驶安全，例如：当小孩处于哭泣状态时，需要及时处理(例如：及时安抚小孩等)，以降低异常状态对小孩产生伤害。
图5为本申请实施例提供的乘客状态分析方法的又一个可选示例的流程示意图。在本可选示例中乘客包括小孩；如图5所示，本实施例方法包括：
步骤510，获取车内后排座椅区域的视频流。
本申请实施例中步骤510与上述实施例的步骤110类似，可参照上述实施例对该步骤进行理解，在此不再赘述。
步骤520，对视频流中的至少一帧图像进行人脸检测，确定图像中乘客是否睁眼和/或闭眼。
可选地，由于眼睛在人脸上，因此，本申请实施例为了确定乘客的睁眼和/或闭眼的状态，只需对图像进行人脸检测，就可以确定乘客是否睁眼和/或闭眼，对视频流确定乘客的眼睛状态，可以基于至少一帧图像中睁眼或闭眼的状态确定。
步骤530，根据预定时间窗内小孩的睁眼和/或闭眼的状态统计分析结果，确定小孩是否处于睡着状态或者处于睡醒状态。
可选地，小孩的眼睛状态通常仅包括睁眼和闭眼两种状态，当闭眼状态持续设定时间，可认为小孩处于睡着状态，由于本申请实施例通过视频流进行分析小孩的状态，基于视频流中的连续帧对小孩的睁眼或闭眼状态进行统计，即可确定小孩睁眼或闭眼的持续时间；而由持续闭眼状态转变为睁眼状态，或者由持续闭眼状态转变为多次在睁眼状态和闭眼状态之间进行转换，可认为小孩处于睡醒状态。
步骤540，响应于小孩处于睡着状态、处于睡着状态达到预定时间、处于睡醒状态或者处于睡醒状态达到预定时间，向车内的驾驶员区域或者指定设备输出提示信息。
小孩处于睡着状态和睡醒状态属于紧急级别较低的情况，可以即时发出提示信息，或在小孩处于睡着状态达到预定时间、小孩处于睡醒状态达到预定时间时再发出提示信息，其中睡着状态对应的预定时间和睡醒状态对应的预定时间可以相同或不同。
在一个或多个可选的实施例中，人脸和/或人体检测的结果包括：乘客是否为小孩的分类结果；
步骤120包括：
提取视频流中的至少一帧图像的人脸和/或人体特征；基于提取的特征进行乘客是否为小孩的分类处理。
可选地，由于小孩属于特殊群体，例如：小孩乘车时需要坐于儿童座椅内，因此，在对乘客状态进行分析时，将乘客分类为小孩和非小孩，非小孩即可表示其为大人；为了确定是否是小孩，可以基于训练好的分类网络之间输出是否是小孩的结果；也可以基于训练好的神经网络对乘客的年龄进行识别，当该乘客的年龄小于或等于预设年龄时，确定该乘客为小孩，当该乘客的年龄大于预设年龄时，确定该乘客为非小孩，本实施例中预设年龄可根据实际情况进行设定，并且，可根据需要设定多个预设年龄，使小孩的年龄分割为多个不同年龄段，例如：在幼儿园校车上，可将7岁以下小孩分成至少两个年龄段，如：0-3岁和3岁以上，0-3岁的小孩除了需要儿童座椅外，还需要大人看护，3-7岁的小孩比较好动，需要监控其座位位置；此时，预设年龄可包括第一预设年龄和第二预设年龄，第一预设年龄为3岁，第二预设年龄为7岁。
在一个或多个可选的实施例中，步骤120包括：经神经网络的特征提取分支对视频流中的至少一帧图像进行人脸特征提取和/或人体特征提取；
经神经网络中与特征提取分支连接的至少一个检测分支，基于特征提取分支提取的人脸特征和/或人体特征来确定人脸和/或人体检测的结果。
本申请实施例中，可以分别通过不同的检测分支实现人脸检测和人体检测，即通过一个检测分支获得人脸检测的结果，通过另一个检测分支获得人体检测的结果，通过至少一个检测分支连接特征提取分支，共享特征提取分支获得的特征获得人脸检测和人体检测的结果，加快了检测过程，节省了检测时间。
在一个或多个可选的实施例中，步骤120包括：经神经网络的特征提取分支对视频流中的至少一帧图像进行人脸特征提取和/或人体特征提取；
经神经网络中与特征提取分支连接的分类分支和至少一个检测分支，基于特征提取分支提取的人脸特征和/或人体特征来分别确定图像中的人是否是小孩以及人脸和/或人体检测的结果。
本申请实施例中增加了乘客是否是小孩的判断，可选地，本实施例中通过将人脸特征输入到分类分支中，确定乘客是否是小孩的分类结果(两种分类结果)，即确定乘客是小孩或不是小孩；共享人脸特征/或人体特征确定是否是小孩以及人脸和/或人体检测的结果，只经过一个特征提取过程，提高了检测和分类效率。
在一个或多个可选的实施例中，步骤120包括：经神经网络的特征提取分支对视频流中的至少一帧图像进行人脸特征提取；
经神经网络中与特征提取分支连接的分类分支，基于特征提取分支提取的人脸特征来确定图像中的 人是否是小孩；或者，
经神经网络中与特征提取分支连接的识别分支确定图像中的乘客的年龄，将年龄小于或等于预设年龄的乘客确定为小孩。
本申请实施例中，单独提出一个神经网络实现乘客是否是小孩的判断，可选的，通过一个分类分支基于人脸特征确定是否是小孩的分类结果，或通过识别分支基于人脸特征确定乘客的年龄，将年龄小于或等于预设年龄的乘客确定为小孩。
可选地，确定图像中的人是否是小孩的分类分支基于区分性别的小孩的标注数据预先训练完成。
本申请实施例中，对于图像中的人是否是小孩是通过分类分支实现的，该分类分支经过样本图像的训练，由于不同性别在脸部特征上的表现会有所不同，即，同样年龄的男孩和女孩，在进行识别年龄时，可能得到不同的结果，因此为了提高该分类分支的分类准确性，在训练该分类分支时，可将样本图像基于小孩的性别进行区分。
可选地，对视频流中的至少一帧图像进行人脸和/或人体检测之前，还包括：
利用样本图像对神经网络进行训练，样本图像具有小孩标注信息。
可选地，当神经网络包括特征提取分支及与特征提取分支连接的分类分支和至少一个检测分支时，样本图像除了小孩标注信息还包括检测标注信息，此时可基于神经网络获得的是否是小孩的预测结果和小孩标注信息确定第一损失，根据神经网络获得的检测预测信息和检测标注信息确定第二损失，通过第一损失和第二损失共同训练神经网络，例如，将第一损失和第二损失加权求和后训练神经网络。
可选地，当神经网络包括特征提取分支和分类分支，或特征提取分支和识别分支时，样本图像包括小孩标注信息即可，样本图像经过包括特征提取分支和分类分支的神经网络获得小孩分类预测结果，基于小孩分类预测结果和小孩标注信息确定网络损失，对神经网络进行训练；样本图像经过包括特征提取分支和识别分支的神经网络获得年龄预测结果，基于年龄预测结果确定是否是小孩的预测结果，基于是否是小孩的预测结果与小孩标注信息确定网络损失，对神经网络进行训练。
可选地，小孩标注信息表示样本图像中的人是否是小孩，响应于样本图像中的人的年龄或估计年龄大于参考图像中的人的年龄或估计年龄，样本图像的小孩标注信息表示为非小孩；响应于样本图像中的人的年龄或估计年龄小于或等于参考图像中的人的年龄或估计年龄，样本图像的小孩标注信息表示为小孩。
无论是通过人工判断估计年龄还是网络判断获得的人的年龄，都可能存在误差，因此，样本图像中的人的年龄可能是提供的按照出生年月计算获得的年龄，或根据人工判断或网络判断获得的估计年龄，参考图像中的人也可以采用年龄或估计年龄。
由于不同的人对于小孩的判断标准不同，会导致相同图像由不同人进行标注后得到的标注结果不同，因此，本实施例中，通过将样本图像与参考图像进行比较，以确定该样本图像中的人是否为小孩，减少了由于人工标注导致的判断标准不同，提高了样本图像的小孩标注信息的准确性，进而提高了训练网络的准确性；可选地，本实施例中判断样本图像中的人的年龄或估计年龄是否大于参考图像中的人的年龄或估计年龄可以通过人工实现，也可以通过训练好的神经网络实现。
可选地，参考图像包括男孩参考图像和女孩参考图像。
不同的性别对于小孩的判断标准也不相同，人们的视觉感知往往有较大的差异。因此，为了减少因性别差异带来的标注信息的误差，本实施例中对于男性和女性分别设置男孩参考图像和女孩参考图像，由此提高标注信息的可靠性。分别以两张不同的男孩参考图像和女孩参考图像作为标准，若比此参考图像中的人的年龄或估计年龄大，则判断为不是小孩；若比此参考图像中的人的年龄或估计年龄小，则判断为小孩。通过分为男性、女性来判断一张图像是否为小孩，降低小孩数据集的噪声，提高小孩数据集 的精确度。
在一个或多个可选的实施例中，步骤110包括：基于车内设置的车辆内部的至少一个摄像头采集获取后排座椅区域的视频流。
为了确定乘客的状态，以单独的图像作为分析基础会出现图像不清晰或表情出现变化等不准确的情况，为了提高状态分析的准确率，本实施例通过车辆内部的摄像头对车内的乘客图像进行采集，获得视频流，以该视频流中的至少一帧图像获得图像，以获得的图像实现对车辆内的乘客状态的监控。
可选地，本实施例的监控摄像头可以设置在车辆座椅前方，例如：对应每个车辆座椅分别设置一个摄像头，对每个车辆座椅的图像分别采集，以实现精准的位置识别，或者，在所有车辆座椅前方设置一个或多个摄像头，获得整个车辆内的图像(需要预设每个车辆座椅的位置)，以实现对每个座椅上的乘客识别。
在一个或多个可选的实施例中，步骤140包括：
响应于乘客的状态信息满足预定条件，向驾驶员视线范围内的设备和/或预先设定的设备输出提示信息。
可选地，提示信息可以包括至少一种提示信息，通过驾驶员视线范围内的设备显示信息时，可以使驾驶员或车内其他成员对车辆内情况及时查看，预先设定的设备可以包括设定的监护人手机、驾驶员手机、报警设备、其他终端设备等，预先设定的设备可以实现在车辆外的其他位置对车辆内的情况进行监控，例如：驾驶员临时离开车辆时，可通过终端设备(如：手机等)查看车辆内乘客尤其是小孩的状态，一旦接收到提示信息，可及时回到车辆，以应对突发状况。例如：在高速公路休息区时，想上厕所，但是又担心小孩在车内的情况，可以通过手机端APP开启智能后排监控功能。
在一个或多个可选的实施例中，本申请实施例方法还包括：
通过驾驶员视线范围内的设备和/或预先设定的设备显示包括但不限于以下至少一个信息：获取的视频流的至少一图像帧、检测结果。
除了提示信息，驾驶员视线范围内的设备和/或预先设定的设备还可以显示获取的视频流的至少一图像帧、检测结果等信息，通过这些信息驾驶员或其他人员可以自行分析获得所需信息，以实现对乘客状态进行了解。
在一个或多个可选的实施例中，获取车内后排座椅区域的视频流之前，本申请实施例方法还包括：
通过移动应用端或车载设备接收监控指令；
获取车内后排座椅区域的视频流，包括：根据监控指令获取车内后排座椅区域的视频流。
可选地，本实施例中的移动应用端可以是上述实施例中的预先设定的设备，即通过在预先设定的设备接收监控指令，再通过预先设定的设备接收提示信息，和/或采集到的视频流的至少一图像帧，和/或检测结果等信息，实现了将监控信息反馈给请求人，移动应用端可以包括手机、平板电脑等设备；本实施例中的车载设备可以是上述接收反馈的驾驶员视线范围内的设备，实现在驾驶员请求的情况下，将监控信息反馈给驾驶员，或者该车载设备是其他乘客位置的车载设备(触摸显示屏等)，实现根据其他乘客的请求，将监控信息反馈给驾驶员。
图6为本申请实施例提供的乘客状态分析方法的还一个可选示例的流程示意图。如图6所示，本实施例示例中，接收监控指令的移动应用端选择手机APP，或者将车载设备选择为前排人机界面(HMI，Human Machine Interface)触摸屏，通过前排人机界面(HMI，Human Machine Interface)触摸屏或者手机APP选择开启后排监控功能，然后可以选择是否需要查看监控画面与否。已开启后排监控功能后，软件系统会通过摄像头传入的视频数据判断当前后排座椅上的人年龄是否大于设定年龄(如12岁)，如果年龄小于设定年龄则会进行小孩状态监测和儿童座椅建议提示，小孩没有坐在儿童座椅上会提示建议 坐进儿童座椅中，如已坐入儿童座椅则对小孩是否睡着、是否哭、是否睡醒、是否中途离开了儿童座椅进行监测和报警(反馈到前排HMI或者手机APP)；对于大人状态监测，当年龄大于设定年龄时，前排HMI或者手机APP会显示大人的年龄、性别等监测信息。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图7为本申请实施例提供的乘客状态分析装置的一个结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图7所示，该实施例的装置包括：
视频采集单元71，用于获取车内后排座椅区域的视频流。
图像检测单元72，用于对视频流中的至少一帧图像进行人脸和/或人体检测。
状态确定单元73，用于根据人脸和/或人体检测的结果确定后排座椅区域的乘客的状态信息。
信息提示单元74，用于响应于乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息。
基于本申请上述实施例提供的一种乘客状态分析装置，获取车内后排座椅区域的视频流；对视频流中的至少一帧图像进行人脸和/或人体检测；根据人脸和/或人体检测的结果确定后排座椅区域的乘客的状态信息；响应于乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息，通过对乘客的状态进行分析，结合提示信息可减少意外情况的发生，提高了乘客乘车的安全性和舒适性。由于后排座椅区域是驾驶员视线范围之外的区域，通过该区域人员的状态分析，可将有效信息或驾驶员关心的信息及时提示给驾驶员，使得驾驶员再通常情形下可以专心驾驶，减少分心驾驶因素，提高驾驶安全性；此外还可以及时发现异常信息或驾驶员关注的信息，以便驾驶员可以及时采取措施处理，提高用户体验。
在一个或多个可选的实施例中，状态确定单元73，用于根据人脸和/或人体检测的结果，确定乘客是否处于异常状态和/或乘客是否做出危险动作。
信息提示单元74，用于响应于乘客出现异常状态、乘客做出危险动作、乘客处于异常状态达到预设时间或者乘客处于危险动作状态达到预设时间，向车内的驾驶员区域或者指定设备输出提示信息。
本申请实施例中，乘客的不同的异常状态和危险动作具有不同的紧急性，有些异常状态和危险动作一旦出现，需要马上处理，否则会产生较为严重的后果，例如：乘客处于噎食状态，如不及时处理可能危害乘客的生命安全，需要及时处理，或乘客将部分身体伸出车窗，由于车辆处于行驶中，随时可能与其他车辆交错，导致乘客发生危险，需要及时制止该乘客的危险动作；而有些异常状态和危险动作的紧急性不高，可以在出现一段时间后再进行处理。
可选地，异常状态包括但不限于以下至少之一：暴躁、呕吐、噎食、咳嗽、痛苦、哭泣、睡着、睡醒等。
可选地，危险动作包括但不限于以下至少之一：开车门、手持器械、解开安全带、将部分身体伸出车窗、离开指定区域、抽烟等。
可选地，乘客包括以下至少之一：大人、小孩。
可选地，人脸和/或人体检测的结果包括以下至少之一：是否有人脸、是否有人体、睁眼、闭眼、表情、年龄、张嘴、闭嘴、肢体动作。
在一个或多个可选的实施例中，乘客包括小孩；后排座椅区域包括儿童座椅区域；人脸和/或人体检测的结果包括以下至少之一：是否有人脸、是否有人体；
状态确定单元73，用于根据人脸和/或人体检测的结果确定小孩是否位于儿童座椅上；
信息提示单元74，用于响应于小孩离开儿童座椅或者儿童座椅上无小孩状态超过预设时间，向车内的驾驶员区域或者指定设备输出提示信息。
为了提高小孩的安全性，儿童座椅通常固定在车辆座椅上，固定之后，儿童座椅的位置就已经确定，小孩离开儿童座椅或者儿童座椅上无小孩状态超过预设时间，说明小孩未坐于儿童座椅上，在车辆行进时，小孩未坐于儿童座椅上是十分危险的，需要按照本申请实施例提供的提示信息对小孩进行安置，以提高小孩乘车的安全性。
在一个或多个可选的实施例中，乘客包括小孩；
状态确定单元73，用于根据人脸和/或人体检测的结果确定小孩是否哭泣；
信息提示单元74，用于响应于小孩出现哭泣或者小孩处于哭泣状态达到预设时间，向车内的驾驶员区域或者指定设备输出提示信息。
由于小孩的情绪和身体状况处于不稳定状态，随时会发生改变，小孩处于不同状态时，需要合理操作，以减少小孩产生不适或影响驾驶安全，例如：当小孩处于哭泣状态时，需要及时处理(例如：及时安抚小孩等)，以降低异常状态对小孩产生伤害。
在一个或多个可选的实施例中，乘客包括小孩；
人脸和/或人体检测的结果包括：睁眼、闭眼；
状态确定单元73，用于根据预定时间窗内小孩的睁眼和/或闭眼的状态统计分析结果，确定小孩是否处于睡着状态或者处于睡醒状态；
信息提示单元74，用于响应于小孩处于睡着状态、处于睡着状态达到预定时间、处于睡醒状态或者处于睡醒状态达到预定时间，向车内的驾驶员区域或者指定设备输出提示信息。
小孩处于睡着状态和睡醒状态属于紧急级别较低的情况，可以即时发出提示信息，或在小孩处于睡着状态达到预定时间、小孩处于睡醒状态达到预定时间时再发出提示信息，其中睡着状态对应的预定时间和睡醒状态对应的预定时间可以相同或不同。
在一个或多个可选的实施例中，人脸和/或人体检测的结果包括：乘客是否为小孩的分类结果；
图像检测单元72，用于提取视频流中的至少一帧图像的人脸和/或人体特征；基于提取的特征进行乘客是否为小孩的分类处理。
在一个或多个可选的实施例中，图像检测单元72，用于经神经网络的特征提取分支对视频流中的至少一帧图像进行人脸特征提取和/或人体特征提取；经神经网络中与特征提取分支连接的至少一个检测分支，基于特征提取分支提取的人脸特征和/或人体特征来确定人脸和/或人体检测的结果。
本申请实施例中，可以分别通过不同的检测分支实现人脸检测和人体检测，即通过一个检测分支获得人脸检测的结果，通过另一个检测分支获得人体检测的结果，通过至少一个检测分支连接特征提取分支，共享特征提取分支获得的特征获得人脸检测和人体检测的结果，加快了检测过程，节省了检测时间。
在一个或多个可选的实施例中，图像检测单元72，用于经神经网络的特征提取分支对视频流中的至少一帧图像进行人脸特征提取和/或人体特征提取；经神经网络中与特征提取分支连接的分类分支和至少一个检测分支，基于特征提取分支提取的人脸特征/或人体特征来分别确定图像中的人是否是小孩以及人脸和/或人体检测的结果。
本申请实施例中增加了乘客是否是小孩的判断，可选地，本实施例中通过将人脸特征输入到分类分支中，确定乘客是否是小孩的分类结果(两种分类结果)，即确定乘客是小孩或不是小孩；共享人脸特征/或人体特征确定是否是小孩以及人脸和/或人体检测的结果，只经过一个特征提取过程，提高了检测和分类效率。
在一个或多个可选的实施例中，图像检测单元72，用于经神经网络的特征提取分支对视频流中的 至少一帧图像进行人脸特征提取；经神经网络中与特征提取分支连接的分类分支，基于特征提取分支提取的人脸特征来确定图像中的人是否是小孩；或者，经神经网络中与特征提取分支连接的识别分支确定图像中的乘客的年龄，将年龄小于或等于预设年龄的乘客确定为小孩。
本申请实施例中，单独提出一个神经网络实现乘客是否是小孩的判断，可选的，通过一个分类分支基于人脸特征确定是否是小孩的分类结果，或通过识别分支基于人脸特征确定乘客的年龄，将年龄小于或等于预设年龄的乘客确定为小孩。
可选地，确定图像中的人是否是小孩的分类分支基于区分性别的小孩的标注数据预先训练完成。
可选地，本申请实施例装置还包括：
网络训练单元，用于利用样本图像对神经网络进行训练，样本图像具有小孩标注信息。
可选地，小孩标注信息表示样本图像中的人是否是小孩，响应于样本图像中的人的年龄或估计年龄大于参考图像中的人的年龄或估计年龄，样本图像的小孩标注信息表示为非小孩；响应于样本图像中的人的年龄或估计年龄小于或等于参考图像中的人的年龄或估计年龄，样本图像的小孩标注信息表示为小孩。
可选地，参考图像包括男孩参考图像和女孩参考图像。
在一个或多个可选的实施例中，视频采集单元71，用于基于车内设置的车辆内部的至少一个摄像头采集获取后排座椅区域的视频流。
为了确定乘客的状态，以单独的图像作为分析基础会出现图像不清晰或表情出现变化等不准确的情况，为了提高状态分析的准确率，本实施例通过车辆内部的摄像头对车内的乘客图像进行采集，获得视频流，以该视频流中的至少一帧图像获得图像，以获得的图像实现对车辆内的乘客状态的监控。
在一个或多个可选的实施例中，信息提示单元74，用于响应于乘客的状态信息满足预定条件，向驾驶员视线范围内的设备和/或预先设定的设备输出提示信息。
可选地，本申请实施例装置还包括：
显示单元，用于通过驾驶员视线范围内的设备和/或预先设定的设备显示以下至少一个信息：获取的视频流的至少一图像帧、检测结果。
可选地，本申请实施例装置还包括：
指令接收单元，用于通过车载设备和/或移动应用端接收监控指令；
视频采集单元，用于根据监控指令获取车内后排座椅区域的视频流。
本公开实施例提供的乘客状态分析装置任一实施例的工作过程、设置方式及相应技术效果，均可以参照本公开上述相应方法实施例的具体描述，限于篇幅，在此不再赘述。
根据本申请实施例的另一个方面，提供的一种车辆，包括如上任意一实施例提供的乘客状态分析装置。
通过本申请实施例提供的车辆，可实现对车辆内后排座椅上的乘客进行监控，克服了驾驶员视觉盲区的弊端，使驾驶员或其他相关人员在乘客发生突发状况时，可以及时了解，可减少意外情况的发生，提高了乘客乘车的安全性和舒适性。
本领域技术人员应当理解，上述乘客状态分析装置中的移动应用端和预先设定的设备如未设置在车辆中，不属于本申请实施例保护的车辆的部分。
在一个或多个可选的实施例中，车辆上设置有至少一第一摄像头，第一摄像头用于采集车内后排座椅区域的视频。
本申请实施例中的第一摄像头可以是独立的摄像头或者其他车载设备(如：车载平板、车载显示屏等)上的摄像头，或者现有技术中其他形式的摄像头，只需能够采集到后排座椅区域的视频即可，本申 请实施例不限制摄像头的具体存在方式。
可选地，第一摄像头设置在前排座椅后背朝向后排座椅区域的一侧，车内后排座椅上方的位置。
将第一摄像头设置在前排座椅后背朝向后排座椅区域的一侧可使第一摄像头更便于获取后排座椅区域，并在后排座椅的上方位置，将摄像头设置在该区域可有效采集到后排座椅中的乘客的图像，减少了因为摄像头位置不当而无法采集到有效图像的问题。
在一个或多个可选的实施例中，车辆在驾驶员视线范围的区域内设置有车载设备，摄像头与车载设备通信连接。
可选地，车载设备可以设置在驾驶员在车辆行驶中的视线范围内，例如：控制台区、仪表区、前挡风玻璃上方等位置，该车载设备的设置还应当以不遮挡驾驶员视线为基准，不影响安全驾驶，使驾驶员可以在驾驶车辆的同时对车辆后座的乘客情况能够及时了解。
可选地，车载设备还用于分析驾驶员的状态信息，在驾驶员的状态分析结果满足预定疲劳或分心或危险驾驶预定条件时，输出提示信息。
本申请实施例还可以获取驾驶员的状态信息，并对该状态信息进行分析，状态信息可以包括但不限于：行为动作、人脸信息等，当状态分析结果满足预定疲劳或分心或危险驾驶预定条件时，输出提示信息，防止因疲劳驾驶或分心驾驶而导致的危险，判断疲劳或分心或危险驾驶的预定条件包括但不限于现有常见的各种疲劳或分心或危险驾驶的情况等，例如：当状态分析结果确定驾驶员在打电话，说明处于分心驾驶状态，当状态分析结果确定驾驶员闭眼时间超出设定时间或确定驾驶员打哈欠，说明驾驶员处于疲劳驾驶状态，当状态分析结果确定驾驶员单手握方向盘的时间超出预定时间，说明驾驶员处于危险驾驶状态；以上这些例子仅为本领域技术人员方便理解而提供，不用于限制本申请，本领域技术人员应理解其他各种疲劳或分心或危险驾驶的情况都属于本申请实施例保护的范围。
本申请各实施例中的神经网络，分别可以是一个多层神经网络(即：深度神经网络)，例如多层的卷积神经网络，例如可以是LeNet、AlexNet、GoogLeNet、VGG、ResNet等任意神经网络模型。各神经网络可以采用相同类型和结构的神经网络，也可以采用不同类型和结构的神经网络。本申请实施例不对此进行限制。
根据本申请实施例的又一个方面，提供的一种电子设备，包括处理器，该处理器包括如上任意一实施例提供的乘客状态分析装置。
根据本申请实施例的还一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与存储器通信以执行可执行指令从而完成如上任意一实施例提供的乘客状态分析方法的操作。
根据本申请实施例的再一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，指令被执行时执行如上任意一实施例提供的乘客状态分析方法的操作。
根据本申请实施例的又一个方面，提供的一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任意一实施例提供的乘客状态分析方法的指令。
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图8，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备800的结构示意图：如图8所示，电子设备800包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)801，和/或一个或多个图像处理器(加速单元)813等，处理器可以根据存储在只读存储器(ROM)802中的可执行指令或者从存储部分808加载到随机访问存储器(RAM)803中的可执行指令而执行各种适当的动作和处理。通信部812可包括但不限于网卡，所述网卡可包括 但不限于IB(Infiniband)网卡。
处理器可与只读存储器802和/或随机访问存储器803中通信以执行可执行指令，通过总线804与通信部812相连、并经通信部812与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，获取车内后排座椅区域的视频流；对视频流中的至少一帧图像进行人脸和/或人体检测；根据人脸和/或人体检测的结果确定后排座椅区域的乘客的状态信息；响应于乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息。
此外，在RAM 803中，还可存储有装置操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。在有RAM803的情况下，ROM802为可选模块。RAM803存储可执行指令，或在运行时向ROM802中写入可执行指令，可执行指令使中央处理单元801执行上述通信方法对应的操作。输入/输出(I/O)接口805也连接至总线804。通信部812可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
需要说明的，如图8所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图8的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如加速单元813和CPU801可分离设置或者可将加速单元813集成在CPU801上，通信部可分离设置，也可集成设置在CPU801或加速单元813上，等等。这些可替换的实施方式均落入本申请公开的保护范围。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，获取车内后排座椅区域的视频流；对视频流中的至少一帧图像进行人脸和/或人体检测；根据人脸和/或人体检测的结果确定后排座椅区域的乘客的状态信息；响应于乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能的操作。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的 原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (53)

  1. 一种乘客状态分析方法，其特征在于，包括：
    获取车内后排座椅区域的视频流；
    对所述视频流中的至少一帧图像进行人脸和/或人体检测；
    根据人脸和/或人体检测的结果确定所述后排座椅区域的乘客的状态信息；
    响应于所述乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息。
  2. 根据权利要求1所述的方法，其特征在于，所述根据人脸和/或人体检测的结果确定所述后排座椅区域的乘客的状态信息，包括：根据人脸和/或人体检测的结果，确定所述乘客是否处于异常状态和/或所述乘客是否做出危险动作；
    所述响应于所述乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息，包括：响应于所述乘客出现异常状态、乘客做出危险动作、乘客处于异常状态达到预设时间或者乘客处于危险动作状态达到预设时间，向车内的驾驶员区域或者指定设备输出提示信息。
  3. 根据权利要求2所述的方法，其特征在于，所述异常状态包括以下至少之一：暴躁、呕吐、噎食、咳嗽、痛苦、哭泣、睡着、睡醒。
  4. 根据权利要求2或3所述的方法，其特征在于，所述危险动作包括以下至少之一：开车门、手持器械、解开安全带、将部分身体伸出车窗、离开指定区域、抽烟。
  5. 根据权利要求1-4任一所述的方法，其特征在于，所述乘客包括以下至少之一：大人、小孩。
  6. 根据权利要求1-5任一所述的方法，其特征在于，所述人脸和/或人体检测的结果包括以下至少之一：是否有人脸、是否有人体、睁眼、闭眼、表情、年龄、张嘴、闭嘴、肢体动作。
  7. 根据权利要求1-6任一所述的方法，其特征在于，所述乘客包括小孩；
    所述后排座椅区域包括儿童座椅区域；
    所述人脸和/或人体检测的结果包括以下至少之一：是否有人脸、是否有人体；
    所述根据人脸和/或人体检测的结果确定所述后排座椅区域的乘客的状态信息，包括：根据人脸和/或人体检测的结果确定所述小孩是否位于所述儿童座椅上；
    响应于所述乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息，包括：响应于所述小孩离开所述儿童座椅或者所述儿童座椅上无小孩状态超过预设时间，向车内的驾驶员区域或者指定设备输出提示信息。
  8. 根据权利要求1-7任一所述的方法，其特征在于，所述乘客包括小孩；
    所述根据人脸和/或人体检测的结果确定所述后排座椅区域的乘客的状态信息，包括：根据人脸和/或人体检测的结果确定所述小孩是否哭泣；
    所述响应于所述乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息，包括：响应于所述小孩出现哭泣或者所述小孩处于哭泣状态达到预设时间，向车内的驾驶员区域或者指定设备输出提示信息。
  9. 根据权利要求1-8任一所述的方法，其特征在于，所述乘客包括小孩；
    所述人脸和/或人体检测的结果包括：睁眼、闭眼；
    所述根据人脸和/或人体检测的结果确定所述后排座椅区域的乘客的状态信息，包括：根据预定时间窗内所述小孩的睁眼和/或闭眼的状态统计分析结果，确定所述小孩是否处于睡着状态或者处于睡醒状态；
    所述响应于所述乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息， 包括：响应于所述小孩处于睡着状态、处于睡着状态达到预定时间、处于睡醒状态或者处于睡醒状态达到预定时间，向车内的驾驶员区域或者指定设备输出提示信息。
  10. 根据权利要求1-9任一所述的方法，其特征在于，所述人脸和/或人体检测的结果包括：所述乘客是否为小孩的分类结果；
    所述对所述视频流中的至少一帧图像进行人脸和/或人体检测，包括：
    提取所述视频流中的至少一帧图像的人脸和/或人体特征；
    基于提取的特征进行所述乘客是否为小孩的分类处理。
  11. 根据权利要求1-10任一所述的方法，其特征在于，所述对所述视频流中的至少一帧图像进行人脸和/或人体检测，包括：经神经网络的特征提取分支对所述视频流中的至少一帧图像进行人脸特征提取和/或人体特征提取；
    经所述神经网络中与所述特征提取分支连接的至少一个检测分支，基于所述特征提取分支提取的人脸特征和/或人体特征来确定所述人脸和/或人体检测的结果。
  12. 根据权利要求1-10任一所述的方法，其特征在于，所述对所述视频流中的至少一帧图像进行人脸和/或人体检测，包括：经神经网络的特征提取分支对所述视频流中的至少一帧图像进行人脸特征提取和/或人体特征提取；
    经所述神经网络中与所述特征提取分支连接的分类分支和至少一个检测分支，基于所述特征提取分支提取的人脸特征/或人体特征来分别确定所述图像中的人是否是小孩以及人脸和/或人体检测的结果。
  13. 根据权利要求1-10任一所述的方法，其特征在于，所述对所述视频流中的至少一帧图像进行人脸和/或人体检测，包括：经神经网络的特征提取分支对所述视频流中的至少一帧图像进行人脸特征提取；
    经所述神经网络中与所述特征提取分支连接的分类分支，基于所述特征提取分支提取的人脸特征来确定所述图像中的人是否是小孩；或者，
    经所述神经网络中与所述特征提取分支连接的识别分支确定所述图像中的乘客的年龄，将所述年龄小于或等于预设年龄的乘客确定为小孩。
  14. 根据权利要求12或13所述的方法，其特征在于，所述确定所述图像中的人是否是小孩的分类分支基于区分性别的小孩的标注数据预先训练完成。
  15. 根据权利要求12-14任一所述的方法，其特征在于，所述对所述视频流中的至少一帧图像进行人脸和/或人体检测之前，还包括：
    利用样本图像对所述神经网络进行训练，所述样本图像具有小孩标注信息。
  16. 根据权利要求15所述的方法，其特征在于，所述小孩标注信息表示所述样本图像中的人是否是小孩，响应于所述样本图像中的人的年龄或估计年龄大于参考图像中的人的年龄或估计年龄，所述样本图像的小孩标注信息表示为非小孩；响应于所述样本图像中的人的年龄或估计年龄小于或等于参考图像中的人的年龄或估计年龄，所述样本图像的小孩标注信息表示为小孩。
  17. 根据权利要求16所述的方法，其特征在于，所述参考图像包括男孩参考图像和女孩参考图像。
  18. 根据权利要求1-17任一所述的方法，其特征在于，所述获取车内后排座椅区域的视频流，包括：
    基于所述车内设置的车辆内部的至少一个摄像头采集获取所述后排座椅区域的视频流。
  19. 根据权利要求1-18任一所述的方法，其特征在于，所述响应于所述乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息，包括：
    响应于所述乘客的状态信息满足预定条件，向驾驶员视线范围内的设备和/或预先设定的设备输出 提示信息。
  20. 根据权利要求18或19所述的方法，其特征在于，所述方法还包括：
    通过驾驶员视线范围内的设备和/或预先设定的设备显示以下至少一个信息：所述获取的视频流的至少一图像帧、所述检测结果。
  21. 根据权利要求1-20任一所述的方法，其特征在于，所述获取车内后排座椅区域的视频流之前，还包括：
    通过移动应用端或车载设备接收监控指令；
    所述获取车内后排座椅区域的视频流，包括：
    根据所述监控指令获取车内后排座椅区域的视频流。
  22. 一种乘客状态分析装置，其特征在于，包括：
    视频采集单元，用于获取车内后排座椅区域的视频流；
    图像检测单元，用于对所述视频流中的至少一帧图像进行人脸和/或人体检测；
    状态确定单元，用于根据人脸和/或人体检测的结果确定所述后排座椅区域的乘客的状态信息；
    信息提示单元，用于响应于所述乘客的状态信息满足预定条件，向车内的驾驶员区域或者指定设备输出提示信息。
  23. 根据权利要求22所述的装置，其特征在于，所述状态确定单元，用于根据人脸和/或人体检测的结果，确定所述乘客是否处于异常状态和/或所述乘客是否做出危险动作；
    所述信息提示单元，用于响应于所述乘客出现异常状态、乘客做出危险动作、乘客处于异常状态达到预设时间或者乘客处于危险动作状态达到预设时间，向车内的驾驶员区域或者指定设备输出提示信息。
  24. 根据权利要求23所述的装置，其特征在于，所述异常状态包括以下至少之一：暴躁、呕吐、噎食、咳嗽、痛苦、哭泣、睡着、睡醒。
  25. 根据权利要求23或24所述的装置，其特征在于，所述危险动作包括以下至少之一：开车门、手持器械、解开安全带、将部分身体伸出车窗、离开指定区域、抽烟。
  26. 根据权利要求22-25任一所述的装置，其特征在于，所述乘客包括以下至少之一：大人、小孩。
  27. 根据权利要求22-26任一所述的装置，其特征在于，所述人脸和/或人体检测的结果包括以下至少之一：是否有人脸、是否有人体、睁眼、闭眼、表情、年龄、张嘴、闭嘴、肢体动作。
  28. 根据权利要求22-27任一所述的装置，其特征在于，所述乘客包括小孩；
    所述后排座椅区域包括儿童座椅区域；
    所述人脸和/或人体检测的结果包括以下至少之一：是否有人脸、是否有人体；
    所述状态确定单元，用于根据人脸和/或人体检测的结果确定所述小孩是否位于所述儿童座椅上；
    所述信息提示单元，用于响应于所述小孩离开所述儿童座椅或者所述儿童座椅上无小孩状态超过预设时间，向车内的驾驶员区域或者指定设备输出提示信息。
  29. 根据权利要求22-28任一所述的装置，其特征在于，所述乘客包括小孩；
    所述状态确定单元，用于根据人脸和/或人体检测的结果确定所述小孩是否哭泣；
    所述信息提示单元，用于响应于所述小孩出现哭泣或者所述小孩处于哭泣状态达到预设时间，向车内的驾驶员区域或者指定设备输出提示信息。
  30. 根据权利要求22-29任一所述的装置，其特征在于，所述乘客包括小孩；
    所述人脸和/或人体检测的结果包括：睁眼、闭眼；
    所述状态确定单元，用于根据预定时间窗内所述小孩的睁眼和/或闭眼的状态统计分析结果，确定所述小孩是否处于睡着状态或者处于睡醒状态；
    所述信息提示单元，用于响应于所述小孩处于睡着状态、处于睡着状态达到预定时间、处于睡醒状态或者处于睡醒状态达到预定时间，向车内的驾驶员区域或者指定设备输出提示信息。
  31. 根据权利要求22-30任一所述的装置，其特征在于，所述人脸和/或人体检测的结果包括：所述乘客是否为小孩的分类结果；
    所述图像检测单元，用于提取所述视频流中的至少一帧图像的人脸和/或人体特征；基于提取的特征进行所述乘客是否为小孩的分类处理。
  32. 根据权利要求22-31任一所述的装置，其特征在于，所述图像检测单元，用于经神经网络的特征提取分支对所述视频流中的至少一帧图像进行人脸特征提取和/或人体特征提取；经所述神经网络中与所述特征提取分支连接的至少一个检测分支，基于所述特征提取分支提取的人脸特征和/或人体特征来确定所述人脸和/或人体检测的结果。
  33. 根据权利要求22-31任一所述的装置，其特征在于，所述图像检测单元，用于经神经网络的特征提取分支对所述视频流中的至少一帧图像进行人脸特征提取和/或人体特征提取；经所述神经网络中与所述特征提取分支连接的分类分支和至少一个检测分支，基于所述特征提取分支提取的人脸特征/或人体特征来分别确定所述图像中的人是否是小孩以及人脸和/或人体检测的结果。
  34. 根据权利要求22-31任一所述的装置，其特征在于，所述图像检测单元，用于经神经网络的特征提取分支对所述视频流中的至少一帧图像进行人脸特征提取；经所述神经网络中与所述特征提取分支连接的分类分支，基于所述特征提取分支提取的人脸特征来确定所述图像中的人是否是小孩；或者，经所述神经网络中与所述特征提取分支连接的识别分支确定所述图像中的乘客的年龄，将所述年龄小于或等于预设年龄的乘客确定为小孩。
  35. 根据权利要求33或34所述的装置，其特征在于，所述确定所述图像中的人是否是小孩的分类分支基于区分性别的小孩的标注数据预先训练完成。
  36. 根据权利要求33-35任一所述的装置，其特征在于，所述装置还包括：
    网络训练单元，用于利用样本图像对所述神经网络进行训练，所述样本图像具有小孩标注信息。
  37. 根据权利要求36所述的装置，其特征在于，所述小孩标注信息表示所述样本图像中的人是否是小孩，响应于所述样本图像中的人的年龄或估计年龄大于参考图像中的人的年龄或估计年龄，所述样本图像的小孩标注信息表示为非小孩；响应于所述样本图像中的人的年龄或估计年龄小于或等于参考图像中的人的年龄或估计年龄，所述样本图像的小孩标注信息表示为小孩。
  38. 根据权利要求37所述的装置，其特征在于，所述参考图像包括男孩参考图像和女孩参考图像。
  39. 根据权利要求22-38任一所述的装置，其特征在于，所述视频采集单元，用于基于所述车内设置的车辆内部的至少一个摄像头采集获取所述后排座椅区域的视频流。
  40. 根据权利要求22-39任一所述的装置，其特征在于，所述信息提示单元，用于响应于所述乘客的状态信息满足预定条件，向驾驶员视线范围内的设备和/或预先设定的设备输出提示信息。
  41. 根据权利要求39或40所述的装置，其特征在于，所述装置还包括：
    显示单元，用于通过驾驶员视线范围内的设备显示以下至少一个信息：所述获取的视频流的至少一图像帧、所述检测结果。
  42. 根据权利要求22-41任一所述的装置，其特征在于，所述装置还包括：
    指令接收单元，用于通过车载设备接收监控指令；
    所述视频采集单元，用于根据所述监控指令获取车内后排座椅区域的视频流。
  43. 根据权利要求39-42所述的装置，其特征在于，所述装置还包括：
    显示单元，用于通过预先设定的设备显示以下至少一个信息：所述获取的视频流的至少一图像帧、 所述检测结果。
  44. 根据权利要求22-42任一所述的装置，其特征在于，所述装置还包括：
    指令接收单元，用于通过移动应用端接收监控指令；
    所述视频采集单元，用于根据所述监控指令获取车内后排座椅区域的视频流。
  45. 一种车辆，其特征在于，包括权利要求22至42任意一项所述的乘客状态分析装置。
  46. 根据权利要求45所述的车辆，其特征在于，所述车辆上设置有至少一第一摄像头，所述第一摄像头用于采集车内后排座椅区域的视频。
  47. 根据权利要求46所述的车辆，其特征在于，所述第一摄像头设置在前排座椅后背朝向后排座椅区域的一侧，车内后排座椅上方的位置。
  48. 根据权利要求45-47任一所述的车辆，其特征在于，所述车辆在驾驶员视线范围的区域内设置有车载设备，所述摄像头与所述车载设备通信连接。
  49. 根据权利要求48所述的车辆，其特征在于，所述车载设备还用于分析所述驾驶员的状态信息，在驾驶员的状态分析结果满足预定疲劳或分心或危险驾驶预定条件时，输出提示信息。
  50. 一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求22至44任意一项所述的乘客状态分析装置。
  51. 一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
    以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至21任意一项所述乘客状态分析方法的操作。
  52. 一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至21任意一项所述乘客状态分析方法的操作。
  53. 一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至21任意一项所述乘客状态分析方法的指令。
PCT/CN2019/111929 2018-10-19 2019-10-18 乘客状态分析方法和装置、车辆、电子设备、存储介质 WO2020078462A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020207014873A KR102446686B1 (ko) 2018-10-19 2019-10-18 승객 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체
SG11202004942RA SG11202004942RA (en) 2018-10-19 2019-10-18 Passenger state analysis method and apparatus, vehicle, electronic device and storage medium
JP2020528320A JP2021504814A (ja) 2018-10-19 2019-10-18 乗客状態分析方法及び装置、車両、電子機器並びに記憶媒体
US16/882,844 US11386676B2 (en) 2018-10-19 2020-05-26 Passenger state analysis method and apparatus, vehicle, electronic device and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811224257.XA CN111079474A (zh) 2018-10-19 2018-10-19 乘客状态分析方法和装置、车辆、电子设备、存储介质
CN201811224257.X 2018-10-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/882,844 Continuation US11386676B2 (en) 2018-10-19 2020-05-26 Passenger state analysis method and apparatus, vehicle, electronic device and storage medium

Publications (1)

Publication Number Publication Date
WO2020078462A1 true WO2020078462A1 (zh) 2020-04-23

Family

ID=70284045

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/111929 WO2020078462A1 (zh) 2018-10-19 2019-10-18 乘客状态分析方法和装置、车辆、电子设备、存储介质

Country Status (6)

Country Link
US (1) US11386676B2 (zh)
JP (1) JP2021504814A (zh)
KR (1) KR102446686B1 (zh)
CN (1) CN111079474A (zh)
SG (1) SG11202004942RA (zh)
WO (1) WO2020078462A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906515A (zh) * 2021-02-03 2021-06-04 珠海研果科技有限公司 车内异常行为识别方法、系统、电子设备及存储介质
JP2022057088A (ja) * 2020-09-30 2022-04-11 株式会社ユピテル システムおよびプログラム等
CN114475507A (zh) * 2022-01-26 2022-05-13 广汽丰田汽车有限公司 车内儿童安全警示方法、装置、电子设备及存储介质
CN114973155A (zh) * 2022-08-01 2022-08-30 鹰驾科技（深圳）有限公司 一种基于ai图像识别行为智能监测分析管理系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11550320B2 (en) * 2019-03-18 2023-01-10 Pony Ai Inc. Vehicle redundant processing resource usage
JPWO2020234993A1 (zh) * 2019-05-21 2020-11-26
US11132585B2 (en) * 2019-12-17 2021-09-28 Robert Bosch Gmbh System and method for detecting abnormal passenger behavior in autonomous vehicles
US11518391B1 (en) * 2020-05-26 2022-12-06 BlueOwl, LLC Systems and methods for identifying distracted driving events using semi-supervised clustering
US11810198B2 (en) 2020-05-26 2023-11-07 BlueOwl, LLC Systems and methods for identifying distracted driving events using common features
US11518392B1 (en) 2020-06-26 2022-12-06 BlueOwl, LLC Systems and methods for identifying distracted driving events using unsupervised clustering
CN112001230A (zh) * 2020-07-09 2020-11-27 浙江大华技术股份有限公司 睡觉行为的监控方法、装置、计算机设备和可读存储介质
US11458995B2 (en) 2020-07-28 2022-10-04 Motional Ad Llc Passenger health screening and monitoring
JP2022099183A (ja) * 2020-12-22 2022-07-04 トヨタ自動車株式会社 情報処理装置、情報処理方法、プログラム
CN112507976A (zh) * 2021-01-08 2021-03-16 蔚来汽车科技(安徽)有限公司 一种车内儿童保护方法、设备、计算机设备、计算机可读存储介质以及车辆
CN112906486B (zh) * 2021-01-26 2023-09-12 吉利汽车研究院（宁波）有限公司 无人驾驶出租车的乘客状况检测方法、控制方法及系统
WO2022209347A1 (ja) * 2021-03-31 2022-10-06 日本電気株式会社 情報処理装置、情報処理方法、コンピュータ可読媒体、及び情報処理システム
JP7305698B2 (ja) * 2021-04-06 2023-07-10 矢崎総業株式会社 車両の混雑度判定方法、および車両の混雑度判定システム
CN113409543A (zh) * 2021-06-24 2021-09-17 广西宁达汽车科技有限公司 一种车内小孩照看系统及方法
CN113507593A (zh) * 2021-06-24 2021-10-15 中汽创智科技有限公司 一种用于车辆座舱的监测方法、装置、系统及终端
CN113581187A (zh) * 2021-08-06 2021-11-02 阿尔特汽车技术股份有限公司 用于车辆的控制方法及相应的系统、车辆、设备和介质
CN113920492A (zh) * 2021-10-29 2022-01-11 上海商汤临港智能科技有限公司 车内人员检测方法及装置、电子设备和存储介质
KR102457629B1 (ko) 2022-01-26 2022-10-21 이상배 차량 실내 뒷좌석 상태 확인 장치
CN114677651B (zh) * 2022-05-30 2022-09-27 山东极视角科技有限公司 一种基于低画质低帧率视频的客流统计方法及相关装置
CN115512315B (zh) * 2022-11-01 2023-04-18 深圳市城市交通规划设计研究中心股份有限公司 一种非机动车儿童搭乘检测方法、电子设备及存储介质
CN116811915A (zh) * 2023-06-30 2023-09-29 清华大学 基于乘员脑电信号的车辆决策方法、装置和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106781285A (zh) * 2017-01-09 2017-05-31 重庆新派新智能科技有限公司 疲劳驾驶的警示方法和系统
CN106985750A (zh) * 2017-01-17 2017-07-28 戴姆勒股份公司 用于车辆的车内安全监控系统及汽车
CN107451524A (zh) * 2016-06-01 2017-12-08 丰田自动车株式会社 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996054B (zh) * 2006-11-23 2010-12-08 浙江工业大学 基于全方位视觉的泥石流预警预报装置
JP2009219555A (ja) * 2008-03-13 2009-10-01 Toyota Motor Corp 眠気検知装置、運転支援装置、眠気検知方法
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
JP2014516490A (ja) * 2011-04-11 2014-07-10 インテル・コーポレーション パーソナライズされたプログラム選択のシステムおよび方法
CN102201188A (zh) * 2011-05-25 2011-09-28 华侨大学 一种面向楼宇电视广告系统的智能控制装置和方法
JP2015067254A (ja) 2013-10-01 2015-04-13 パナソニックＩｐマネジメント株式会社 車載機器と、それを搭載した自動車
US10272920B2 (en) 2013-10-11 2019-04-30 Panasonic Intellectual Property Corporation Of America Processing method, program, processing apparatus, and detection system
CN103978932B (zh) 2014-05-16 2016-06-29 长安大学 一种公交车驾驶员危险驾驶的检测装置及检测方法
JP2016030478A (ja) 2014-07-28 2016-03-07 ポップニート株式会社 車内情報処理装置、車内情報処理方法、プログラム、及びカメラ
US9594947B1 (en) * 2014-09-30 2017-03-14 Amazon Technologies, Inc. Aspect ratio validation
KR102428319B1 (ko) * 2014-12-24 2022-08-02 주식회사 케이티 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램
CN104731649A (zh) * 2015-04-21 2015-06-24 中国建设银行股份有限公司 一种多任务处理方法及装置
JP2017007548A (ja) * 2015-06-23 2017-01-12 株式会社デンソー 後席状況表示制御装置
US20160379466A1 (en) 2015-06-26 2016-12-29 Continental Automotive Systems, Inc. System For Warning A Driver That A Passenger Is Left In A Vehicle
US9942522B2 (en) * 2015-08-19 2018-04-10 Faraday&Future Inc. In-vehicle camera system
EP3345148A1 (en) 2015-09-04 2018-07-11 Robert Bosch GmbH Billboard display and method for selectively displaying advertisements by sensing demographic information of occupants of vehicles
US9663032B1 (en) * 2015-11-09 2017-05-30 Ford Global Technologies, Llc Child seat monitoring system and method
CN106878364A (zh) * 2015-12-11 2017-06-20 比亚迪股份有限公司 用于车辆的信息推送方法、系统、云服务器和车辆
GB201521885D0 (en) 2015-12-11 2016-01-27 Univ London Queen Mary Method and apparatus for monitoring
CN105975916B (zh) * 2016-04-28 2019-10-11 西安电子科技大学 基于多输出卷积神经网络和有序回归的年龄估计方法
CN106652025B (zh) * 2016-12-20 2019-10-01 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
CN107341438A (zh) 2017-01-24 2017-11-10 问众智能信息科技（北京）有限公司 基于计算机视觉的车内安全监测的方法和装置
KR101893554B1 (ko) * 2017-02-14 2018-08-30 영남대학교 산학협력단 멀티 모달 데이터 기반 표정인식방법 및 장치
JP6714552B2 (ja) * 2017-08-24 2020-06-24 本田技研工業株式会社 車両制御装置
CN108369645A (zh) * 2018-02-08 2018-08-03 深圳前海达闼云端智能科技有限公司 一种出租车运营监测方法、设备、存储介质和系统
US20190391581A1 (en) * 2018-06-26 2019-12-26 Uber Technologies, Inc. Passenger Health Monitoring and Intervention for Autonomous Vehicles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451524A (zh) * 2016-06-01 2017-12-08 丰田自动车株式会社 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质
CN106781285A (zh) * 2017-01-09 2017-05-31 重庆新派新智能科技有限公司 疲劳驾驶的警示方法和系统
CN106985750A (zh) * 2017-01-17 2017-07-28 戴姆勒股份公司 用于车辆的车内安全监控系统及汽车

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022057088A (ja) * 2020-09-30 2022-04-11 株式会社ユピテル システムおよびプログラム等
JP7370073B2 (ja) 2020-09-30 2023-10-27 株式会社ユピテル システムおよびプログラム等
CN112906515A (zh) * 2021-02-03 2021-06-04 珠海研果科技有限公司 车内异常行为识别方法、系统、电子设备及存储介质
CN114475507A (zh) * 2022-01-26 2022-05-13 广汽丰田汽车有限公司 车内儿童安全警示方法、装置、电子设备及存储介质
CN114973155A (zh) * 2022-08-01 2022-08-30 鹰驾科技（深圳）有限公司 一种基于ai图像识别行为智能监测分析管理系统

Also Published As

Publication number Publication date
JP2021504814A (ja) 2021-02-15
US20200285870A1 (en) 2020-09-10
KR102446686B1 (ko) 2022-09-23
US11386676B2 (en) 2022-07-12
CN111079474A (zh) 2020-04-28
SG11202004942RA (en) 2020-06-29
KR20200079277A (ko) 2020-07-02

Similar Documents

Publication Publication Date Title
WO2020078462A1 (zh) 乘客状态分析方法和装置、车辆、电子设备、存储介质
TWI758689B (zh) 車內人員危險動作識別方法和裝置、電子設備、儲存介質
US11403879B2 (en) Method and apparatus for child state analysis, vehicle, electronic device, and storage medium
JP2021504814A5 (zh)
CN111048171B (zh) 解决晕动病的方法和装置
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
US20220036101A1 (en) Methods, systems and computer program products for driver monitoring
CN109886148A (zh) 一种基于人脸识别的驾驶员主动报警系统及装置
Yan et al. Exploration and evaluation of individual difference to driving fatigue for high‐speed railway: a parametric SVM model based on multidimensional visual cue
CN106445135B (zh) 通过智能机器人进行体态纠正的数据交互方法和系统
Binu et al. An Iot Based Safety and Security Mechanism for Passenger Vehicles
Raja et al. Alcohol Detection and Emergency Alert System using IoT
US20210362344A1 (en) System and method for operating a digital assistant based on deviation from routine behavior of a user using the digital assistant
Dhivya et al. Driver Authentication and Accident Avoidance System for Vehicles
Mao et al. Hybrid Accident Prevention Using Eye Blinking
Budiharto et al. Design and Analysis of Fast Driver's Fatigue Estimation and Drowsiness Detection System using Android.
Ravindran et al. IoT Enabled Ignition Interlock Device
Bhardwaj et al. Safety and Security System for Vehicles
Sini et al. A Novel Real-Time Redundant System For Aiding Drivers To Increase Their Attention Level
Karanam et al. Driver drowsiness estimation using iot and image processing
Devi Safety Systems in Car Using Raspberry-Pi
JP2022150923A (ja) 乗員監視装置、乗員監視方法及びプログラム
Thaware et al. Accident prevention and automatic speed control using eye blinking head movement and alcohol detection
Radha et al. Drowsiness Detection System using Visual Articulators
Swetha et al. Vehicle Accident Prevention System Using Artificial Intelligence

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020528320

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20207014873

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19874428

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20/08/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19874428

Country of ref document: EP

Kind code of ref document: A1