WO2020077523A1 - 一种用于识别用户行为的方法、芯片、终端 - Google Patents

一种用于识别用户行为的方法、芯片、终端 Download PDF

Info

Publication number
WO2020077523A1
WO2020077523A1 PCT/CN2018/110391 CN2018110391W WO2020077523A1 WO 2020077523 A1 WO2020077523 A1 WO 2020077523A1 CN 2018110391 W CN2018110391 W CN 2018110391W WO 2020077523 A1 WO2020077523 A1 WO 2020077523A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
user
image data
face
algorithm
Prior art date
Application number
PCT/CN2018/110391
Other languages
English (en)
French (fr)
Inventor
韦益德
孙忠
李大伟
叶波
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to CN201880091728.6A priority Critical patent/CN111902791A/zh
Priority to PCT/CN2018/110391 priority patent/WO2020077523A1/zh
Publication of WO2020077523A1 publication Critical patent/WO2020077523A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种用于识别用户行为的方法、芯片、终端，该方法包括：终端通过低功耗摄像头实时获取图像数据，所述低功耗摄像头一直开启；所述终端根据所述图像数据，分析特定事件是否发生；所述终端确定所述特定事件发生；所述终端开启人工智能AI对应的应用功能。本申请实施例提供的技术方案可以持续常开AI人工智能能力，实时感知用户动作、行为意图、环境变化等，可以主动为用户提供更自然的人机交互和更好的用户体验。

Description

一种用于识别用户行为的方法、芯片、终端 技术领域
本申请实施例涉及通信领域，并且更具体地，涉及一种用于识别用户行为的方法、芯片、终端。
背景技术
随着AI人工智能技术的发展，AI技术在终端设备上的应用越来越广泛，使得终端设备的功能越来越智能化。例如，随着AI技术在终端设备上的普及推广，终端设备在感知领域、图像处理领域、音频处理领域、语言处理领域等方面的功能越来越强大。
现有技术中，AI人工智能集成在软件系统中，该AI人工智能功能基本上都需要用户的某一个动作或其他应用模块的触发。现有技术的终端设备中在有业务需要时，对应的应用模块才会调用相应的AI人工智能功能。该终端设备中的AI人工智能的功能不会持续常开，不会通过AI技术持续常开来感知用户行为、行为意图等变化，其用体验度不佳。
因此，如何使得终端设备主动、实时感知用户行为、行为意图等变化，提高用户体验度成为亟需要解决的问题。
发明内容
本申请实施例提供一种用于识别用户行为的方法、芯片、终端，可以使得终端设备在低功耗模式下，持续常开AI人工智能能力，实时感知用户动作、行为意图等，可以主动为用户提供更自然的人机交互和更好的用户体验。
第一方面，提供了一种用于识别用户行为的方法，该方法包括：终端通过低功耗摄像头实时获取图像数据，所述低功耗摄像头一直开启；所述终端根据所述图像数据，分析特定事件是否发生；所述终端确定所述特定事件发生；所述终端开启人工智能AI对应的应用功能。
本申请实施例中协处理器与主处理器连接，低功耗摄像头可以与协处理连接。
结合第一方面，在第一方面的某些实现方式中，所述终端根据所述图像数据，调用AI算法分析所述特定事件是否发生。
结合第一方面，在第一方面的某些实现方式中，特定事件为所述图像数据中用户人脸数据的变化。
结合第一方面，在第一方面的某些实现方式中，所述终端确定所述特定事件发生，包括：所述终端确定所述图像数据中的用户人脸数据为从有到无，或从无到有。
结合第一方面，在第一方面的某些实现方式中，所述终端根据所述图像数据中的用户人脸数据，开启人脸识别功能，确定所述图像数据中的用户人脸数据为预设的第一人脸数据；所述终端解锁屏幕。
结合第一方面，在第一方面的某些实现方式中，所述终端确定所述图像数据中的用户 人脸数据为从无到有；所述终端点亮屏幕。
结合第一方面，在第一方面的某些实现方式中，所述终端确定所述图像数据中的用户人脸数据为有到无；所述终端锁定屏幕。
结合第一方面，在第一方面的某些实现方式中，所述终端在预设时间内确定所述图像数据中的用户人脸数据为有到无；所述终端熄灭屏幕。
结合第一方面，在第一方面的某些实现方式中，所述终端将所述图像数据输入到AI算法模型中，所述AI算法模型调用AI算子库中对应的算法分析所述图像数据是否为用户人脸数据。
结合第一方面，在第一方面的某些实现方式中，所述AI算法库固化在所述终端的硬件中。
结合第一方面，在第一方面的某些实现方式中，通过硬件加速器调用所述AI算子库中对应的算子，并根据所述图像数据分析所述特定事件是否发生。
第二方面，提供了一种用于识别用户行为的芯片，该芯片包括：协处理器、主处理器，所述协处理器与所述主处理器连接，
所述协处理器用于执行以下操作：通过低功耗摄像头实时获取图像数据，所述低功耗摄像头与所述协处理器相连，所述低功耗摄像头一直开启；根据所述图像数据，分析特定事件是否发生；确定所述特定事件发生，向主处理器发送人工智能AI消息。
所述主处理器用于：根据接收到的所述AI消息开启AI对应的应用功能。
结合第二方面，在第二方面的某些实现方式中，所述协处理器具体用于：根据所述图像数据，调用AI算法分析所述特定事件是否发生。
结合第二方面，在第二方面的某些实现方式中，所述特定事件为所述图像数据中用户人脸数据的变化。
结合第二方面，在第二方面的某些实现方式中，所述协处理器包括：AI引擎模块、AI算法模块、AI算法库模块，AI应用层模块，
所述AI引擎模块用于：根据所述图像数据，调用对应的AI算法进行AI计算；
所述AI算法模块用于：根据输入的所述图像数据，调用AI算法库中对应的AI算子分析图像数据中的用户人脸数据为从有到无，或从无到有，并向所述AI应用层上报识别结果；
所述AI应用层模块用于：根据所述识别结果，向所述主控制器上报所述AI消息。
结合第二方面，在第二方面的某些实现方式中，所述主处理器具体用于：根据所述图像数据中的用户人脸数据，开启人脸识别功能，确定所述图像数据中的用户人脸数据为预设的人脸数据，解锁屏幕。
结合第二方面，在第二方面的某些实现方式中，所述主处理器还具体用于：确定所述图像数据中的用户人脸数据为从无到有，点亮屏幕。
结合第二方面，在第二方面的某些实现方式中，所述主处理器具体用于：确定所述图像数据中的用户人脸数据为有到无，锁定屏幕。
结合第二方面，在第二方面的某些实现方式中，所述主处理器还具体用于：在预设时间内确定所述图像数据中的用户人脸数据为有到无，熄灭屏幕。
结合第二方面，在第二方面的某些实现方式中，所述协处理器还包括：硬件加速器模 块，用于对所述AI算法模块调用AI算法库模块分析所述图像数据中的用户人脸数据为从有到无，或从无到有的过程进行加速。
结合第二方面，在第二方面的某些实现方式中，所述AI算子库固化在所述协处理器的硬件中。
本申请提供一种用于识别用户行为的芯片，可以使得终端设备在低功耗模式下，持续常开AI人工智能能力，实时感知用户动作、行为意图等，可以主动为用户提供更自然的人机交互和更好的用户体验。
第三方面，提供了一种终端，包括：协处理器、主处理器、低功耗摄像头，所述协处理器与所述主处理器连接，所述低功耗摄像头与所述协处理器相连。
所述协处理器用于执行以下操作：通过低功耗摄像头实时获取图像数据，所述低功耗摄像头一直开启；根据所述图像数据，分析特定事件是否发生；确定所述特定事件发生，向主处理器发送人工智能AI消息。
所述主处理器用于：根据接收到的所述AI消息开启AI对应的应用功能。
结合第三方面，在第三方面的某些实现方式中，所述协处理器具体用于：根据所述图像数据，调用AI算法分析所述特定事件是否发生。
结合第三方面，在第三方面的某些实现方式中，所述特定事件为所述图像数据中用户人脸数据的变化。
结合第三方面，在第三方面的某些实现方式中，所述协处理器包括：AI引擎模块、AI算法模块、AI算法库模块，AI应用层模块，
所述AI引擎模块用于：根据所述图像数据，调用对应的AI算法进行AI计算；
所述AI算法模块用于：根据输入的所述图像数据，调用AI算法库中对应的AI算子分析图像数据中的用户人脸数据为从有到无，或从无到有，并向所述AI应用层上报识别结果；
所述AI应用层模块用于：根据所述识别结果，向所述主控制器上报所述AI消息。
结合第三方面，在第三方面的某些实现方式中，所述主处理器具体用于：根据所述图像数据中的用户人脸数据，开启人脸识别功能，确定所述图像数据中的用户人脸数据为预设的人脸数据，解锁屏幕。
结合第三方面，在第三方面的某些实现方式中，所述主处理器还具体用于：确定所述图像数据中的用户人脸数据为从无到有，点亮屏幕。
结合第三方面，在第三方面的某些实现方式中，所述主处理器具体用于：确定所述图像数据中的用户人脸数据为有到无，锁定屏幕。
结合第三方面，在第三方面的某些实现方式中，所述主处理器还具体用于：在预设时间内确定所述图像数据中的用户人脸数据为有到无，熄灭屏幕。
结合第三方面，在第三方面的某些实现方式中，所述协处理器还包括：硬件加速器模块，用于对所述AI算法模块调用AI算法库模块分析所述图像数据中的用户人脸数据为从有到无，或从无到有的过程进行加速。
结合第三方面，在第三方面的某些实现方式中，所述AI算子库固化在所述协处理器的硬件中。
本申请实施例提供一种用于识别用户行为的终端，可以使得终端设备在低功耗模式 下，持续常开AI人工智能能力，实时感知用户动作、行为意图等，可以主动为用户提供更自然的人机交互和更好的用户体验。
第四方面，提供了一种终端，包括：
获取模块，用于通过低功耗摄像头实时获取图像数据，所述低功耗摄像头一直开启。
分析模块，用于根据所述图像数据，分析特定事件是否发生。
确定模块，用于确定所述特定事件发生。
处理模块，用于开启人工智能AI对应的应用功能。
本申请实施例中协处理器与主处理器连接，低功耗摄像头可以与协处理连接。
结合第四方面，在第四方面的某些实现方式中，分析模块具体用于：所述终端根据所述图像数据，调用AI算法分析所述特定事件是否发生。
结合第四方面，在第四方面的某些实现方式中，特定事件为所述图像数据中用户人脸数据的变化。
结合第四方面，在第四方面的某些实现方式中，所述确定模块具体用于：确定所述图像数据中的用户人脸数据为从有到无，或从无到有。
结合第四方面，在第四方面的某些实现方式中，所述确定模块具体用于：根据所述图像数据中的用户人脸数据，开启人脸识别功能，确定所述图像数据中的用户人脸数据为预设的第一人脸数据；解锁屏幕。
结合第四方面，在第四方面的某些实现方式中，所述确定模块具体用于：确定所述图像数据中的用户人脸数据为从无到有；点亮屏幕。
结合第四方面，在第四方面的某些实现方式中，所述确定模块具体用于：在预设时间内确定所述图像数据中的用户人脸数据为有到无；熄灭屏幕。
结合第四方面，在第四方面的某些实现方式中，分析模块具体用于：将所述图像数据输入到AI算法模型中，所述AI算法模型调用AI算子库中对应的算法分析所述图像数据是否为用户人脸数据。
结合第四方面，在第四方面的某些实现方式中，所述AI算法库固化在所述终端的硬件中。
结合第四方面，在第四方面的某些实现方式中，分析模块还具体用于：通过硬件加速器调用所述AI算子库中对应的算子，并根据所述图像数据分析所述特定事件是否发生。
第五方面，提供了一种计算机可读存储介质，包括计算机程序，当该计算机程序在计算机上运行时，使得该计算机如执行第一方面或第一方面的任意一种实现方式中所述的方法。
第六方面，提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行如第一方面或第一方面任意一种实现方式中所述的方法。
附图说明
图1是本申请实施例提供的一种用于识别用户行为的方法的示意性流程图。
图2是本申请实施例提供的一种终端200的硬件架构示意性框图。
图3是本申请实施例提供的一种终端设备人脸识别解锁场景的示意性流程图。
图4是本申请实施例提供的一种终端设备智能亮屏解锁的场景的示意性流程图。
图5是本申请实施例提供的一种终端设备智能灭屏的场景的示意性流程图。
图6是本申请实施例提供的一种终端设备环境场景识别场景的示意性流程图。
图7是本申请实施例提供的一种终端700的示意性结构图。
图8是本申请实施例提供的一种用于识别用户行为的芯片800的示意性结构图。
图9是使用本申请实施例提供的用于识别用户行为的方法之后终端的界面变化示意图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
应理解，本申请实施例中对提及的终端设备的类型不做具体限定，终端设备可以包括但不限于移动台(mobile station，MS)、移动电话(mobile telephone)、用户设备(user equipment，UE)、手机(handset)、便携设备(portable equipment)、蜂窝电话、无绳电话、会话启动协议(session initiation protocol，SIP)电话、无线本地环路(wireless local loop，WLL)站、个人数字处理(personal digital assistant，PDA)、物流用的射频识别(radio frequency identification，RFID)终端设备，具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它设备、车载设备、可穿戴设备、物联网、车辆网中的终端设备。
作为示例而非限定，在本申请实施例中，该终端设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，例如：智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。
人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。
随着AI人工智能技术的发展，AI技术在终端设备上的应用越来越广泛，使得终端设备的功能越来越智能化。例如，随着AI技术在终端设备上的普及推广，终端设备在感知领域、图像处理领域、音频处理领域、语言处理领域等方面的功能越来越强大。
现有技术中，AI人工智能集成在软件系统中，该AI人工智能功能基本上都需要用户的某一个动作或其他应用模块的触发。现有技术的终端设备中在有业务需要时，对应的应用模块才会调用相应的AI人工智能功能。该终端设备中的AI人工智能的功能不会持续常开，不会通过AI技术持续常开来感知用户行为、行为意图、环境改变等变化。
下面结合人脸解锁功能详细分析现有技术中AI技术需要用户的某一个动作或其他应 用模块的触发，才会触发相应的AI人工智能功能。
现有技术中，当用户需要开启终端设备中的人脸解锁功能时，该用户可以拿起手机或旋转手机。终端设备可以在系统休眠或正常待机的情况下，由传感器等器件识别该用户的特定的动作。例如，终端设备可以由加速度、陀螺仪等传感器识别该用户拿起手机或旋转手机等特定的动作。系统被唤醒之后，触发了人脸解锁业务，该人脸解锁业务开启摄像头，获取人脸图像。并且人脸解锁业务根据获取的人脸图像，调用对应的AI算法检测人脸，并对人脸的检测结果进行识别对比。如果识别到的人脸和预设的人脸的结果一致，则可以解锁系统，如果识别到的人脸和预设的人脸的结果不一致，则可以不解锁系统，终端设备转入休眠状态。
由现有的终端设备中的人脸解锁功能可以看出，现有技术中人脸解锁功能需要额外的动作触发才可以开启。如果用户无法操作该终端设备，例如，无法拿起手机或旋转手机，则人脸解锁业务对应的AI算法无法开启，其用户体验度不好。
下面结合图像处理功能详细分析现有技术中AI技术需要用户的某一个动作或其他应用模块的触发，才会触发相应的AI人工智能功能。
现有技术中，当用户需要开启终端设备中的相机拍照图像处理功能时，用户在拍照之后，可以在相机模块生成原始图像。该相机模块可以调用对应的AI算法分析图像信息和深景信息，并可以在识别出人脸和深景图像之后，可以对相应的背景区域做逆光、去雾等操作，可以提高人脸饱和度，减少颜色失真。
由现有的终端设备中的相机拍照图像处理功能可以看出，AI算法集成在软件系统中，作为软件系统的一个能力，需要由其他应用模块调用才会触发相应的AI算法。如果其他应用模块没有触发，则该AI算法无法开启，该终端设备不会主动、实时感知周边的环境状态。
综上所述，现有技术中终端设备不能够自主运行AI感知能力，需要依赖特定的动作或需要某些应用模块的调用，其用户体验度不佳。
本申请实施例提供了一种用于识别用户动作、行为意图等的方法，可以使得终端设备不依赖用户的特定操作，可以实时感知用户意图的变化，可以为用户提供无缝感知应用业务的能力，使得终端设备更智能化，人机体验更舒适。
图1是本申请实施例提供的一种用于识别用户行为的方法的示意性流程图。图1所示的方法可以包括步骤110-140，下面对步骤110-140进行详细描述。
步骤110，终端通过低功耗摄像头实时获取图像数据。
本申请实施例中的低功耗的摄像头可以以特定帧率一直开启，从而可以实时采集终端设备周边的图像数据，并可以将采集到的图像数据上报至协控制器。
应理解，低功耗摄像头可以作为基础设施，并且持续不断的采集终端周围的数据，为终端设备实现自主运行AI人工智能技术提供硬件基础。
步骤120，终端根据图像数据，分析特定事件是否发生。
本申请实施例中对特定事件的场景不做具体限定。作为一个示例，在人脸识别的场景下，该特定事件的发生可以用于表示低功耗摄像头采集到的图像数据中用户人脸数据为从有到无，或从无到有。作为另一个示例，在智能人脸解锁的场景下，该特定事件的发生可以用于表示低功耗摄像头采集到的图像数据中用户人脸数据为从无到有，且该图像数据中 用户人脸数据与预存储的人脸数据匹配。作为另一个示例，在智能灭屏的场景下，该特定事件的发生可以用于表示在特定时间内，低功耗摄像头采集到的图像数据中没有用户人脸数据。下面会结合图2-图5对上述场景的具体实现过程进行详细描述，此处不再赘述。
步骤130，终端确定特定事件发生。
终端可以调用对应的AI算法，对接收到的图像中的数据进行分析，确定某种特定事件的发生。作为一个示例，特定事件为用户人脸数据从有到无，或从到有。终端可以调用人脸检测算法，对采集到的图像中的数据进行分析，确定该数据是否符合人脸基本轮廓特征。如果该数据符合人脸基本轮廓特征，可以确定该特定事件的发生。作为一个示例，特定事件为用户人脸识别。终端可以调用人脸识别算法，对采集到的图像中的用户人脸数据与预存储的用户人脸数据(机主预存储的用户人脸数据)进行对比，确定图像中的人脸与预存储的人脸是否匹配。如果该图像中的人脸与预存储的人脸匹配，可以确定该特定事件的发生。作为另一个示例，特定事件为用户周边环境场景为目标场景。终端可以对采集到的图像中的环境场景调用环境识别算法，对用户周边环境场景是否为目标场景进行判断，确定图像中的环境场景是否为目标场景。如果该用户周边环境场景为目标场景，可以确定该特定事件的发生。
步骤140，终端开启相应的应用功能。
本申请实施例中的终端开启的AI对应的工作模式可以理解为不同的APP对应的功能。作为一个示例，对于人脸解锁的应用，可以根据人脸识别结果开启人脸识别解锁功能。作为另一个示例，对于智能亮屏的应用，可以根据人脸检测结果开启亮屏功能。
本申请实施例中，终端可以通过低功耗摄像头实时采集用户图像数据，并可自主运行AI感知能力。可以使得终端设备不依赖用户的特定操作，实时感知用户动作、行为意图等，可以为用户提供无缝感知应用业务的能力，使得终端设备更智能化，人机体验更舒适。
本申请实施例中终端可以包括：主处理器、协处理器以及常开的低功耗摄像头。
在没有业务时，终端中的主控制器系统正常休眠待机，进入低功耗模式。当终端中的协处理器上报AI事件消息后，终端中的主控制器系统被唤醒。终端中的主控制器可以根据产品业务需求，实现各种亮点业务功能，或者将事件消息传递给其他相关的业务模块，由其他业务模块完成最终的处理。
作为一个示例，终端可以在步骤120中判断到有特定事件发生的情况下，将AI识别结果上报给主控制器。作为一个示例，协处理器可以在AI应用层生成AI消息，并可以向主控制器上报该AI消息。下面会结合图2进行详细描述，此处不再赘述。
作为另一个示例，终端中的协处理器可以根据图像数据以及对应的AI算法分析该图像中是否可以检测到用户的脸部，并可以跟之前采集到的状态判断低功耗摄像头采集到的图像中由之前的无用户人脸数据变化为有用户人脸数据，或由之前的有用户人脸数据变化为无用户人脸数据(也可以理解为用户行为意图的变化)。作为另一个示例，识别用户周边环境的场景下，该特事件的发生可以用于表示低功耗摄像头采集到的图像中用户周围的环境场景发生了变化。例如，协处理器可以根据图像数据以及对应的AI算法分析该图像中可以检测到目标环境场景，并可以根据之前采集到的用户周围的环境场景分析到由之前的环境场景变化为目标环境场景。下面会结合图3-图6对上述两种应用场景的具体实现方式进行描述，此处不再赘述。
本申请实施例中主控制器可以负责运行终端设备的各类应用，包括但不限于：用户界面(user interface，UI)人际交互界面、人脸识别、环境识别、屏幕自动亮灭等。
下面结合图2详细描述本申请实施例中主处理器和协处理器协同处理，从而实现终端设备可以自主运行AI感知能力，实时感知用户意图、表情以及环境的变化的具体实现方式。
图2是本申请实施例提供的一种终端200的硬件架构示意性框图。图2所示的硬件架构可以包括主处理器210、协处理器220、低功耗摄像头230。
协处理器220：集成了AI能力，可以以低功耗模式持续运行检测用户动作意图和环境变化。协处理器220与主处理器210连接，当检测到相应的事件后，通过向主处理器210上报AI事件消息触发唤醒主控制器210。
主处理器210：在没有业务时，主控制器210系统可以进行正常休眠待机状态，进入低功耗模式。当接收到协处理器220发送的AI事件消息之后，主处理器210被唤醒后，接收协处理器220上报的事件，触发相应的业务场景功能。
低功耗常开摄像头230：通过协处理器220提供的外围芯片软件接口(驱动)与协处理器220连接，为协处理器220处理AI业务提供了数据来源。
下面对协处理器220的系统架构进行详细描述。
协处理器220模块可以是一个实时操作系统(real time operating system，RTOS)。当外界事件或数据产生时，能够接受并以足够快的速度予以处理。其处理的结果又能在规定的时间之内来控制生产过程或对处理系统做出快速响应，调度一切可利用的资源完成实时任务。并控制所有实时任务协调一致运行的操作系统，响应速度快，可靠性高。
协处理器220的RTOS系统可以包括：内核(kernel)221、框架层(framework层)222、APP应用层223。
内核(kernel)221包括：外设驱动模块2211、硬件加速模块2212、AI算子库模块2213。
framework层222包括：AI应用管理模块2221、AI算法管理模块2222、AI算法模型2223。
APP应用层223包括：AI应用层模块2231、AI引擎模块2232、AI模型管理模块2233。
下面对上述几种模块进行详细描述。
外设驱动模块2211：可以为连接各类外围芯片提供软件接口。例如，可以连接低功耗摄像头230，该低功耗摄像头230可以为协处理器220感知用户行为意图或环境变化提供了硬件基础。协处理器220可以根据低功耗摄像头230采集到的图像数据，分析用户的动作以及周围环境等特征，为协处理器220处理AI业务提供了数据来源。
具体的，终端可以通过外设驱动模块2211连接的常开的低功耗摄像头230，实时获取图像数据。
可选地，在一些实施例中，可以连接在外设驱动模块2211的外围器件还可以包括但不限于：传感器(可以用于识别用户动作)、低功耗麦克风(可以用于分析用户语音等特征)、位置传感器(例如，全球定位系统(global postem system，GPS)、无线局域网(wireless fidelity，WIFI)、调制解调器(modem)，可以用于提供用户的位置信息)。
AI应用管理模块2221：可以对外设驱动模块2211上报的数据进行分类。例如将接收 到的数据分为图像类、视频类、音频类等，以便于调用不同类别的AI算法模型2223进行分析处理。
AI引擎模块2232：可以负责调度、协调AI算法模型2223进行运算。由于同时有多个AI算法模型2223运行，AI引擎模块2232的调度管理控制可以最大限度的保证软件有序运行。
AI算法管理模块2222：负责算法管理，可以根据AI应用管理模块2221上报的不同类别的数据，从多个运行的AI算法模型2223中选择出对应的AI算法模型进行分析。
AI算法模型2223：可以是符合某些业务的图像、声音的算法特征的集合。例如，在进行人脸识别业务时，该AI算法模型2223可以是符合人脸轮廓特征的集合。又如，在进行环境场景识别的业务时，该AI算法模型2223可以是符合某个环境场景的特征的集合。AI算法模型2223可以通过大规模的图像数据进行训练，训练完成之后生成算法模型，并可以由对应的AI算子运行该算法模型进行环境识别或人脸识别等操作。
具体的，终端中的协处理220可以在接收到常开的低功耗摄像头230上报的图像数据之后，AI应用管理模块2221可以根据需要处理的数据为对图像中的数据是否为用户人脸数据，并通过AI引擎模块2232调用对应的AI算法分析采集到的图像中的数据是否为用户人脸数据。
需要说明的是，AI算法模型2223可以默认集成在软件系统中，也可以通过主控制器210更新到协处理器220中，本申请实施例对此不做具体限定。
AI模型管理模块2233：在一些实施例中，主控制器210还可以对AI算法模型2223进行优化。例如，可以使用GPS/WIFI/modem等定位信息对AI算法模型2223的结果进行综合判断，以提高AI算法模型2223的准确率。AI模型管理模块2233可以对AI算法模型2223中的某些特征进行修改。
AI算子库模块2213：AI引擎模块2232可以通过调用AI算子库模块2213中的算子来运行AI模型管理模块2233进行环境识别或人脸识别等操作。由于协处理器220资源有限，可以将设计大量数学计算的AI算子库模块2213固化在硬件中，可以由硬件实现AI的大部分算子，可以避免软件实现算子产生的高处理器负荷。硬件固化算子的接口可以由内核(kernel)221提供接口给AI模型管理模块2233使用。
应理解，AI算子库模块2213固化在硬件中(软件固化)可以是将软件写到协处理器芯片上，可以通过协处理器芯片来运行烧写上的软件。软件固化即把软件制做在硅片(就是所谓固件)上来实现软件功能，使操作系统和语言处理的复杂性由软硬件双方分担。
本申请实施例中，将AI算子库模块2213固化在协处理器的硬件上，该软件固化的操作可以提高整个系统的操作速度，改善可靠性，降低成本，便于大规模生产和实现标准化。
硬件加速模块2212：可以通过加速模式，对AI引擎模块2232调用AI算子库模块2213中的算子来运行AI模型管理模块2233的过程进行加速。可以保证AI引擎模块2232快速实时的调用AI算子库模块2213中的算子，为framework层222AI模型管理模块2233中的各类AI算法提供能力接口。
AI应用层模块2231：可以位于APP应用层223，可以按照终端设备业务设计的场景需求，在APP应用层223实现各种持续AI应用。AI应用层模块2231可以调用到各类算法得到外围连接各类器件的AI识别结果之后，并可以将对应的AI事件消息上报给主控制 器210。如果主控制器210是处于休眠状态，可以在被唤醒之后，对该AI事件消息进行二次处理。
具体的，终端在低功耗摄像头230上报的图像数据中的用户人脸数据为从有到无，或从无到有时，AI应用管理模块2221将人脸检测结果结果上报给AI应用层模块2231。AI应用层模块2231在得到识别结果之后，就会形成识别事件消息，并将该识别事件消息上报给主控制器210中的AI事件消息管理器212。
下面对主处理器210的系统架构进行详细描述。
主处理器210：负责运行终端设备的各类应用，包括UI人机交互界面，和云端交互等。在没有业务时，主控制器系统正常休眠待机，进入低功耗模式。
主处理器210可以包括：AI本地(AI native)211、AI事件消息管理器(AI service)212、应用(application，APP)213、APP 214、APP 215。
AI本地(AI native)211：可以接收协处理器220上报的AI事件消息，主控制器210被唤醒。还可以将主控制器210优化后的AI算法模型2223发送至协处理器220的AI引擎模块2232，AI引擎模块2232可以通过AI模型管理模块2233将对AI算法模型2223进行更新。
AI事件消息管理器(AI service)212：可以接收AI native 211上报的AI事件消息，并统一管理终端设备的AI能力接口，为各个业务模块提供AI应用程序界面(application program interfae，API)。根据产品业务需求，实现各种亮点业务功能。例如，可以根据不同的应用(APP 213或APP 214或APP 215)，实现不同的亮点业务功能。
具体的，主控制器210中的AI事件消息管理器212在接收到AI应用层模块2231发送的识别事件消息之后，该主控制器210被唤醒。主控制器210可以在判断低功耗摄像头230上报的图像中检测到的用户人脸数据与预存储的人脸数据(机主人脸数据，可以理解为分析低功耗摄像头230上报的图像中检测到的用户人脸与机主人脸是否匹配)。在判断低功耗摄像头230上报的图像中检测到的用户人脸与预存储的人脸匹配时，可以开启对应的应用功能(例如，人脸识别解锁，解锁屏幕)。
可选地，在一些实施例中，如果需要大数据处理，AI service 212还可以将数据传递到云端，完成终端设备和云结合的低功耗业务处理模式。
本申请实施例中，协处理器运行的主频较低，涉及的大量数学运算的AI算子是以硬件固化的方式集成，并且外围的器件为低功耗器件，可以在低功耗的模式下常开并运行AI感知能力，使得终端设备可以不依赖特定的动作，能够感知用户的动作变化或环境变化。
下面结合图3-图6中的具体场景对图2所示的硬件架构的具体实现方式进行详细描述。
图3是本申请实施例提供的一种终端设备人脸识别解锁场景的示意性流程图。图3所示的方法可以包括步骤310-360，下面对步骤310-360进行详细描述。
应注意，图3的例子仅仅是为了帮助本领域技术人员理解本申请实施例，而非要将申请实施例限制于所示例的具体数值或具体场景。本领域技术人员根据文所给出的图3的例子，显然可以进行各种等价的修改或变化，这样的修改和变化也落入本申请实施例的范围内。
步骤310：开始。
步骤315：低功耗摄像头采集图像。
协处理器220下面连接的低功耗摄像头230不断采集终端设备周围的图像，并可以将采集到的图像数据上报给AI应用管理模块2221。
步骤320：协处理器调用人脸检测算法模型，检测是否有人脸数据。
协处理220可以在接收到低功耗摄像头230上报的图像数据之后，AI应用管理模块2221可以根据需要处理的数据为分析图像中的用户的脸部数据，通过AI引擎模块2232调用对应的AI人脸检测算法模型2223分析采集到的图像中是否有人脸数据出现。
具体地，AI人脸检测算法模型2223可以调用AI算子库模块2213中对应的AI算子，运行该AI人脸检测算法模型2223进行人脸检测。如果该AI人脸检测算法模型2223可以检测到图像中用户的脸部轮廓特征完整，符合人脸特征，可以判断低功耗摄像头230上报的图像中有人脸出现。
如果人脸检测结果为上报的图像中用户脸部轮廓完整，符合人脸特征(即图像中出现用户人脸)，则AI应用管理模块2221可以执行步骤325。
如果人脸检测结果为上报的图像中用户脸部轮廓不完整，不符合人脸特征(即图像中未出现用户人脸)，则AI应用管理模块2221可以重新执行步骤315。
步骤325：与之前状态相比，判断人脸检测结果是否有变化。
可以在AI人脸检测算法模型2223检测出图像出现用户人脸之后，可以和之前的状态对比，看人脸检测结果是否发生变化。
如果对比之前的状态，发现低功耗摄像头230上报的图像由之前的图像中没有用户人脸出现的状态变化为现在采集到的图像中有用户人脸出现的状态时，AI应用管理模块2221可以执行步骤330。
如果对比之前的状态，发现低功耗摄像头230上报的图像中检测到人脸的状态没有发生变化，也就是说，之前低功耗摄像头230上报的图像检测到有用户人脸，与现在图像中的状态相比没有变化，AI应用管理模块2221可以重新执行步骤315。
步骤330：协处理器将人脸检测消息上报给主控制器。
在低功耗摄像头230上报的图像由之前的图像中没有用户人脸出现的状态变化为现在采集到的图像中有用户人脸出现的状态时，AI应用管理模块2221将人脸检测结果上报给主控制器210。
具体的，协处理器220中的AI应用管理模块2221可以将人脸检测结果上报给AI应用层模块2231。AI应用层模块2231在得到人脸检测结果之后，就会形成人脸检测事件消息，并将该人脸检测事件消息上报给主控制器210中的AI事件消息管理器212。
步骤335：主控制器被唤醒。
主控制器210中的AI事件消息管理器212在接收到AI应用层模块2231发送的人脸检测事件消息之后，该主控制器210被唤醒。
步骤340：主控制器启动人脸识别流程。
主控制器210可以在接收到人脸检测事件消息之后，可以启动对应的人脸识别流程。
步骤345：主控制器判断人脸特征是否和机主匹配。
主控制器210可以在启动对应的人脸识别流程之后，可以判断功耗摄像头230上报的 图像检测到人脸特征是否与保存的的人脸图像相匹配。
如果主控制器210判断功耗摄像头230上报的图像检测到人脸特征与保存的的人脸图像匹配，则可以执行步骤350。
如果主控制器210判断功耗摄像头230上报的图像检测到人脸特征与保存的的人脸图像不匹配，则可以执行步骤355。
步骤350：主控制器解锁屏幕。
主控制器210在判断功耗摄像头230上报的图像检测到人脸特征与保存的的人脸图像匹配的情况下，解锁终端设备的屏幕，并显示加密的信息提示，终端设备进入正常使用模式。
步骤355：主控制器保持屏幕锁定状态。
主控制器210在判断功耗摄像头230上报的图像检测到人脸特征与保存的的人脸图像不匹配的情况下，保持屏幕锁定状态。
步骤360：结束。
本申请实施例中，终端设备可以通过低功耗摄像头实时采集用户图像数据，并可自主运行AI感知能力。当用户需要使用终端设备时，只需要将头部出现在终端屏幕的前方，终端设备可以自主进行人脸识别解锁功能，使得终端设备更智能化，人机体验更舒适。
参见图9，当用户(该用户的人脸数据必须与机主的人脸特征匹配，或与预存储的人脸特征匹配)需要使用终端设备时，只需要将头部出现在终端屏幕的前方，终端的界面由910自动变成了界面920。从图9中可以看出，当用户的头部没有出现在终端屏幕的前方时，终端的屏幕是保持锁屏状态(参见图9中的930，终端主页面为锁屏状态)，当用户需要使用终端设备时，头部出现在终端屏幕的前方，终端自动解锁屏幕(参见图9中的940，终端主界面屏幕解锁成功)。
下面结合图4中具体的例子，更加详细地描述本申请实施例中终端设备智能亮屏解锁的场景。应注意，图4的例子仅仅是为了帮助本领域技术人员理解本申请实施例，而非要将申请实施例限制于所示例的具体数值或具体场景。本领域技术人员根据文所给出的图4的例子，显然可以进行各种等价的修改或变化，这样的修改和变化也落入本申请实施例的范围内。
图4是本申请实施例提供的一种终端设备智能亮屏解锁的场景的示意性流程图。图4所示的方法可以包括步骤410-460，下面对步骤410-460进行详细描述。
本申请实施例中终端设备智能亮屏解锁可以理解为终端设备在处于休眠状态时，用户看着终端设备的屏幕，该屏幕自动点亮，并可以进入后续的人脸识别解锁流程。
应理解，图4的终端设备智能亮屏解锁的场景可以是在图3所示的协控制器在完成人脸检测之后，增加终端设备亮屏功能，主控制器进行后续的人脸识别流程。
步骤410-435的描述请参考图3中步骤310-335，此处不再赘述。
步骤440：主控制器点亮屏幕，启动人脸识别流程。
主控制器210可以在接收到人脸检测事件消息之后，点亮屏幕，并启动人脸识别流程。
步骤445：主控制器判断人脸特征是否和机主匹配。
主控制器210可以在启动对应的人脸识别流程之后，可以判断功耗摄像头230上报的图像检测到人脸特征是否与保存的的人脸图像相匹配。
如果主控制器210判断功耗摄像头230上报的图像检测到人脸特征与保存的的人脸图像匹配，则可以执行步骤450。
如果主控制器210判断功耗摄像头230上报的图像检测到人脸特征与保存的的人脸图像不匹配，则可以执行步骤455。
步骤450：主控制器解锁屏幕。
主控制器210在判断功耗摄像头230上报的图像检测到人脸特征与保存的的人脸图像匹配的情况下，解锁终端设备的屏幕，并显示加密的信息提示，终端设备进入正常使用模式。
步骤455：主控制器保持屏幕锁定状态。
主控制器210在判断功耗摄像头230上报的图像检测到人脸特征与保存的的人脸图像不匹配的情况下，保持屏幕锁定状态。如果一定时间内检测不到人脸，则可以进入灭屏休眠状态。具体的有关终端设备进入灭屏休眠状态的流程，请参见图5所示的方法，此处不再赘述。
步骤460：结束。
本申请实施例中，终端设备可以通过低功耗摄像头实时采集用户图像数据，并可自主运行AI感知能力。当用户需要使用终端设备时，只需要将头部出现在终端屏幕的前方，终端设备可以自主亮屏。使得用户在不方便操作终端设备时，可以做到屏幕随心，使得终端设备更智能化，人机体验更舒适。
下面结合图5中具体的例子，更加详细地描述本申请实施例中终端设备智能灭屏解锁的场景。应注意，图5的例子仅仅是为了帮助本领域技术人员理解本申请实施例，而非要将申请实施例限制于所示例的具体数值或具体场景。本领域技术人员根据文所给出的图5的例子，显然可以进行各种等价的修改或变化，这样的修改和变化也落入本申请实施例的范围内。
图5是本申请实施例提供的一种终端设备智能灭屏的场景的示意性流程图。图5所示的方法可以包括步骤510-570，下面对步骤510-570进行详细描述。
本申请实施例中终端设备智能亮屏解锁可以理解为用户看着终端屏幕时，该屏幕点亮。
本申请实施例中终端设备智能灭屏解锁可以理解为如果用户在一定时长内不看该屏幕时，该屏幕自动熄灭。
步骤510：开始。
步骤515：低功耗摄像头采集图像。
协处理器220下面连接的低功耗摄像头230不断采集终端设备周围的图像，并可以将采集到的图像数据上报给AI应用管理模块2221。
步骤520：协处理器调用人脸检测算法模型，检测是否有人脸。
协处理220可以在接收到低功耗摄像头230上报的图像数据之后，AI应用管理模块2221可以根据需要处理的数据为分析图像中的用户的脸部特征，通过AI引擎模块2232调用对应的AI人脸检测算法模型2223分析采集到的图像中是否有人脸出现。
具体地，AI人脸检测算法模型2223可以调用AI算子库模块2213中对应的AI算子，运行该AI人脸检测算法模型2223进行人脸检测。如果该AI人脸检测算法模型2223可以 检测到图像中用户的脸部轮廓特征完整，符合人脸特征，可以判断低功耗摄像头230上报的图像中有人脸出现。
如果人脸检测结果为上报的图像中用户脸部轮廓完整，符合人脸特征(即图像中出现用户人脸)，则AI应用管理模块2221可以重新执行步骤515。
应理解，如果在终端设备亮屏之后，AI人脸检测算法模型2223检测到屏幕前方还有用户人脸，则屏幕持续点亮，并重新进行检测。
如果人脸检测结果为上报的图像中用户脸部轮廓不完整，不符合人脸特征(即图像中未出现用户人脸)，则AI应用管理模块2221可以执行步骤525。
步骤525：与之前状态相比，判断人脸检测结果是否有变化。
可以在AI人脸检测算法模型2223发现低功耗摄像头230上报的图像中没有检测到用户人脸，可以和之前的状态对比，看人脸检测结果是否发生变化。
如果对比之前的状态，发现低功耗摄像头230上报的图像由之前的图像中有用户人脸出现的状态变化为现在采集到的图像中没有用户人脸出现的状态时，AI应用管理模块2221可以执行步骤530。
步骤530：协处理器将人脸检测消息上报给主控制器。
在低功耗摄像头230上报的图像由之前的图像中有用户人脸出现的状态变化为现在采集到的图像中没有用户人脸出现的状态时，AI应用管理模块2221将人脸检测结果上报给主控制器210。
应理解，当用户看着屏幕时，协处理器220通过低功耗摄像头230采集的图像一直检测有人脸，屏幕不会熄灭。当用户不看屏幕时，协处理器220通过低功耗摄像头230采集的图像检测不到人脸时，协处理器220产生事件消息并通知主控制器210，主控制器210进入灭屏休眠的流程。
步骤535：主控制器被唤醒。
主控制器210中的AI事件消息管理器212在接收到AI应用层模块2231发送的人脸检测事件消息之后，该主控制器210被唤醒。
步骤540：主控制器判断有无人脸。
主控制器210可以在接收到人脸检测事件消息之后，判断低功耗摄像头230上报的图像中是否检测到人脸。
如果低功耗摄像头230上报的图像中没有检测到人脸，则主控制器210可以执行步骤545-555。
如果低功耗摄像头230上报的图像中检测到人脸，则主控制器210可以执行步骤560-565。
步骤545：主控制器启动休眠定时器。
主控制器210可以在接收到人脸检测事件消息之后，由于协处理器220通过低功耗摄像头230采集的图像检测不到人脸，主控制器210启动休眠定时器，并进入休眠状态。
步骤550：定时器是否触发。
主控制器210在触发定时器的情况下，可以执行步骤555。
主控制器210在没有触发定时器的情况下，可以执行步骤565。
步骤555：暗屏，进入休眠模式。
主控制器210可以在触发了定时器的情况下，熄灭屏幕，并进入休眠模式。
步骤560：关闭定时器。
主控制器210可以在接收到人脸检测事件消息之后，由于协处理器220通过低功耗摄像头230采集的图像检测到人脸，主控制器210关闭定时器。
步骤565：保持亮屏状态。
步骤570：结束。
主控制器210可以在关闭定时器的情况下，说明协处理器220通过低功耗摄像头230采集的图像一直检测有人脸，用户一直在看着屏幕，保持亮屏状态。
本申请实施例中，终端设备可以通过低功耗摄像头实时采集用户图像数据，并可自主运行AI感知能力。当用户一段时间内不看终端屏幕时，终端设备可以自主灭屏。使得用户在不方便操作终端设备时，可以做到屏幕随心，使得终端设备更智能化，人机体验更舒适。
下面结合图6中具体的例子，更加详细地描述本申请实施例中终端设备环境场景识别场景。应注意，图6的例子仅仅是为了帮助本领域技术人员理解本申请实施例，而非要将申请实施例限制于所示例的具体数值或具体场景。本领域技术人员根据文所给出的图6的例子，显然可以进行各种等价的修改或变化，这样的修改和变化也落入本申请实施例的范围内。
图6是本申请实施例提供的一种终端设备环境场景识别场景的示意性流程图。图6所示的方法可以包括步骤610-655，下面对步骤610-655进行详细描述。
步骤610：开始。
步骤615：低功耗摄像头采集图像。
协处理器220下面连接的低功耗摄像头230不断采集终端设备周围的图像，并可以将采集到的图像数据上报给AI应用管理模块2221。
步骤620：协处理器调用环境识别算法模型，检测用户周围的环境场景是否是目标环境场景。
协处理220可以在接收到低功耗摄像头230上报的图像数据之后，AI应用管理模块2221可以根据需要处理的数据为分析图像中的用户周边环境场景进行识别，通过AI引擎模块2232调用对应的环境识别算法模型分析采集到的图像中用户周边环境场景是否为目标环境场景(例如，会议室)。
如果识别出图像中的用户周边环境场景为目标环境场景，则AI应用管理模块2221可以执行步骤625。
如果识别出图像中的用户周边环境场景不是目标环境场景，则AI应用管理模块2221可以重新执行步骤615。
步骤625：与之前状态相比，判断环境场景检测结果是否发生变化。
可以在环境识别算法模型检测出图像中用户的周边环境场景为目标环境场景之后，可以和之前的状态对比，看环境场景检测结果是否发生变化。
如果对比之前的状态，发现低功耗摄像头230上报的图像由其他环境场景(例如，车内)变化为现在采集到的图像的目标环境场景(例如，会议室)时，则AI应用管理模块2221可以执行步骤630。
如果对比之前的状态，发现低功耗摄像头230上报的图像没有由其他环境场景(例如，车内)变化为现在采集到的图像的目标环境场景时，则AI应用管理模块2221可以重新执行步骤315。
步骤630：协处理器将环境识别消息上报给主控制器。
在低功耗摄像头230上报的图像由其他环境场景(例如，车内)变化为现在采集到的图像的目标环境场景时，AI应用管理模块2221将环境识别结果上报给主控制器210。
具体的，协处理器220中的AI应用管理模块2221可以将环境识别结果上报给AI应用层模块2231。AI应用层模块2231在得到环境识别结果之后，就会形成环境识别事件消息，并将该环境识别事件消息上报给主控制器210中的AI事件消息管理器212。
步骤635：主控制器被唤醒。
主控制器210中的AI事件消息管理器212在接收到AI应用层模块2231发送的环境识别事件消息之后，该主控制器210被唤醒。
步骤640：主控制器判断是否切换为目标环境场景。
主控制器210可以在被唤醒之后，可以判断功耗摄像头230上报的图像中检测到的用户周围环境场景是否变化为目标环境场景。
如果主控制器210判断功耗摄像头230上报的图像中检测到的用户周围环境场景变化为目标环境场景的情况下，可以执行步骤645。
如果主控制器210判断功耗摄像头230上报的图像中检测到的用户周围环境场景没有变化为目标环境场景的情况下，可以执行步骤650。
步骤645：主控制器改变终端场景模式。
主控制器210可以在判断功耗摄像头230上报的图像中检测到的用户周围环境场景变化为目标环境场景的情况下，可以自动更改终端设备的模式。
以目标环境场景为会议室，如果主控制器210接收到的环境识别结果为用户场景切换到了会议室，则该终端设备自动调整为会议模式(例如，震动或静音模式)。
以目标环境场景为车内或室外为例，如果主控制器210接收到的环境识别结果为用户场景切换到了车内或室外则该终端设备自动调整为驾驶模式(例如，铃声模式)。
步骤650：主控制器不改变终端场景模式。
主控制器210可以在判断功耗摄像头230上报的图像中检测到的用户周围环境场景没有变化为目标环境场景的情况下，可以不改变终端设备的模式。
步骤655：结束。
本申请实施例中，终端设备可以通过低功耗摄像头实时采集用户图像数据，并可自主运行AI感知能力。终端设备可以自动识别环境并切换到对应的场景模式(例如，会议模式)，使得终端设备更智能化，人机体验更舒适。
上文结合图1至图6，详细描述了本发明实施例提供的一种用于识别用户行为的方法，下面详细描述本申请实施例的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
图7是本申请实施例提供的一种终端700的示意性结构图。终端700可以包括：获取模块710、分析模块720、确定模块730、处理模块740。下面对上述几种模块进行详细描述。
获取模块710，用于通过低功耗摄像头实时获取图像数据，所述低功耗摄像头一直开启。
分析模块720，用于根据所述图像数据，分析特定事件是否发生。
确定模块730，用于确定所述特定事件发生。
处理模块740，用于开启人工智能AI对应的应用功能。
可选地，在一些实施例中，分析模块720具体用于：所述终端根据所述图像数据，调用AI算法分析所述特定事件是否发生。
可选地，在一些实施例中，特定事件为所述图像数据中用户人脸数据的变化。
可选地，在一些实施例中，所述确定模块730具体用于：确定所述图像数据中的用户人脸数据为从有到无，或从无到有。
可选地，在一些实施例中，所述确定模块730具体用于：根据所述图像数据中的用户人脸数据，开启人脸识别功能，确定所述图像数据中的用户人脸数据为预设的第一人脸数据；解锁屏幕。
可选地，在一些实施例中，所述确定模块730具体用于：确定所述图像数据中的用户人脸数据为从无到有；点亮屏幕。
可选地，在一些实施例中，所述确定模块730具体用于：在预设时间内确定所述图像数据中的用户人脸数据为有到无；熄灭屏幕。
可选地，在一些实施例中，分析模块720具体用于：将所述图像数据输入到AI算法模型中，所述AI算法模型调用AI算子库中对应的算法分析所述图像数据是否为用户人脸数据。
可选地，在一些实施例中，所述AI算法库固化在所述终端的硬件中。
可选地，在一些实施例中，分析模块720还具体用于：通过硬件加速器调用所述AI算子库中对应的算子，并根据所述图像数据分析所述特定事件是否发生。
图8是本申请实施例提供的一种用于识别用户行为的芯片800的示意性结构图。，该芯片可以包括协处理器810、主处理器820。
其中，协处理器820可以对应于图2所示的协处理器220，主处理器810可以对应于图2所示的主处理器210。
所述协处理器820用于执行以下操作：通过低功耗摄像头实时获取图像数据，所述低功耗摄像头与所述协处理器相连，所述低功耗摄像头一直开启；根据所述图像数据，分析特定事件是否发生；确定所述特定事件发生，向主处理器发送人工智能AI消息。
所述主处理器810用于：根据接收到的所述AI消息开启AI对应的应用功能。
可选地，在一些实施例中，所述协处理器820具体用于：根据所述图像数据，调用AI算法分析所述特定事件是否发生。
可选地，在一些实施例中，所述特定事件为所述图像数据中用户人脸数据的变化。
可选地，在一些实施例中，所述协处理器820包括：AI引擎模块、AI算法模块、AI算法库模块，AI应用层模块，
所述AI引擎模块用于：根据所述图像数据，调用对应的AI算法进行AI计算；
所述AI算法模块用于：根据输入的所述图像数据，调用AI算法库中对应的AI算子分析图像数据中的用户人脸数据为从有到无，或从无到有，并向所述AI应用层上报识别 结果；
所述AI应用层模块用于：根据所述识别结果，向所述主控制器上报所述AI消息。
可选地，在一些实施例中，所述主处理器810具体用于：根据所述图像数据中的用户人脸数据，开启人脸识别功能，确定所述图像数据中的用户人脸数据为预设的人脸数据，解锁屏幕。
可选地，在一些实施例中，所述主处理器810还具体用于：确定所述图像数据中的用户人脸数据为从无到有，点亮屏幕。
可选地，在一些实施例中，所述主处理器810具体用于：确定所述图像数据中的用户人脸数据为有到无，锁定屏幕。
可选地，在一些实施例中，所述主处理器810还具体用于：在预设时间内确定所述图像数据中的用户人脸数据为有到无，熄灭屏幕。
可选地，在一些实施例中，所述协处理器820还包括：硬件加速器模块，用于对所述AI算法模块调用AI算法库模块分析所述图像数据中的用户人脸数据为从有到无，或从无到有的过程进行加速。
可选地，在一些实施例中，所述AI算子库固化在所述协处理器的硬件中。
本申请实施例还提供了一种计算机可读存储介质，包括计算机程序，当该计算机程序在终端上运行时，使得该计算机执行如步骤110-140等中所述的方法。
本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在终端上运行时，使得该计算机执行如步骤步骤110-140等中所述的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，本申请实施例的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请实施例中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如，计算机可读介质可以包括，但不限于:磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，压缩盘(compact disc，CD)、数字通用盘(digital versatile disc，DVD)等)，智能卡和闪存器件(例如，可擦写可编程只读存储器(erasable programmable read-only memory，EPROM)、卡、棒或钥匙驱动器等)。另外，本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显 示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (24)

  1. 一种用于识别用户行为的方法，其特征在于，包括：
    终端通过低功耗摄像头实时获取图像数据，所述低功耗摄像头一直开启；
    所述终端根据所述图像数据，分析特定事件是否发生；
    所述终端确定所述特定事件发生；
    所述终端开启人工智能AI对应的应用功能。
  2. 根据权利要求1所述的方法，其特征在于，所述终端根据所述图像数据，分析特定事件是否发生，包括：
    所述终端根据所述图像数据，调用AI算法分析所述特定事件是否发生。
  3. 根据权利要求1或2所述的方法，其特征在于，所述特定事件为所述图像数据中用户人脸数据的变化。
  4. 根据权利要求3所述的方法，其特征在于，所述终端确定所述特定事件发生，包括：
    所述终端确定所述图像数据中的用户人脸数据为从有到无，或从无到有。
  5. 根据权利要求4所述的方法，其特征在于，所述终端开启人工智能AI对应的应用功能，包括：
    所述终端确定所述图像数据中的用户人脸数据为从无到有；
    所述终端亮屏。
  6. 根据权利要求4或5所述的方法，其特征在于，所述终端开启人工智能AI对应的应用功能，包括：
    所述终端根据所述图像数据中的用户人脸数据，开启人脸识别功能，识别所述图像数据中的用户人脸数据为预设的人脸数据；
    所述终端解锁屏幕。
  7. 根据权利要求4所述的方法，其特征在于，所述终端开启人工智能AI对应的应用功能，包括：
    所述终端确定所述图像数据中的用户人脸数据为有到无；
    所述终端保持锁屏界面。
  8. 根据权利要求7所述的方法，其特征在于，所述终端开启人工智能AI对应的应用功能，包括：
    所述终端在预设时间内确定所述图像数据中的用户人脸数据为有到无；
    所述终端灭屏。
  9. 根据权利要求2至8中任一项所述的方法，其特征在于，所述终端根据所述图像数据，调用AI算法分析特定事件是否发生，包括：
    所述终端将所述图像数据输入到AI算法模型中，所述AI算法模型调用AI算子库中对应的算法分析所述图像数据是否为用户人脸数据。
  10. 根据权利要求9所述的方法，其特征在于，所述AI算法库固化在所述终端的硬件中。
  11. 根据权利要求9或10所述的方法，其特征在于，所述终端将所述图像数据输入到AI算法模型中，所述AI算法模型调用AI算子库中对应的算法分析所述图像数据是否为用户人脸数据，包括：
    所述AI算法模型通过硬件加速器调用所述AI算子库中对应的算子，并根据所述图像数据分析所述特定事件是否发生。
  12. 一种用于识别用户行为的芯片，其特征在于，包括：协处理器、主处理器、所述协处理器与主处理器连接，
    所述协处理器用于执行以下操作：
    通过低功耗摄像头实时获取图像数据，所述低功耗摄像头与所述协处理器相连，所述低功耗摄像头一直开启；
    根据所述图像数据，分析特定事件是否发生；
    确定所述特定事件发生，向主处理器发送人工智能AI消息；
    所述主处理器用于：根据接收到的所述AI消息开启AI对应的应用功能。
  13. 根据权利要求12所述的芯片，其特征在于，所述协处理器具体用于：
    根据所述图像数据，调用AI算法分析所述特定事件是否发生。
  14. 根据权利要求12或13所述的芯片，其特征在于，所述特定事件为所述图像数据中用户人脸数据的变化。
  15. 根据权利要求14所述的芯片，其特征在于，所述协处理器包括：AI引擎模块、AI算法模块、AI算法库模块，AI应用层模块，
    所述AI引擎模块用于：根据所述图像数据，调用对应的AI算法进行AI计算；
    所述AI算法模块用于：根据输入的所述图像数据，调用AI算法库中对应的AI算子分析图像数据中的用户人脸数据为从有到无，或从无到有，并向所述AI应用层上报识别结果；
    所述AI应用层模块用于：根据所述识别结果，向所述主控制器上报所述AI消息。
  16. 根据权利要求15所述的芯片，其特征在于，所述主处理器具体用于：
    根据所述图像数据中的用户人脸数据，开启人脸识别功能，识别所述图像数据中的用户人脸数据为预设的人脸数据；
    解锁屏幕。
  17. 根据权利要求15或16所述的芯片，其特征在于，所述主处理器还具体用于：
    确定所述图像数据中的用户人脸数据为从无到有；
    点亮屏幕。
  18. 根据权利要求15所述的芯片，其特征在于，所述主处理器具体用于：
    确定所述图像数据中的用户人脸数据为有到无；
    保持屏幕的锁屏界面。
  19. 根据权利要求18所述的芯片，其特征在于，所述主处理器还具体用于：
    在预设时间内确定所述图像数据中的用户人脸数据为有到无；
    灭屏，进入休眠状态。
  20. 根据权利要求15至19中任一项所述的芯片，其特征在于，所述协处理器还包括：
    硬件加速器模块，用于对所述AI算法模块调用AI算法库模块分析所述图像数据中的 用户人脸数据为从有到无，或从无到有的过程进行加速。
  21. 根据权利要求20所述的芯片，其特征在于，所述AI算子库固化在所述协处理器的硬件中。
  22. 一种终端，其特征在于，包括如权利要求12至21中任一项所述的芯片以及低功耗摄像头，所述低功耗摄像头与所述协处理器相连。
  23. 一种计算机存储介质，其特征在于，包括计算机程序，当该计算机程序在所述终端上运行时，使得该终端执行如权利要求1至11中任一项所述的方法。
  24. 一种计算机程序产品，其特征在于，包括计算机程序，当该计算机程序在所述终端上运行时，使得该终端执行如权利要求1至11中任一项所述的方法。
PCT/CN2018/110391 2018-10-16 2018-10-16 一种用于识别用户行为的方法、芯片、终端 WO2020077523A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880091728.6A CN111902791A (zh) 2018-10-16 2018-10-16 一种用于识别用户行为的方法、芯片、终端
PCT/CN2018/110391 WO2020077523A1 (zh) 2018-10-16 2018-10-16 一种用于识别用户行为的方法、芯片、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/110391 WO2020077523A1 (zh) 2018-10-16 2018-10-16 一种用于识别用户行为的方法、芯片、终端

Publications (1)

Publication Number Publication Date
WO2020077523A1 true WO2020077523A1 (zh) 2020-04-23

Family

ID=70283703

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/110391 WO2020077523A1 (zh) 2018-10-16 2018-10-16 一种用于识别用户行为的方法、芯片、终端

Country Status (2)

Country Link
CN (1) CN111902791A (zh)
WO (1) WO2020077523A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541450A (zh) * 2020-12-18 2021-03-23 Oppo广东移动通信有限公司 情景感知功能控制方法及相关装置
CN113657263A (zh) * 2021-08-16 2021-11-16 深圳多模智能科技有限公司 唤醒终端识别生物特征信息的方法、装置、终端及介质
CN114097259A (zh) * 2020-06-24 2022-02-25 北京小米移动软件有限公司 一种通信处理方法、通信处理装置及存储介质
WO2022042671A1 (zh) * 2020-08-31 2022-03-03 展讯通信（上海）有限公司 可穿戴设备及其图像信号处理装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578893A (zh) * 2020-12-11 2021-03-30 Oppo广东移动通信有限公司 数据处理系统、芯片、方法及存储介质
CN116301362B (zh) * 2023-02-27 2024-04-05 荣耀终端有限公司 图像处理方法、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970411A (zh) * 2012-10-24 2013-03-13 康佳集团股份有限公司 基于人脸检测的智能手机锁屏解锁控制方法及智能手机
KR20130104682A (ko) * 2012-03-15 2013-09-25 최상길 이동통신 단말기에서 디스플레이 화면 및 터치 자동 잠금 장치 및 그 방법
CN105549739A (zh) * 2015-12-10 2016-05-04 魅族科技（中国）有限公司 一种屏幕亮屏方法及终端
CN106604369A (zh) * 2016-10-26 2017-04-26 惠州Tcl移动通信有限公司 一种具有双模式切换功能的终端设备
CN107657167A (zh) * 2017-11-02 2018-02-02 广东欧珀移动通信有限公司 人脸解锁的方法、装置、计算机可读存储介质和电子设备
US20180084190A1 (en) * 2012-07-20 2018-03-22 Pixart Imaging Inc. Electronic system with eye protection
CN107944325A (zh) * 2017-11-23 2018-04-20 维沃移动通信有限公司 一种扫码方法、扫码装置及移动终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870728B (zh) * 2012-12-18 2018-06-12 富泰华工业（深圳）有限公司 控制系统、控制方法及电脑系统
CN105759935B (zh) * 2016-01-29 2019-01-18 华为技术有限公司 一种终端控制方法及终端
CN107396170A (zh) * 2017-07-17 2017-11-24 上海斐讯数据通信技术有限公司 一种基于虹膜控制视频播放的方法及系统
CN107659719A (zh) * 2017-09-19 2018-02-02 上海爱优威软件开发有限公司 一种情景模拟方法、情景模拟系统及终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130104682A (ko) * 2012-03-15 2013-09-25 최상길 이동통신 단말기에서 디스플레이 화면 및 터치 자동 잠금 장치 및 그 방법
US20180084190A1 (en) * 2012-07-20 2018-03-22 Pixart Imaging Inc. Electronic system with eye protection
CN102970411A (zh) * 2012-10-24 2013-03-13 康佳集团股份有限公司 基于人脸检测的智能手机锁屏解锁控制方法及智能手机
CN105549739A (zh) * 2015-12-10 2016-05-04 魅族科技（中国）有限公司 一种屏幕亮屏方法及终端
CN106604369A (zh) * 2016-10-26 2017-04-26 惠州Tcl移动通信有限公司 一种具有双模式切换功能的终端设备
CN107657167A (zh) * 2017-11-02 2018-02-02 广东欧珀移动通信有限公司 人脸解锁的方法、装置、计算机可读存储介质和电子设备
CN107944325A (zh) * 2017-11-23 2018-04-20 维沃移动通信有限公司 一种扫码方法、扫码装置及移动终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114097259A (zh) * 2020-06-24 2022-02-25 北京小米移动软件有限公司 一种通信处理方法、通信处理装置及存储介质
CN114097259B (zh) * 2020-06-24 2024-03-01 北京小米移动软件有限公司 一种通信处理方法、通信处理装置及存储介质
WO2022042671A1 (zh) * 2020-08-31 2022-03-03 展讯通信（上海）有限公司 可穿戴设备及其图像信号处理装置
CN112541450A (zh) * 2020-12-18 2021-03-23 Oppo广东移动通信有限公司 情景感知功能控制方法及相关装置
CN113657263A (zh) * 2021-08-16 2021-11-16 深圳多模智能科技有限公司 唤醒终端识别生物特征信息的方法、装置、终端及介质

Also Published As

Publication number Publication date
CN111902791A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
WO2020077523A1 (zh) 一种用于识别用户行为的方法、芯片、终端
CN110910872B (zh) 语音交互方法及装置
CN104378441B (zh) 日程创建方法和装置
CN111316199B (zh) 一种信息处理方法及电子设备
WO2016183047A1 (en) Systems and methods of updating user identifiers in an image-sharing environment
EP2990949A1 (en) Methods and devices for backing up file
CN109949795A (zh) 一种控制智能设备交互的方法及装置
US11720814B2 (en) Method and system for classifying time-series data
CN104679218A (zh) 控制功耗的方法和装置
CN107464253A (zh) 眉毛定位方法及装置
CN106354242A (zh) 一种模式切换方法及装置
CN109389220A (zh) 神经网络模型的处理方法、装置、电子设备以及存储介质
CN107705245A (zh) 图像处理方法及装置
CN107995676A (zh) 终端控制方法及装置
CN113805487A (zh) 控制指令的生成方法、装置、终端设备及可读存储介质
CN111343346B (zh) 基于人机对话的来电代接方法、装置、存储介质及设备
CN115934314A (zh) 一种应用运行方法以及相关设备
CN106021072A (zh) 信息显示方法及装置
WO2020077522A1 (zh) 一种识别环境场景的方法、芯片、终端
CN109034747A (zh) 任务提醒方法及装置
CN105956513A (zh) 执行反应动作的方法及装置
WO2023071940A1 (zh) 跨设备的导航任务的同步方法、装置、设备及存储介质
CN106791169A (zh) 屏幕控制方法及装置
WO2022188551A1 (zh) 信息处理方法与装置、主控设备和受控设备
CN105450850A (zh) 用于提供信息的方法及其电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18937417

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18937417

Country of ref document: EP

Kind code of ref document: A1