WO2022089187A1 - 一种显示方法及电子设备 - Google Patents

一种显示方法及电子设备 Download PDF

Info

Publication number
WO2022089187A1
WO2022089187A1 PCT/CN2021/123112 CN2021123112W WO2022089187A1 WO 2022089187 A1 WO2022089187 A1 WO 2022089187A1 CN 2021123112 W CN2021123112 W CN 2021123112W WO 2022089187 A1 WO2022089187 A1 WO 2022089187A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature information
user
face
mobile phone
application program
Prior art date
Application number
PCT/CN2021/123112
Other languages
English (en)
French (fr)
Inventor
肖冬
刘志刚
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2022089187A1 publication Critical patent/WO2022089187A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种显示方法及电子设备,用于提高电子设备使用的便携性和安全性,该方法包括:响应于来自手写笔的人脸图像,进行人脸识别得到人脸特征信息;显示应用程序界面,所述应用程序界面中包括与识别到的人脸特征信息关联的显示内容。

Description

一种显示方法及电子设备
相关申请的交叉引用
本申请要求在2020年10月31日提交中国专利局、申请号为202011197963.7、申请名称为“一种显示方法及电子设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及电子设备技术领域,尤其涉及一种显示方法及电子设备。
背景技术
目前,电子设备(比如手机、平板电脑、绘画图板等)已被广泛使用,使用者可以通过电子设备进行各项工作,如通过电子设备记录会议记录,或者对浏览的文本进行标记等。
为了便于使用者通过电子设备进行各项工作,电子设备可以与手写笔进行通信,使用者可以使用手写笔进行各种操作,如使用者可以使用手写笔打开电子设备安装的应用,或者在通过在电子设备的显示屏上进行书写来记录会议内容或讲课内容,在此情形下,无需使用者通过使用电子设备的输入应用/工具(例如搜狗输入盘、键盘等)所提供的相应输入方式(例如五笔输入方式、拼音输入方式、手写输入方式等)记录会议记录。
但是,现有技术中,使用者在对电子设备的应用或者文本进行操作时,需通过手写笔进行多次触控操作,操作流程繁琐。例如,使用者想要使用手写笔在电子设备的显示屏上记录笔记时,需要先使用手写笔开启相应的应用,再使用手写笔进行多次操作后找到需要的笔记文本,从而才能在该笔记文本上继续记录笔记内容。此外,手写笔可以供不同的用户使用,容易泄露用户所记录的笔记内容,安全性较差。
发明内容
本申请实施例提供一种显示方法及电子设备,用于提高电子设备使用的便携性和安全性。
第一方面,本申请实施例提供一种显示方法,该方法可以由电子设备实现,该电子设备可以手机、平板电脑、绘画图板等设备,其中,该方法可以应用课堂、会议、电子签证等场景,所述方法包括:响应于来自手写笔的人脸图像,进行人脸识别得到人脸特征信息;显示应用程序界面,所述应用程序界面中包括与识别到的人脸特征信息关联的显示内容。
本申请实施例中,由于电子设备可以根据手写笔发送的人脸图像识别得到用户的人脸特征信息,基于识别到的人脸特征信息,显示与用户的人脸特征信息关联的显示内容,可以简化用户查找与自己人脸特征信息关联的显示内容的操作,提高了电子设备使用的便携性。电子设备通过基于用户的人脸特征信息,显示与用户的人脸特征信息关联的显示内容,而不显示与其他用户的人脸特征信息关联的显示内容,可以避免当前使电子设备的用户可以查看与以往使用过电子设备的其他用户的人脸特征信息关联的显示内容,可以确保用户的隐私不被泄露,提高了电子设备使用的安全性。
在一种可能的设计中,所述应用程序界面中包括与识别到的人脸特征信息关联的文件,所述文件为与所述人脸特征信息关联的文件中存储时间最近的文件;或者,所述应用程序界面中包括与识别到的人脸特征信息关联的网页页面,所述网页页面为与所述人脸特征信息关联的网页页面中最近浏览的网页页面。
本申请实施例中,在用户在使用电子设备的过程中,电子设备可以显示与用户的人脸特征信息关联的文件中存储时间最近的文件,无需用户多次操作电子设备查找最近编辑/保存的文件,便于用户继续编辑最近的文件,或者显示与用户的人脸特征信息关联的网页页面中最近浏览的网页页面,无需用户多次查找电子设备查找最近浏览的网页页面,便于用户继续浏览最近浏览的网页页面,从而可以提高电子设备使用的便携性。
在一种可能的设计中,显示应用程序界面,包括:响应于所述手写笔的屏幕触控操作,点亮屏幕,进行屏幕解锁,并显示所述应用程序界面;或者,响应于所述手写笔的屏幕触控操作,点亮屏幕,并显示所述应用程序界面。
本申请实施例中,由于电子设备在息屏状态下,可以响应于所述手写笔的屏幕触控操作,显示所述应用程序界面,无需用户解锁显示屏,可以节省用户的操作。此外,显示应用程序界面是在响应手写笔的屏幕触控操作后进行的,可以避免出现用户在较远的地方外使用手写笔而导致电子设备显示与用户的人脸特征信息关联的应用程序内容,其他用户可以查看到的现象,可以提高电子设备使用的安全性。
在一种可能的设计中,所述应用程序界面的显示方向与所述人脸图像中人脸的偏转方向相匹配。
本申请实施例中,由于应用程序界面的显示方向与用户的人脸图像中人脸的偏转方向相匹配,可以用户查看或者编辑应用程序显示内容,可以提高电子设备使用便携性。
在一种可能的设计中,响应于来自手写笔的人脸图像,进行人脸识别得到人脸特征信息,包括:接收来自于所述手写笔的人脸图像,所述人脸图像是所述手写笔上设置的图像采集装置采集到的;根据所述人脸图像提取人脸特征信息;将提取到的人脸特征信息与已存储的人脸特征信息进行匹配;
显示应用程序界面,所述应用程序界面中包括与识别到的人脸特征信息关联的显示内容,包括:若提取到的人脸特征信息与已存储的人脸特征信息匹配,则获取与识别到的人脸特征信息关联的应用程序显示内容,并显示相应应用程序界面,所述应用程序界面中包括与识别到的人脸特征信息关联的应用程序显示内容。
本申请实施例中,由于电子设备可以根据手写笔发送的人脸图像进行识别,提取到用户的人脸特征信息,在提取到的人脸特征信息与已存储的人脸特征信息匹配时,显示与用户的人脸特征信息关联的应用程序显示内容,可以简化用户查找与自己人脸特征信息关联的应用程序显示内容的操作,提高了电子设备使用的便携性。电子设备通过基于用户的人脸特征信息,显示与用户的人脸特征信息关联的应用程序显示内容,而不显示与其他用户的人脸特征信息关联的应用程序显示内容,可以避免当前使电子设备的用户可以查看与以往使用过电子设备的其他用户的人脸特征信息关联的应用程序显示内容,可以确保用户的隐私不被泄露,提高了电子设备使用的安全性。
在一种可能的设计中,所述方法还包括:若提取到的人脸特征信息与已存储的人脸特征信息不匹配,则将提取到的人脸特征信息进行存储,并当创建和/或保存应用程序文件时,建立所述人脸特征信息与被创建和/或保存的应用程序文件之间的关联关系;或者,若提取 到的人脸特征信息与已存储的人脸特征信息不匹配,则将提取到的人脸特征信息进行存储,当有网页页面被浏览时,建立所述人脸特征信息与被浏览的网页页面之间的关联关系。
本申请实施例中,由于电子设备可以在提取到的人脸特征信息与已存储的人脸特征信息不匹配,将提取到的人脸特征信息进行存储,并当创建和/或保存应用程序文件时,建立用户的人脸特征信息与被创建和/或保存的应用程序文件之间的关联关系,或者,当有网页页面被浏览时,建立所述人脸特征信息与被浏览的网页页面之间的关联关系,可以便于用户再次使用电子设备时查找与自己人脸特征信息关联的应用程序文件或网页页面,可以提高电子设备使用的便携性。
在一种可能的设计中,所述方法还包括:若提取到的人脸特征信息与已存储的人脸特征信息不匹配,则新创建一个应用程序文件,并将所述新创建的应用程序文件与提取到的人脸特征信息进行关联。
本申请实施例中,由于电子设备可以在提取到的人脸特征信息与已存储的人脸特征信息不匹配,可以新创建一个应用程序文件,并将该新创建的应用程序文件与提取到的人脸特征信息进行关联,无需用户打开可用于编辑应用程序文件的应用,再手动创建新的应用程序文件的操作,可以简化用户的操作,还可以便于用户再次使用电子设备时查找与自己人脸特征信息关联的应用程序文件或网页页面,可以提高电子设备使用的便携性。
在一种可能的设计中,所述方法还包括:检测所述人脸图像中的人脸的偏转方向;根据所述人脸的偏转方向设置所述应用程序界面的显示方向。
本申请实施例中,由于电子设备可以检测接收到的人脸图像中的人脸的偏转方向,基于该偏转方向设置应用程序界面的显示方向,可以避免用户在使用手写笔对电子设备进行操作的过程中,需要不断拿起电子设备旋转屏幕方向调整应用程序界面的显示方向,可以提高手机使用的便携性,有助于提升用户的体验。
在一种可能的设计中,所述方法还包括:响应于用于触发对电子文件进行签名的操作,显示提示信息,所述提示信息用于提示获取人脸图像;响应于来自手写笔的人脸图像,进行人脸识别得到人脸特征信息;将识别到的人脸特征信息与所述电子文件关联的人脸特征信息进行匹配,若识别到的人脸特征信息与所述电子文件关联的人脸特征信息相匹配,则响应对所述电子文件进行签名的操作,否则不响应对所述电子文件进行签名的操作。
本申请实施例中,由于电子设备可以在识别到的人脸特征信息与电子文件关联的人脸特征信息匹配时,响应对该电子文件进行签名的操作,否则不响应对该电子文件进行签名的操作,可以避免其他用户模仿该用户的笔迹冒充该用户进行签字而损害该用户自身的利益的现象,可以提高手机使用的安全性。
在一种可能的设计中,所述方法还包括:获取与所述人脸特征信息关联的所述应用程序的用户偏好设置;
显示应用程序界面,包括:根据所述用户偏好设置,显示应用程序界面。
本申请实施例中,由于电子设备可以根据与用户人脸特征信息关联的偏好设置,显示应用程序界面,可以便于用户查找自己偏好使用的绘写工具/文本字体类型/网页类型等,可以提高手机使用的便携性,有助于提升用户的体验。
第二方面,本申请实施例还提供一种显示方法,该方法可以由电子设备实现,该电子设备可以手机、平板电脑、绘画图板等设备,其中,该方法可以应用课堂、会议、电子签证等场景,所述方法包括:接收来自手写笔的人脸特征信息;显示应用程序界面,所述应 用程序界面中包括与接收到的人脸特征信息关联的显示内容。
在一种可能的设计中,所述应用程序界面中包括与接收到的人脸特征信息关联的文件,所述文件为与所述人脸特征信息关联的文件中存储时间最近的文件;或者,所述应用程序界面中包括与接收到的人脸特征信息关联的网页页面,所述网页页面为与所述人脸特征信息关联的网页页面中最近浏览的网页页面。
在一种可能的设计中,显示应用程序界面,包括:响应于所述手写笔的屏幕触控操作,点亮屏幕,进行屏幕解锁,并显示所述应用程序界面;或者,响应于所述手写笔的屏幕触控操作,点亮屏幕,并显示所述应用程序界面。
在一种可能的设计中,所述应用程序界面的显示方向与所述人脸图像中人脸的偏转方向相匹配。
在一种可能的设计中,响应于来自手写笔的人脸特征信息,包括:接收来自于所述手写笔的人脸特征信息,所述人脸特征信息是所述手写笔对所述手写笔上设置的图像采集装置采集到的人脸图像进行人脸识别提取到的;将接收到的人脸特征信息与已存储的人脸特征信息进行匹配;
显示应用程序界面,所述应用程序界面中包括与接收到的人脸特征信息关联的显示内容,包括:若接收到的人脸特征信息与已存储的人脸特征信息匹配,则获取与接收到的人脸特征信息关联的应用程序显示内容,并显示相应应用程序界面,所述应用程序界面中包括与接收到的人脸特征信息关联的应用程序显示内容。
在一种可能的设计中,所述方法还包括:若接收到的人脸特征信息与已存储的人脸特征信息不匹配,则将接收到的人脸特征信息进行存储,并当创建和/或保存应用程序文件时,建立所述人脸特征信息与被创建和/或保存的应用程序文件之间的关联关系;或者,若接收到的人脸特征信息与已存储的人脸特征信息不匹配,则将接收到的人脸特征信息进行存储,当有网页页面被浏览时,建立所述人脸特征信息与被浏览的网页页面之间的关联关系。
在一种可能的设计中,所述方法还包括:若接收到的人脸特征信息与已存储的人脸特征信息不匹配,则新创建一个应用程序文件,并将所述新创建的应用程序文件与接收到的人脸特征信息进行关联。
在一种可能的设计中,所述方法还包括:接收所述人脸图像中的人脸的偏转方向;根据所述人脸的偏转方向设置所述应用程序界面的显示方向。
在一种可能的设计中,所述方法还包括:响应于用于触发对电子文件进行签名的操作,显示提示信息,所述提示信息用于提示获取人脸图像;接收来自手写笔的人脸特征信息;将接收到的人脸特征信息与所述电子文件关联的人脸特征信息进行匹配,若接收到的人脸特征信息与所述电子文件关联的人脸特征信息相匹配,则响应对所述电子文件进行签名的操作,否则不响应对所述电子文件进行签名的操作。
在一种可能的设计中,所述方法还包括:获取与所述人脸特征信息关联的所述应用程序的用户偏好设置;
显示应用程序界面,包括:根据所述用户偏好设置,显示应用程序界面。
第三方面,本申请实施例还提供一种电子设备,包括:
一个或多个处理器;
一个或多个存储器;
其中,所述一个或多个存储器存储有一个或多个计算机程序,所述一个或多个计算机 程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行如下步骤:
响应于来自手写笔的人脸图像,进行人脸识别得到人脸特征信息;
显示应用程序界面,所述应用程序界面中包括与识别到的人脸特征信息关联的显示内容。
在一种可能的设计中,所述应用程序界面中可以包括但不限于:与识别到的人脸特征信息关联的文件,所述文件为与所述人脸特征信息关联的文件中存储时间最近的文件;或者,所述应用程序界面中可以包括但不限于:与识别到的人脸特征信息关联的网页页面,所述网页页面为与所述人脸特征信息关联的网页页面中最近浏览的网页页面。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
响应于所述手写笔的屏幕触控操作,点亮屏幕,进行屏幕解锁,并显示所述应用程序界面;或者,
响应于所述手写笔的屏幕触控操作,点亮屏幕,并显示所述应用程序界面。
在一种可能的设计中,所述应用程序界面的显示方向与所述人脸图像中人脸的偏转方向相匹配。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
接收来自于所述手写笔的人脸图像,所述人脸图像是所述手写笔上设置的图像采集装置采集到的;
根据所述人脸图像提取人脸特征信息;
将提取到的人脸特征信息与已存储的人脸特征信息进行匹配;
若提取到的人脸特征信息与已存储的人脸特征信息匹配,则获取与识别到的人脸特征信息关联的应用程序显示内容,并显示相应应用程序界面,所述应用程序界面中包括与识别到的人脸特征信息关联的应用程序显示内容。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
若提取到的人脸特征信息与已存储的人脸特征信息不匹配,则将提取到的人脸特征信息进行存储,并当创建和/或保存应用程序文件时,建立所述人脸特征信息与被创建和/或保存的应用程序文件之间的关联关系;或者,
若提取到的人脸特征信息与已存储的人脸特征信息不匹配,则将提取到的人脸特征信息进行存储,当有网页页面被浏览时,建立所述人脸特征信息与被浏览的网页页面之间的关联关系。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:若提取到的人脸特征信息与已存储的人脸特征信息不匹配,则新创建一个应用程序文件,并将所述新创建的应用程序文件与提取到的人脸特征信息进行关联。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
检测所述人脸图像中的人脸的偏转方向;
根据所述人脸的偏转方向设置所述应用程序界面的显示方向。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
响应于用于触发对电子文件进行签名的操作,显示提示信息,所述提示信息用于提示获取人脸图像;
响应于来自手写笔的人脸图像,进行人脸识别得到人脸特征信息;
将识别到的人脸特征信息与所述电子文件关联的人脸特征信息进行匹配,若识别到的人脸特征信息与所述电子文件关联的人脸特征信息相匹配,则响应对所述电子文件进行签名的操作,否则不响应对所述电子文件进行签名的操作。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
获取与所述人脸特征信息关联的所述应用程序的用户偏好设置;
根据所述用户偏好设置,显示应用程序界面。
第四方面,本申请实施例还提供一种电子设备,包括:
当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
接收来自手写笔的人脸特征信息;
显示应用程序界面,所述应用程序界面中包括与接收到的人脸特征信息关联的显示内容。
在一种可能的设计中,所述应用程序界面中包括与接收到的人脸特征信息关联的文件,所述文件为与所述人脸特征信息关联的文件中存储时间最近的文件;或者,所述应用程序界面中包括与接收到的人脸特征信息关联的网页页面,所述网页页面为与所述人脸特征信息关联的网页页面中最近浏览的网页页面。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
响应于所述手写笔的屏幕触控操作,点亮屏幕,进行屏幕解锁,并显示所述应用程序界面;或者,
响应于所述手写笔的屏幕触控操作,点亮屏幕,并显示所述应用程序界面。
在一种可能的设计中,所述应用程序界面的显示方向与所述人脸图像中人脸的偏转方向相匹配。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
接收来自于所述手写笔的人脸特征信息,所述人脸特征信息是所述手写笔对所述手写笔上设置的图像采集装置采集到的人脸图像进行人脸识别提取到的;
将接收到的人脸特征信息与已存储的人脸特征信息进行匹配;
若接收到的人脸特征信息与已存储的人脸特征信息匹配,则获取与接收到的人脸特征信息关联的应用程序显示内容,并显示相应应用程序界面,所述应用程序界面中包括与接收到的人脸特征信息关联的应用程序显示内容。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
若接收到的人脸特征信息与已存储的人脸特征信息不匹配,则将接收到的人脸特征信息进行存储,并当创建和/或保存应用程序文件时,建立所述人脸特征信息与被创建和/或 保存的应用程序文件之间的关联关系;或者,
若接收到的人脸特征信息与已存储的人脸特征信息不匹配,则将接收到的人脸特征信息进行存储,当有网页页面被浏览时,建立所述人脸特征信息与被浏览的网页页面之间的关联关系。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
若接收到的人脸特征信息与已存储的人脸特征信息不匹配,则新创建一个应用程序文件,并将所述新创建的应用程序文件与接收到的人脸特征信息进行关联。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
接收所述人脸图像中的人脸的偏转方向;
根据所述人脸的偏转方向设置所述应用程序界面的显示方向。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
响应于用于触发对电子文件进行签名的操作,显示提示信息,所述提示信息用于提示获取人脸图像;
接收来自手写笔的人脸特征信息;
将接收到的人脸特征信息与所述电子文件关联的人脸特征信息进行匹配,若接收到的人脸特征信息与所述电子文件关联的人脸特征信息相匹配,则响应对所述电子文件进行签名的操作,否则不响应对所述电子文件进行签名的操作。
在一种可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备还执行如下步骤:
获取与所述人脸特征信息关联的所述应用程序的用户偏好设置;
根据所述用户偏好设置,显示应用程序界面。
第五方面,本申请实施例还提供一种电子设备,该电子设备包括执行上述第一方面或者上述第一方面的任意一种可能的设计的方法的模块/单元,或者,包括执行上述第二方面或者上述第二方面的任意一种可能的设计的方法的模块/单元;这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。
第六方面,本申请实施例还提供一种芯片,所述芯片与电子设备中的存储器耦合,执行上述第一方面及其第一方面任一可能设计的技术方案,或者,执行上述第二方面及其第二方面任一可能设计的技术方案;本申请实施例中“耦合”是指两个部件彼此直接或间接地结合。
第七方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行上述第一方面及其第一方面任一可能设计的技术方案,或者,执行上述第二方面及其第二方面任一可能设计的技术方案。
第八方面,本申请实施例还提供一种程序产品,包括指令,当所述指令在计算机上运行时,使得所述计算机执行上述第一方面及其第一方面任一可能设计的技术方案,或者,执行上述第二方面及其第二方面任一可能设计的技术方案。
第九方面,本申请实施例还提供一种电子设备上的图形用户界面,所述电子设备具有 一个或多个存储器、以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述一个或多个存储器中的一个或多个计算机程序,所述图形用户界面包括所述电子设备执行上述第一方面及其第一方面任一可能设计的技术方案时显示的图形用户界面,或者执行上述第二方面及其第二方面任一可能设计的技术方案时显示的图形用户界面。
以上第二方面到第九方面的有益效果,请参见第一方面的有益效果,不重复赘述。
附图说明
图1为本申请实施例提供的一种手机的结构示意图;
图2为本申请实施例提供的一种手机的软件结构框图;
图3为本申请实施例提供的一种手写笔的结构示意图;
图4为本申请实施例提供的一种手机的功能结构示意图;
图5为本申请实施例提供的一种手写笔的功能结构示意图;
图6为本申请实施例提供的一种显示方法的流程示意图;
图7为本申请实施例提供的一种手机基于显示屏的不同状态和屏幕触控操作,创建并显示新的空白文档的示意图;
图8为本申请实施例提供的一种手机基于显示屏的不同状态和屏幕触控操作,显示与用户的第一人脸特征信息关联的存储时间最近的文件的示意图;
图9为本申请实施例提供的一种手机根据用户的面部方向调整显示界面的显示方向的示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行详尽描述。
以下,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
本申请实施例涉及的显示界面,是指电子设备的显示屏显示的界面。比如,电子设备是手机为例,手机启动备忘录应用时,显示界面可以显示备忘录应用的界面,例如显示备忘录应用中的文件。继续以手机为例,手机启动绘画类应用(例如sketchbook、画画板等应用)时,显示界面可以显示绘画类应用的界面,例如显示绘画类应用中的绘画文件,当然,手机启动网页类应用(如百度应用)时,显示界面可以显示网页类应用的界面,例如显示用户浏览的网页页面等。
本申请实施例涉及的息屏状态,是指电子设备处于待机状态下显示屏未亮屏的状态。
本申请实施例涉及的显示方向,是指用户查看电子设备的显示界面的显示方向。
本申请实施例提供的显示界面的控制方法可以应用于诸如手机、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant,PDA)、绘画图板等任何可以通过手写笔进行操作的电子设备上,电子设备的示例性实施例包括但不限于搭载
Figure PCTCN2021123112-appb-000001
Figure PCTCN2021123112-appb-000002
或者其它操作系统的设备。本申请实施例对电子设备的具体类型不作任何限制。
本申请实施例涉及的手写笔,是指可以用于输入指令到上述电子设备的设备,用户可以通过使用手写笔点击电子设备的显示屏来打开应用或选取文件等,可以在显示屏显示的 显示界面上书写文本内容或绘画或浏览网页页面或对观看的视频页面进行如输入弹幕、快进视频进度、后退视频进度等操作。手写笔可以是电容笔或者电磁笔,本申请实施例并不限定手写笔的具体类型。
示例性的,图1示出了本申请实施例提供的一种电子设备的结构示意图。所述电子设备可以是上文中提到的手机。如图1所示,手机100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为手机100充电,也可以用于手机100与外围设备之间传输数据。充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
手机100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信 模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,手机100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得手机100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,短距无线通信(short distance wireless communication)(例如蓝牙),和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidou navigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。在一些实施例中,手机100可以通过天线2和无线通信模块160耦合,通过NFC或蓝牙等技术接收手写笔发送的人脸图像。
显示屏194用于显示应用的显示界面等,比如,显示绘画文件/网页页面等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,可以是折叠屏,或全面屏、或曲面屏等。其中,手机100可以包括1个或N个显示屏194,N为大于1的正整数,例如,显示屏194可以包括一个或者N个可折叠/不可折叠的显示屏。
摄像头193用于捕获静态图像或视频。摄像头193可以包括前置摄像头和后置摄像头。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,以及至少一个应用程序(例如备忘录应用,微信应用等)的软件代码等。存储数据区可存储手机100使用过程中所产生的数据(例如图像、视频等)等,比如存储手机100在使用过程中对接收到的用户的人脸图像提取到的人脸特征信息。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将图片,视频等文件保存在外部存储卡中。
在一些实施例中,手机100可以通过内部存储器121或者外部存储卡存储已使用过手机100的至少一个用户的人脸特征信息(例如用户的眼睛、鼻子、嘴、下巴等之间的几何结构特征等)。
手机100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194,可以用于检测手写笔是否对显示屏194进行了如点击、滑动等操作。陀螺仪传感器180B可以用于确定手机100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定手机100围绕三个轴(即,x,y和z轴)的角速度。
陀螺仪传感器180B可以用于拍摄防抖。气压传感器180C用于测量气压。在一些实施例中,手机100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。磁传感器180D包括霍尔传感器。手机100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当手机100是翻盖机时,手机100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。加速度传感器180E可检测手机100在各个方向上(一般为三轴)加速度的大小。当手机100静止时可检测出重力的大小及方向。还可以用于识别手机100姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。手机100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,手机100可以利用距离传感器180F测距以实现快速对焦。接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。手机100通过发光二极管向外发射红外光。手机100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定手机100附近有物体。当检测到不充分的反射光时,手机100可以确定手机100附近没有物体。手机100可以利用接近光传感器180G检测用户手持手机100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。手机100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测手机100是否在口袋里,以防误触。指纹传感器180H用于采集指纹。手机100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,手机100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,手机100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,手机100对电池142加热,以避免低温导致手机100异常关机。在其他一些实施例中,当温度低于又一阈值时,手机100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其 上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于手机100的表面,与显示屏194所处的位置不同。在一些实施例中,手机100可以通过触控传感器180K检测手写笔在显示屏194进行如点击/滑动等操作时产生的触控屏(touch panel,TP)报点,基于该TP报点确定手写笔在显示屏194上进行了如点击/滑动等操作。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入,产生与手机100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和手机100的接触和分离。
在一些实施例中,手机100可以通过内部存储器121或外部存储卡以及处理器110,识别接收到的手写笔发送的人脸图像,并将从该人脸图像中提取出的第一人脸特征信息与内部存储器121或外部存储卡存储的至少一个人脸特征信息进行匹配。其中,若该第一人脸特征信息与至少一个人脸特征信息中的任意一个人脸特征信息都不匹配,则将第一人脸特征信息作为新的人脸特征信息存储于内部存储器121或外部存储卡。
在一些实施例中,手机100可以通过压力传感器180A和/或触控传感器180K、显示屏194、内部存储器121或外部存储卡以及处理器110等,实现将用户使用手写笔的过程中显示屏194的显示内容与用户的人脸特征信息关联绑定在存储下来的功能,以便用户后续使用手机100时可以查看与自己人脸特征信息相关联的显示内容。
在一些实施例中,手机100可以通过内部存储器121或外部存储卡、显示屏194以及处理器110的实现在显示屏194的显示界面中显示与用户人脸特征信息关联的显示内容的功能。
在一些实施例中,手机100可以通过天线2、无线通信模块160、显示屏194以及处理器110等实现检测接收到的人脸图像中的人脸的偏转方向,根据该偏转方向设置屏幕方向的功能。
可以理解的是,图1所示的部件并不构成对手机的具体限定。本申请实施例中的手机可以包括比图1中更多或更少的部件。此外,图1中的部件之间的组合/连接关系也是可以调整修改的。
图2示出了本申请实施例提供的一种电子设备的软件结构框图。所述电子设备例如可以是上文中提到的手机。如图2所示,手机的软件结构可以是分层架构,例如可以将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层(framework,FWK),安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。如图2所示,应用程序层可以包括相机、设 置、皮肤模块、用户界面(user interface,UI)、三方应用程序等。其中,三方应用程序可以包括微信、QQ、图库,百度,通话,sketchbook,画画板,WLAN,蓝牙,备忘录,短信息等。在一些实施例中,当用户通过手写笔对应用程序层中的应用的应用程序文件或网页页面进行标记时,如使用横线、圆圈、标黄、收藏等方式对这些内容进行标记,或者书写/绘画内容时,该应用可以将用户标记或绘写的内容/页面和用户的人脸特征信息关联存储下来,作为用户个人的笔记内容。或者,当用户浏览应用的不同页面但不进行标记或绘写内容时,应用可以将这些页面和用户的人脸特征信息关联存储下来,作为用户个人的浏览历史。
应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,API)和编程框架。应用程序框架层可以包括一些预先定义的函数。如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿、笔记内容等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件、绘写的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。在一些实施例中,用户可以通过手写笔使用绘写控件对应用的应用程序文件或网页页面进行标记或绘写笔记内容。
电话管理器用于提供手机的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成或文本保存完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,手机振动,指示灯闪烁等。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
硬件层可以包括各类传感器,例如本申请实施例中涉及的加速度传感器、陀螺仪传感器、触摸传感器等。
示例性的,图3示出了本申请实施例提供的一种手写笔的结构示意图。如图3所示,手写笔200可以包括处理器201,图像采集装置202,温度传感器204,压力传感器203和通信接口205。
处理器201可以包括一个或多个处理单元,例如:处理器201可以包括调制解调处理器,控制器,存储器,DSP,基带处理器,和/或NPU等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是手写笔200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。处理器201中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器201中的存储器为高速缓冲存储器。该存储器可以保存处理器201刚用过或循环使用的指令或数据。如果处理器201需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器201的等待时间,因而提高了系统的效率。
图像采集装置202可以是摄像头等具备采集用户人脸图像的装置,用于采集用户的人脸图像。在一些实施例中,图像采集装置202可以在处理器201的控制下关闭或启动。
压力传感器203用于感受手写笔200的压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器203可以设置于手写笔200的笔尖的上方与手写笔200的笔尖连接,用于感受手写笔200的笔尖的压力信号。当然,压力传感器203还可以设置于手写笔200的笔身的预设区域中,该预设区域可以是大多数用户使用笔时习惯握持的区域,本申请实施例不对压力传感器203位于手写笔200中的位置进行具体的限定。在一些实施例中,处理器201在确定压力传感器203间隔预设时长后检测到的压力值大于预设压力阈值时,可以确定用户需要使用手写笔200对手机进行操作,此时,处理器201可以控制图像采集装置202开启,并通过图像采集装置202采集用户的人脸图像。在图像采集装置202完成用户的人脸图像采集后,处理器201可以控制图像采集装置202关闭。
温度传感器204用于检测温度。在一些实施例中,温度传感器204可以设置于手写笔200的上述预设区域中,用于检测用户的手心温度。在一些实施例中,处理器201在确定温度传感器204检测到的温度值处于预设温度范围(可以设置为人类手心温度范围)内时,可以确定用户正在握持手写笔200,可以表明用户正在使用手写笔200,此时,处理器201可以控制图像采集装置202开启,并通过图像采集装置202采集用户的人脸图像。在图像采集装置202完成用户的人脸图像采集后,处理器201可以控制图像采集装置202关闭。
通信接口205,用于与外部件设备例如手机进行通信。在一些实施例中,通信接收205可以采用NFC或蓝牙等技术与手机进行通信。在一些实施例中,图像采集装置202采集到的人脸图像可以通过通信接口205发送给手机。
在另外一些实施例中,手写笔200可以通过图像采集装置202、处理器201、通信接口205等实现对图像采集装置202采集到的人脸图像进行识别以提取用户的人脸特征信息,并将提取到的人脸特征信息发送其它设备(例如与手写笔进行通信的手机)的功能。
在另外一些实施例中,手写笔200可以通过图像采集装置202、处理器201、通信接口205等实现检测图像采集装置202采集到的人脸图像中的人脸的偏转方向信息,以及将该偏转方向信息发送其它设备(例如与手写笔进行通信的手机)的功能。
可以理解的是,图3所示的部件并不构成对手写笔的具体限定。本申请实施例中的手写笔可以包括比图3中更多或更少的部件。此外,图3中的部件之间的组合/连接关系也是可以调整修改的。
示例性的,图4示出了本申请实施例提供的一种电子设备的功能结构示意图。所述电子设备例如可以是上文中提到的手机。如图4所示,手机100可以包括接收模块101,匹配模块102,显示模块103和存储模块104。
存储模块104用于存储使用过手机100的至少一个用户的人脸特征信息。存储模块104还可以存储与用户人脸特征信息的显示内容。
接收模块101用于接收其它设备发送的信息,例如接收手写笔发送当前使用手写笔的用户的人脸图像或者当前使用手写笔的用户人脸特征信息(下文可以称为第一人脸特征信息)。
匹配模块102用于对接收到的人脸图像进行识别,提取出第一人脸特征信息,并将提取出的第一人脸特征信息与存储模块104存储的至少一个人脸特征信息进行匹配,或者,将接收到的第一人脸特征信息与存储模块104存储的至少一个人脸特征信息进行匹配。其中,当匹配模块102确定第一人脸特征信息与至少一个人脸特征信息中的第二人脸特征信息匹配,则可以确定用户的第一人脸特征信息为第二人脸特征信息。当匹配模块102确定第一人脸特征信息与至少一个人脸特征信息中的任意一个人脸特征信息不匹配,则可以确定用户的第一人脸特征信息为新的人脸特征信息,并存储于存储模块104中。
显示模块103用于根据用户的第一人脸特征信息,显示与第一人脸特征信息关联的显示内容。比如,当用户的第一人脸特征信息与存储模块104存储的第二人脸特征信息匹配时,显示模块103可以从存储模块104中获取与第二人脸特征信息关联的显示内容,并将该显示内容进行显示。或者,当用户的第一人脸特征信息与存储模块104存储的任意一个人脸特征信息都不匹配时,显示模块103可以创建并显示新的应用程序文件以及将该应用程序文件与第一人脸特征信息关联存储于存储模块104中,或者将显示的网页页面与第一人脸特征信息关联存储于存储模块104中。
可以理解的是,图4所示的功能模块并不构成对手机的具体限定。上述功能模块的划分,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述划分的功能模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,手机的模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
示例性的,图5示出了本申请实施例提供的一种手写笔的功能结构示意图。如图5所示,手写笔200可以包括采集模块211和发送模块212。
采集模块211可以用于采集用户的人脸图像。在一些实施例中,当采集模块211检测到手写笔200受到的压力值满足预设条件或者温度值处于预设温度范围内时,采集模块211可以开始采集用户的人脸图像。其中,采集模块211在采集到用户的人脸图像后可以进入关闭状态或者待机状态,等待下一次人脸图像的采集。
发送模块212可以用于将采集模块211采集的人脸图像发送给其它设备例如手机。在一 些实施例中,发送模块212可以通过NFC或蓝牙等技术将人脸图像发送给手机。
在另外一些实施例中,当手写笔200具备图像识别功能时,手写笔200还可以包括识别模块213。识别模块213可以用于识别采集模块211采集到的人脸图像,提取出第一人脸特征信息。发送模块212可以将识别模块213提取到的第一人脸特征信息发送给手机。
可以理解的是,图5所示的功能模块并不构成对手写笔的具体限定。上述功能模块的划分,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述划分的功能模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,手写笔的模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
以下以图6所示的流程图为例,结合图1-图5介绍对本申请实施例提供的显示方法的实施过程。示例性的,图6所示的电子设备可以为上述提及的手机,也可以是其它可以支持手写笔进行操作的设备。如图6所示,本申请实施例提供的显示方法的流程可以包括S11至S18;其中,S11至S12用于介绍手机通过手写笔获取用户的人脸图像的过程;S13和S18用于介绍手机对显示界面进行控制的过程。其中,图6所示的流程以对手写笔采集到用户的人脸图像进行识别的对象为手机为例。在另外一些实施例中,当对手写笔采集到用户的人脸图像进行识别的对象为手写笔时,该实施例所提供的显示方法的流程与图6所示的中除去由手机对手写笔采集到用户的人脸图像进行识别的步骤外,其它步骤可以参见图6所示的相关描述,本文不再赘述。
S11、手写笔确定用户需要对手机进行操作时,通过图像采集装置采集用户的人脸图像。
在一些实施例中,图像采集装置可以是摄像头等可以获取用户的人脸图像的装置,本申请实施例对此不进行限定。本文以图像采集装置为摄像头为例。
在一些实施例中,对于S11可以包括但不限于以下几种示例:
示例1,手写笔确定压力传感器检测到的压力值大于预设压力阈值时,可以确定用户需要对手机进行操作,开启摄像头,通过摄像头采集用户的人脸图像。其中,为了节省手写笔的功耗,手写笔可以在采集到用户的人脸图像后,自动关闭摄像头。
在示例1中,该压力传感器位于手写笔中的位置,可以参见上述图3所示的压力传感器203的相关描述,在此不再赘述。
在示例1中,由于用户正在使用手写笔对手机进行各项操作(例如书写文本内容、绘画、浏览网页等操作)时,该压力传感器可以持续或者在间隔较短的时间(例如5秒)内检测到较大的压力值,而当手写笔在闲置即不被用户使用时,该压力传感器在较长时间(例如10分钟)内未检测到压力值或者检测到的压力值较小。本申请实施例中,为了避免出现手写笔在用户使用手写笔的过程中持续或在较短时间内通过摄像头频繁采集同一个用户的人脸图像的现象,手写笔可以在确定压力传感器间隔预设时长后检测到的压力值大于预设压力阈值时,开启摄像头。或者,可以将该预设压力阈值设置为大于用户平时使用手写笔对手机进行各项操作时对应的压力值(可以是平均值或最大值),当手机确定压力传感器检测到的压力值大于该预设压力阈值(例如用户使劲下压手写笔的笔尖或使劲握紧手写笔的笔身)时,开启摄像头。
示例2,手写笔检测到点击用于启动手写笔的控件的操作时,可以确定用户需要对手机进行操作,通过摄像头获取用户的人脸图像。
在示例2中,该控件可以是机械控件,也可以是触摸控件。示例性的,当该控件为触摸控件时,手写笔可以包括触控显示屏,该控件可以设置于该触控显示屏中。当该控件为机械控件时,该控件可以设置于手写笔的笔身的任意位置,本申请实施例不限定。
在示例2中,可以是摄像头在用户长按该控件的时间内采集用户的人脸图像,可以理解为,当用户松开按压该控件时,关闭摄像头,不再采集用户的人脸图像。或者,也可以是用户点击该控件时,开启摄像头采集用户的人脸图像,在采集到用户的人脸图像后,关闭摄像头,不再采集人脸图像。
示例3,手写笔确定温度传感器检测到的温度值大于预设温度阈值时,可以确定用户需要对手机进行操作时,开启摄像头,通过摄像头采集用户的人脸图像。其中,为了节省手写笔的功耗,手写笔可以在采集到用户的人脸图像后,自动关闭摄像头。
在示例3中,该温度传感器位于手写笔的位置可以参见上述图3所示的温度传感器204的相关描述,在此不再赘述。
在示例3中,由于用户正在使用手写笔对手机进行各项操作时,该温度传感器可以持续检测到用户手心的温度值,而当手写笔在闲置即不被用户使用时,该温度传感器未检测到温度值或者检测到的温度值较小例如小于用户手心的温度值。
在示例2中,为了避免出现手写笔在用户使用手写笔的过程中持续通过摄像头频繁采集同一个用户的人脸图像的现象,手写笔可以在确定温度传感器间隔预设时长后检测到的温度值处于预设温度范围(可以设置为人类手心温度范围)内时,开启摄像头。
示例4,手写笔接收到手机发送的用于开启摄像头的开启指令信息时,可以确定用户需要对手机进行操作,开启摄像头,通过摄像头采集用户的人脸图像。其中,为了节省手写笔的功耗,手写笔可以在采集到用户的人脸图像后,自动关闭摄像头。
在示例4中,当用户使用手写笔点击或者滑动显示屏等操作时,手机可以检测到基于手写笔点击或滑动显示屏等操作而产生的TP报点,基于该TP报点,手机可以确定手写笔对显示屏进行操作,此时可以确定用户需要使用手机,手机可以向手写笔发送开启指令信息,用于控制手写笔开启摄像头采集用户的人脸图像。
在示例4中,一般用户的手指对手机的显示屏进行如点击或滑动等操作时,手机的显示屏可以生成该操作对应的打码信息,而当手写笔接近或者接触手机的显示屏时,手写笔可以生成打码信息并发送给手机,手机可以针对于产生打码信息的对象,区分检测到的操作对应的对象。
需要说明的是,在具体实现的过程中,上述示例1-4可以单独使用也可以结合使用,本申请实施例对此不限定。
应理解,用户使用手写笔对手机进行操作的场景可包括但不限于与:课堂,或会议,或者签字认证等,本申请实施例对此不进行限定。
S12、手写笔将采集到的人脸图像发送给手机。相应的,手机接收到来自手写笔的人脸图像。
在一些实施例中,手写笔可以通过短距无线传输通信(例如NFC)技术或者蓝牙技术将识别到的人脸图像发送给手机。当然,若手写笔与手机通过信号线或数据线进行通信,那么手写笔可以通过该信号线或数据线将用户的人脸图像发送给手机。
S13、手机基于接收到的人脸图像提取用户的第一人脸特征信息,并将提取到的第一人脸特征信息与已存储的人脸特征信息进行匹配。若确定第一人脸特征信息与已存储的人 脸特征信息中的任意一个人脸特征信息都不匹配,则执行S14、S17-S18,若确定第一人脸特征信息与已存储的人脸特征信息中的第二人脸特征信息匹配,则执行S15-S18。
在一些实施例中,手机可以存储已使用过手机的至少一个用户的人脸特征信息。比如,手机接收到之前使用过手机的历史用户的人脸图像,提取接收到的人脸图像中的人脸特征信息后,可以将该人脸特征信息存储下来作为历史用户的身份信息。其中,手机存储人脸特征信息的方式可以包括但不限于:将人脸特征信息与ID信息关联存储,该ID信息用于区分不同的人脸特征信息,可以是顺序编码号、用户名称(例如昵称、姓名等)。
在一些实施例中,当手机确定第一人脸特征信息与已存储的人脸特征信息中的第二人脸特征信息匹配时,可以确定用户的身份信息为第二人脸特征信息,执行S14。或者,当手机确定第一人脸特征信息与已存储的人脸特征信息任意一个人脸特征信息都不匹配时,可以确定当前用户为手机的新用户,并将第一人脸特征信息存储下来,执行S17。
S14、手机检测到手写笔对显示屏进行第一操作时,基于用户的第一人脸特征信息,显示公共界面或新创建的应用程序文件。其中,公共界面可以包括但不限于应用的主页面/手机桌面等任意一个用户可浏览的界面。
在一些实施例中,显示屏的状态可以是息屏开锁状态(可以理解为手机不设置锁屏状态),息屏锁定状态,也可以是亮屏开锁状态,或者,也可以是亮屏锁定状态,本申请实施例不限定。
在一些实施例中,第一操作可以是点击/滑动显示屏等操作,本申请实施例对此不限定。
在一些实施例中,对于S14可以包括但不限于以下几种情形:
情形1,用户的第一人脸特征信息不包含在手机已存储的人脸特征信息内,可以理解为该用户为手机的新用户,手机处于息屏开锁状态。
在情形1下,当手机检测到手写笔对显示屏进行第一操作时,手机可以点亮屏幕(点亮显示屏),显示应用程序界面,该应用程序界面包括公共界面或新创建的应用程序文件。在此过程中,若手机在显示屏息屏前未关闭与上一个用户关联的应用程序显示内容(例如浏览的网页页面或者创建的文档/应用程序文件等)时,手机在点亮屏幕之前,可以将与上一个用户关联的应用程序显示内容和上一个用户的人脸特征信息对应的存储下来,并关闭与上一个用户关联的应用程序显示内容。或者,手机可以创建一个新的操作界面,手机在点亮屏幕后进入新的操作界面,显示应用程序界面,可以理解为当前用户与上一个用户对应的操作界面不同,上一个用户对应的操作界面可以仍然保持与上一个用户关联的应用程序显示内容处于未关闭状态。
在情形1下,对于手写笔的不同使用用途,该应用程序显示内容所包含的内容可以不同。
比如,当手写笔用于编辑应用程序文件(可以是手机自动创建的或者用户创建的,可以包括但不限于文档、表格、图片等)时,手机可以在创建应用程序文件后,建立用户的第一人脸特征信息与该应用程序文件之间的关联关系,或者,手机还可以在保存该应用程序文件时,建立用户的第一人脸特征信息与该应用程序文件之间的关联关系。对于不同的应用程序文件,手机可以根据用户的设置选择在创建或保存不同应用程序文件时,建立用户的第一人脸特征信息与不同应用程序文件之间的关联关系。即在情形1下,该应用程序界面可以包括创建和/或保存的应用程序文件。换言之,手机点亮屏幕后,可以显示创建或保存的应用程序文件,以便于用户编辑应用程序文件。其中,当应用程序文件为手机自动 创建时,手机可以根据预设策略显示创建相应的应用程序文件,并且可以建立用户通过手写笔对该相应的应用程序文件编辑的内容与用户的第一人脸特征信息之间的关联关系。例如,可以设置默认创建某个应用的应用程序文件,当手机点亮屏幕后,自动创建该应用的应用程序文件,或者,手机可以自动创建当前的前台应用的应用程序文件,以便于用户编辑相应内容,无需用户多次操作创建应用程序,可以提高手机使用的便携性。示例性的,以应用为备忘录应用为例,如图7中的(a)所示,手机点亮屏幕后,可以自动创建并显示新的空白文档(可以应理解为用户未编辑过的文档),以便于用户记录笔记内容(例如文本内容和/绘画内容等)。
比如,手写笔还可以用于浏览网页页面内容,那么,该应用程序界面可以包括公共界面。例如,手机点亮屏幕后,可以显示第一应用的主页页面,第一应用可以是手机中已安装的可以用于浏览网页页面的任意一个应用,以便于用户浏览第一应用提供不同的网页页面,可以提高手机使用的便携性。例如,当第一应用为百度应用时,百度应用可以提供推荐页面、直播页面、视频页面、等不同网页页面。在此过程中,手机可以将用户浏览的不同网页页面与用户的第一人脸特征信息关联存储于下来。其中,手机可以根据预设策略打开第一应用的主页页面,例如,可以设置默认打开第一应用的主页页面,当手机点亮屏幕后,自动打开第一应用的主页页面,或者,当第一应用为前台应用时,手机可以自动打开第一应用的主页页面,以便于用户浏览不同的网页页面。
当然,手写笔的使用用途除了上述使用用途之外,还可以有其它使用用途,例如使用手写笔进行电子签名认证等,本申请实施例对此不进行限定。其中,在手写笔用于电子签名认证时,该应用程序界面可以包括新的电子文件(可以理解为用户未签名过的电子文件)。比如,手机点亮屏幕后,可以自动打开新的电子文件(例如合同文件或者需要用户签名的文件),或者,检测到触发对电子文件进行签名的操作,打开新的电子文件,以便于用户进行签名认证。在此过程中,手机可以将用户在电子文件中签的文字(例如用户姓名)与用户的第一人脸特征信息关联存储于下来。
情形2,用户的第一人脸特征信息不包含在手机已存储的人脸特征信息内,手机处于息屏锁定状态。
在情形2下,当手机检测到手写笔对显示屏进行第一操作时,手机可以点亮屏幕,进行屏幕解锁,并显示应用程序界面,该应用程序界面包括公共界面或新创建的应用程序文件。其中,情形2中,手机解锁屏幕后显示应用程序界面的方式可以参见上述情形1中手机显示应用程序界面的相关描述内容,在此不再赘述。
情形3,用户的第一人脸信息不包含在手机已存储的身份信息内,手机处于亮屏锁定状态。
在情形3下,当手机检测到手写笔对显示屏进行第一操作时,手机可以解锁屏幕,显示应用程序界面,该应用程序界面包括公共界面或新创建的应用程序文件。其中,情形3中,手机解锁屏幕后显示应用程序界面的方式可以参见上述情形1中手机显示应用程序界面的相关描述内容,在此不再赘述。比如,当应用程序文件为备忘录应用的应用程序文件时,如图7中的(b)所示,该应用程序界面可以包括手机新创建的空白文档,即手机解锁屏幕后,可以自动创建并显示新的空白文档,以便于用户记录笔记内容。在此过程中,手机可以将用户在该空白文档中记录的笔记内容与用户的第一人脸特征信息关联存储下来。
情形4,用户的第一人脸特征信息不包含在手机已存储的人脸特征信息内,手机处于 亮屏开锁状态,第一操作为手写笔点击第一应用的图标的操作。
在情形4下,当手机检测到第一操作时,可以隐藏与已存储的人脸特征信息关联的应用程序显示内容,并显示应用程序界面,该应用程序界面包括公共界面或新创建的应用程序文件。示例性的,若第一应用为可用于编辑应用程序文件的应用,手机检测到第一操作时,可以显示第一应用的主页页面。或者,手机检测到第一操作时,可以自动创建并显示新的应用程序文件。例如,如图7中的(c)所示,若第一应用为备忘录应用,当用户通过手写笔点击第一应用的图标时,手机可以创建并显示新的空白文档。在此过程中,手机可以将用户在该空白文档中记录的笔记内容与用户的第一人脸特征信息关联存储于下来。其中,情形4中,手机打开第一应用后显示应用程序界面的方式可以参见上述情形1中手机显示应用程序界面的相关描述内容,在此不再赘述。
S15、手机检测到手写笔对显示屏进行第一操作时,基于用户的第一人脸特征信息,显示与用户的第一人脸特征信息关联的应用程序显示内容。
在一些实施例中,对于S15可以包括但不限于以下几种情形:
情形一,用户的第一人脸特征信息包含在手机已存储的人脸特征信息内,可以理解为该用户是使用过手机的用户,手机处于息屏开锁状态。
在情形一下,当手机检测到手写笔对显示屏进行第一操作时,手机可以点亮屏幕,显示应用程序界面,该应用程序界面可以包括与用户的第一人脸特征信息关联的应用程序显示内容。在此过程中,若手机在显示屏息屏前未关闭与上一个用户关联的应用程序显示内容(例如浏览的网页页面或者创建的文档/应用程序文件等)时,手机在点亮屏幕之前,可以将与上一个用户关联的应用程序显示内容和上一个用户的人脸特征信息对应的存储下来,并关闭与上一个用户关联的应用程序显示内容。或者,手机可以创建一个新的操作界面,手机在点亮屏幕后进入新的操作界面,显示应用程序界面,可以理解为当前用户与上一个用户对应的操作界面不同,上一个用户对应的操作界面可以仍然保持与上一个用户关联的应用程序显示内容处于未关闭状态。
在情形一下,对于手写笔的不同使用用途,该应用程序显示内容所包含的内容可以不同。
比如,当手写笔用于编辑应用程序文件,手机可以在点亮屏幕后,显示与用户的第一人脸特征信息关联的应用程序文件中存储时间最近的应用程序文件,以便于用户继续编辑上一次编辑的应用程序文件,无需用户多次操作查找上一次编辑的应用程序文件,可以提高手机使用的便携性。在此过程中,手机可以将用户在该应用程序文件中新编辑的内容与用户的第一人脸特征信息关联存储于下来。示例性的,如图8中的(a)所示,该应用程序界面可以包括与用户的第一人脸特征信息关联的存储时间最近的文档,换言之,手机点亮屏幕后,显示与用户的第一人脸特征信息关联的存储时间最近的文档,以便于用户继续记录笔记内容。在此过程中,手机可以将用户在该文档中续录的笔记内容与用户的第一人脸信息关联存储于下来。
比如,手写笔还可以用于浏览网页内容,那么,该应用程序界面可以与用户的第一人脸信息关联的网页页面中最近浏览的网页页面,换言之,手机点亮屏幕后,显示与用户的第一人脸特征信息关联的网页页面中最近浏览的网页页面,以便于用户继续浏览上一次浏览的网页页面。在此过程中,若用户浏览其它网页页面时,手机还可以将用户浏览的这些网页页面以及浏览这些网页页面的时间与用户的第一人脸特征信息关联存储于下来。
当然,在情形5下,手写笔的使用用途除了上述使用用途之外,还可以有其它使用用途,例如使用手写笔进行电子签名认证等,本申请实施例对此不进行限定。在手写笔用于电子签名认证时,该应用程序界面可以包括该用户的第一人脸特征信息关联的电子文件,换言之,手机点亮屏幕后,可以显示与用户的第一人脸特征信息关联的电子文件,以便于用户进行签名认证。在此过程中,若用户需要再次对该电子文件进行再一次签名认证时,比如,用户关闭该电子文件再次打开该电子文件,或者是该电子文件需要双重签名时,手机可以响应于用于触发对电子文件进行签名的操作,显示提示信息,其中,该提示信息可以用于提示获取当前用户的人脸图像。示例性的,该提示信息可以包括“请通过以下设备采集人脸图像”的显示内容和“手机”或“手写笔”两个控件,手机检测到用户点击“手机”时,手机可以通过手机的摄像头采集用户的人脸图像,或者,检测到用户点击“手写笔”控件时,手机可以向手写笔发送用于采集用户的人脸图像的指示信息,以指示手写笔再次采集用户的人脸图像。或者,手机可以在显示提示信息时,自动向手写笔发送用于采集用户的人脸图像的指示信息,以指示手写笔再次采集用户的人脸图像。手机获得人脸图像后,对该人脸图像进行识别,以提取该人脸图像的第三人脸特征信息,将第三人脸特征信息与该电子文件关联的第一人脸特征信息不匹配时,则不响应当前用户通过手写笔对该电子文件进行签名的操作,若第三人脸特征信息与该电子文件关联的第一人脸特征信息匹配,则响应手写笔对该电子文件进行签名的操作,手机可以将用户在该电子文件中再次签的文字(例如用户姓名)与用户的第一人脸特征信息关联存储于下来。通过此方式,可以避免其他用户模仿该用户的笔迹冒充该用户进行签字而损害该用户自身的利益的现象,可以提高手机使用的安全性。
情形二,用户的第一人脸特征信息包含在手机已存储的人脸特征信息内,手机处于息屏锁定状态。
在情形二下,当手机检测到手写笔对显示屏进行第一操作时,手机可以点亮屏幕,进行屏幕解锁,并显示应用程序界面,该应用程序界面包括与用户的第一人脸特征信息关联的应用程序显示内容。其中,情形二中,手机解锁屏幕后显示应用程序界面的方式可以参见上述情形一中手机显示应用程序界面的相关描述内容,在此不再赘述。
情形三,用户的第一人脸特征信息包含在手机已存储的人脸特征信息内,手机处于亮屏锁定状态。
在情形三下,当手机检测到手写笔对显示屏进行第一操作时,手机可以解锁屏幕,显示应用程序界面,该应用程序界面包括与用户的第一人脸特征信息关联的应用程序显示内容。其中,情形三中,手机解锁屏幕后显示应用程序界面的方式可以参见上述情形一中手机显示应用程序界面的相关描述内容,在此不再赘述。示例性的,以手写笔用于应用程序文件为例,如图8中的(b)所示,手机可以在解锁屏幕后,显示与用户的第一人脸特征信息关联的存储时间最近的文档,以便于用户继续编辑该文档以继续记录笔记内容。在此过程中,手机可以将用户在该文档中续录的笔记内容与用户的第一人脸特征信息关联存储于下来。
情形四,用户的第一人脸特征信息包含在手机已存储的人脸特征信息内,手机处于亮屏开锁状态,第一操作为手写笔点击第一应用的图标的操作。
在情形四下,当手机检测到第一操作时,可以隐藏与已存储的用户身份信息关联的应用程序显示内容,并显示应用程序界面,该应用程序界面包括与用户的第一人脸特征信息 关联的应用程序显示内容。例如,如图8中的(c)所示,当用户通过手写笔点击第一应用的图标时,手机可以显示与用户的第一人脸特征信息关联的存储时间最近的文档,以便于用户继续记录笔记内容。在此过程中,手机可以将用户在该文档中续录的笔记内容与用户的第一人脸特征信息关联存储下来。其中,当手写笔用于实现其它作用时,手机显示应用程序的界面可以参见上述情形一中手机显示应用程序界面的相关描述内容,在此不再赘述。
本申请实施例中,手机通过提取接收到来自手写笔的人脸图像中的人脸特征信息,并将提取到的人脸特征信息与已存储的人脸特征信息进行匹配,并在检测到手写笔对显示屏进行的第一操作时,显示与用户的人脸特征信息关联的显示内容,或者创建用户的人脸特征信息与显示内容之间的关联关系,可以简化用户查找与自己人脸特征信息关联的应用程序显示内容的操作,提高了手机使用的便携性。进一步的,手机在显示应用程序界面时,只显示与用户的人脸特征信息关联的应用程序显示内容以及与个人隐私不关联的内容(例如应用的主页面、手机的桌面等),可以避免当前使手机的用户可以查看与以往使用过手机的其他用户的人脸特征信息关联的应用程序显示内容,可以确保用户的隐私不被泄露,提高了手机使用的安全性。
S16、手机显示与用户的第一人脸特征信息关联的偏好设置。
在一些实施例中,当用户的第一人脸特征信息包含在手机已存储的人脸特征信息内时,手机在显示与用户的第一人脸信息关联的显示内容的过程中,还可以获取与第一人脸信息关联的偏好设置,显示该偏好设置,即应用程序界面还可以显示与用户人脸特征信息关联的偏好设置。手机通过显示与第一人脸特征信息关联的偏好设置,可以便于用户查找自己偏好使用的绘写工具/文本字体类型/网页类型等,可以提高手机使用的便携性,有助于提升用户的体验。示例性的,偏好设置可以包括但不限于:文本字体类型/颜色、线条的粗细与颜色、绘画使用的笔刷、网页类型,相应的快捷控件等等。
举例来说,用户在与用户的第一人脸信息关联的存储时间最近的文档进行记录笔记内容的过程中,用户可以直接按照与用户第一人脸信息关联的偏好设置,记录笔记内容,而不需要再次手动操作相应的偏好设置,且手机只显示与用户的第一人脸信息关联的偏好设置,可以满足用户的个性化需求。此外,针对于创作严密性较高的场景下(例如创作图画的场景下),可以避免泄露用户的偏好设置,可以提高手机使用的安全性。
本申请实施例中,用户在使用手写笔对手机进行操作的过程中,手机可以显示与用户的人脸特征信息关联的偏好设置,无需用户多次手动操作设置相应的偏好设置,便于用户使用手写笔对手机进行操作,可以提高手机使用的便携性,有助于提升用户的体验。
需要说明的是,本申请实施例不对步骤S15和步骤S16之间的执行顺序进行限定,比如手机可以同步执行步骤S15和步骤S16,或者可以先执行步骤S15,后执行步骤S16。
S17、手机记录用户使用手机的过程中使用新的偏好设置,并创建用户的第一人脸特征信息与新的偏好设置之间的关联关系。
在一些实施例中,当用户的第一人脸特征信息不包含在手机已存储的人脸特征信息内时,手机在创建用户的第一人脸特征信息与显示内容之间的关联关系的过程中,还可以记录在此过程中使用的偏好设置(可以理解为新的偏好设置),创建用户的第一人脸特征信息与该偏好设置之间的关联关系。当用户再次使用手机时,无需再次手动操作相应的偏好设置,便于用户查找自己偏好设置等,可以提高手机使用的便携性,有助于提升用户的体验。比如,用户在使用新创建的文档记录笔记内容的过程中,手机可以记录用户在记录笔 记内容的过程中使用的偏好设置,例如字体大小、类型,绘图工具等,并创建用户使用的偏好设置与用户的第一人脸特征信息之间的关联关系。
或者,当用户的第一人脸特征信息包含在手机已存储的人脸特征信息内时,手机在显示与用户的第一人脸特征信息关联的显示内容的过程中,若用户使用了新的偏好设置,手机还可以创建用户的第一人脸特征信息与新的偏好设置之间的关联关系,可以丰富与用户的第一人脸特征信息关联的偏好设置,可以提高手机使用的便携性。
S18、确定用户的人脸图像中的人脸偏转方向,根据该偏转方向设置所述应用程序界面的显示方向,以使应用程序界面的显示方向与用户的人脸图像中人脸的偏转方向相匹配。
在一些实施例中,为了符合用户查看该应用程序界面或者在该应用程序界面记录或编辑内容的习惯,手机可以根据接收到的用户的人脸方向设置屏幕方向,使得应用程序界面的显示方向与用户的人脸方向相匹配,可以避免用户在使用手写笔对手机进行操作的过程中需要不断拿起手机旋转屏幕方向调整应用程序界面的显示方向,可以提高手机使用的便携性,有助于提升用户的体验。
在一些实施例中,手机可以通过检测接收到的人脸图像,获取接收到的人脸图像中的人脸的偏转方向。在另外一些实施例中,手写笔还可以检测采集到的人脸图像,获取采集到的人脸图像中的人脸的偏转方向,并将该偏转方向发送给手机。手机可以根据该偏转方向调整应用程序界面的显示方向。
举例来说,摄像头采集到人脸图像对应的图像框设置为与手机显示屏当前的显示方向匹配,若人脸图像中的人脸与该图像框偏离,则可以表明用户的人脸方向与用户的显示方向偏移。而手机的显示方向一般包括横屏显示或者竖屏显示。示例性的,可以设置调整显示屏的显示方向对应的角度范围,比如,45°-135°,例如,若手机的显示屏当前为竖屏显示,当检测到用户的人脸的偏转方向对应的角度属于45°-135°范围内,则可以调整为横屏显示。
示例性的,在手机接收到来自手写笔的人脸图像之前,若手机的显示屏处于息屏状态且处于横屏状态下,接收到的人脸图像中的人脸的偏转角度属于调整显示屏的显示方向对应的角度范围内,如图9所示的情形1中,手机可以将应用程序界面的显示方向调整为横屏显示方向,以使得应用程序界面的显示方向与用户人脸的偏转方向相匹配。或者,若手机的显示屏处于亮屏锁定状态且处于横屏状态下,接收到的人脸图像中的人脸的偏转角度属于调整显示屏的显示方向对应的角度范围内,如图9所示的情形2中,手机可以将应用程序界面的显示方向调整为横屏显示方向,以使得应用程序界面的显示方向与用户人脸的偏转方向相匹配。或者,若手机的显示屏处于亮屏解锁状态且处于横屏状态下,接收到的人脸图像中的人脸的偏转角度属于调整显示屏的显示方向对应的角度范围内,如图9所示的情形3中,手机可以将应用程序界面的显示方向调整为横屏显示方向,以使得应用程序界面的显示方向与用户人脸的偏转方向相匹配。通过这种方式,可以保持应用程序界面的显示方向始终与用户人脸偏转方向相匹配,可以便于在该应用程序界面记录或编辑内容。
需要说明的是,本申请实施例不对S18的执行顺序进行限定。比如,手机可以执行S14或S15时,同步执行S18,或者先执行S14或S15,后执行S18,或者先执行S18,后执行S14或S15等。
本申请实施例中,手机在被用户使用的过程中,检测到手写笔对显示屏进行的第一操作时,显示与用户的人脸特征信息关联的显示内容,或者创建用户的人脸特征信息与显示 内容之间的关联关系,可以简化用户查找与自己人脸特征信息关联的应用程序显示内容的操作,提高了手机使用的便携性。进一步的,手机在显示应用程序界面时,只显示与用户的人脸特征信息关联的应用程序显示内容以及与个人隐私不关联的内容,可以避免当前使手机的用户可以查看与以往使用过手机的其他用户的人脸特征信息关联的应用程序显示内容,可以确保用户的隐私不被泄露,提高了手机使用的安全性。
以上实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请实施例中,“一个或多个”、“至少一个”是指一个、两个或两个以上;“和/或”,描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
上述本申请提供的实施例中,从电子设备(例如手机)作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能,终端设备可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
以上实施例中所用,根据上下文,术语“当…时”或“当…后”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。另外,在上述实施例中,使用诸如第一、第二之类的关系术语来区份一个实体和另一个实体,而并不限制这些实体之间的任何实际的关系和顺序。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导 体介质(例如固态硬盘Solid State Disk(SSD))等。
需要指出的是,本专利申请文件的一部分包含受著作权保护的内容。除了对专利局的专利文件或记录的专利文档内容制作副本以外,著作权人保留著作权。

Claims (14)

  1. 一种显示方法,其特征在于,包括:
    响应于来自手写笔的人脸图像,进行人脸识别得到人脸特征信息;
    显示应用程序界面,所述应用程序界面中包括与识别到的人脸特征信息关联的显示内容。
  2. 如权利要求1所述的方法,其特征在于,所述应用程序界面中包括与识别到的人脸特征信息关联的文件,所述文件为与所述人脸特征信息关联的文件中存储时间最近的文件;或者,
    所述应用程序界面中包括与识别到的人脸特征信息关联的网页页面,所述网页页面为与所述人脸特征信息关联的网页页面中最近浏览的网页页面。
  3. 如权利要求1所述的方法,其特征在于,显示应用程序界面,包括:
    响应于所述手写笔的屏幕触控操作,点亮屏幕,进行屏幕解锁,并显示所述应用程序界面;或者,
    响应于所述手写笔的屏幕触控操作,点亮屏幕,并显示所述应用程序界面。
  4. 如权利要求1所述的方法,其特征在于,所述应用程序界面的显示方向与所述人脸图像中人脸的偏转方向相匹配。
  5. 如权利要求1-4任一项所述的方法,其特征在于:
    响应于来自手写笔的人脸图像,进行人脸识别得到人脸特征信息,包括:
    接收来自于所述手写笔的人脸图像,所述人脸图像是所述手写笔上设置的图像采集装置采集到的;
    根据所述人脸图像提取人脸特征信息;
    将提取到的人脸特征信息与已存储的人脸特征信息进行匹配;
    显示应用程序界面,所述应用程序界面中包括与识别到的人脸特征信息关联的显示内容,包括:
    若提取到的人脸特征信息与已存储的人脸特征信息匹配,则获取与识别到的人脸特征信息关联的应用程序显示内容,并显示相应应用程序界面,所述应用程序界面中包括与识别到的人脸特征信息关联的应用程序显示内容。
  6. 如权利要求5所述的方法,其特征在于,还包括:
    若提取到的人脸特征信息与已存储的人脸特征信息不匹配,则将提取到的人脸特征信息进行存储,并当创建和/或保存应用程序文件时,建立所述人脸特征信息与被创建和/或保存的应用程序文件之间的关联关系;或者,
    若提取到的人脸特征信息与已存储的人脸特征信息不匹配,则将提取到的人脸特征信息进行存储,当有网页页面被浏览时,建立所述人脸特征信息与被浏览的网页页面之间的关联关系。
  7. 如权利要求6所述的方法,其特征在于,还包括:
    若提取到的人脸特征信息与已存储的人脸特征信息不匹配,则新创建一个应用程序文件,并将所述新创建的应用程序文件与提取到的人脸特征信息进行关联。
  8. 如权利要求1-5任一项所述的方法,其特征在于,还包括:
    检测所述人脸图像中的人脸的偏转方向;
    根据所述人脸的偏转方向设置所述应用程序界面的显示方向。
  9. 如权利要求1-5任一项所述的方法,其特征在于,还包括:
    响应于用于触发对电子文件进行签名的操作,显示提示信息,所述提示信息用于提示获取人脸图像;
    响应于来自手写笔的人脸图像,进行人脸识别得到人脸特征信息;
    将识别到的人脸特征信息与所述电子文件关联的人脸特征信息进行匹配,若识别到的人脸特征信息与所述电子文件关联的人脸特征信息相匹配,则响应对所述电子文件进行签名的操作,否则不响应对所述电子文件进行签名的操作。
  10. 如权利要求1-5任一项所述的方法,其特征在于,还包括:
    获取与所述人脸特征信息关联的所述应用程序的用户偏好设置;
    显示应用程序界面,包括:
    根据所述用户偏好设置,显示应用程序界面。
  11. 一种电子设备,其特征在于,包括:
    一个或多个处理器;
    一个或多个存储器;
    其中,所述一个或多个存储器存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1至10任一项所述的方法。
  12. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至10任一项所述的方法。
  13. 一种程序产品,其特征在于,包括指令,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1至10任一项所述的方法。
  14. 一种电子设备上的图形用户界面,其特征在于,所述电子设备具有显示屏、一个或多个存储器、以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述一个或多个存储器中的一个或多个计算机程序,所述图形用户界面包括所述电子设备执行如权利要求1至10中任意一项所述的方法。
PCT/CN2021/123112 2020-10-31 2021-10-11 一种显示方法及电子设备 WO2022089187A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011197963.7A CN114528468A (zh) 2020-10-31 2020-10-31 一种显示方法及电子设备
CN202011197963.7 2020-10-31

Publications (1)

Publication Number Publication Date
WO2022089187A1 true WO2022089187A1 (zh) 2022-05-05

Family

ID=81381874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/123112 WO2022089187A1 (zh) 2020-10-31 2021-10-11 一种显示方法及电子设备

Country Status (2)

Country Link
CN (1) CN114528468A (zh)
WO (1) WO2022089187A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030013483A1 (en) * 2001-07-06 2003-01-16 Ausems Michiel R. User interface for handheld communication device
CN104820567A (zh) * 2015-04-30 2015-08-05 三星电子(中国)研发中心 一种使用手写笔控制拍照的方法、设备与系统
CN205644553U (zh) * 2016-05-06 2016-10-12 重庆猫扑网络科技有限公司 一种电子签章装置
CN108038449A (zh) * 2017-12-14 2018-05-15 广东德生科技股份有限公司 一种无纸化电子签名方法和系统
CN108052819A (zh) * 2017-12-29 2018-05-18 维沃移动通信有限公司 一种人脸识别方法、移动终端及计算机可读存储介质
CN110619239A (zh) * 2019-08-30 2019-12-27 捷开通讯(深圳)有限公司 应用界面处理方法、装置、存储介质及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030013483A1 (en) * 2001-07-06 2003-01-16 Ausems Michiel R. User interface for handheld communication device
CN104820567A (zh) * 2015-04-30 2015-08-05 三星电子(中国)研发中心 一种使用手写笔控制拍照的方法、设备与系统
CN205644553U (zh) * 2016-05-06 2016-10-12 重庆猫扑网络科技有限公司 一种电子签章装置
CN108038449A (zh) * 2017-12-14 2018-05-15 广东德生科技股份有限公司 一种无纸化电子签名方法和系统
CN108052819A (zh) * 2017-12-29 2018-05-18 维沃移动通信有限公司 一种人脸识别方法、移动终端及计算机可读存储介质
CN110619239A (zh) * 2019-08-30 2019-12-27 捷开通讯(深圳)有限公司 应用界面处理方法、装置、存储介质及终端

Also Published As

Publication number Publication date
CN114528468A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
JP7142783B2 (ja) 音声制御方法及び電子装置
WO2021013158A1 (zh) 显示方法及相关装置
CN112527221A (zh) 一种数据传输的方法及相关设备
JP2016507815A (ja) 画像処理方法、画像処理装置、端末装置、プログラム、及び記録媒体
WO2021082835A1 (zh) 启动功能的方法及电子设备
CN111669462B (zh) 一种显示图像的方法及相关装置
CN114327666B (zh) 应用启动方法、装置和电子设备
CN112130714B (zh) 可进行学习的关键词搜索方法和电子设备
CN115016697A (zh) 投屏方法、计算机设备、可读存储介质和程序产品
WO2021190524A1 (zh) 截屏处理的方法、图形用户接口及终端
US20230236714A1 (en) Cross-Device Desktop Management Method, First Electronic Device, and Second Electronic Device
WO2020062014A1 (zh) 一种向输入框中输入信息的方法及电子设备
WO2023029916A1 (zh) 批注展示方法、装置、终端设备及可读存储介质
WO2022062902A1 (zh) 一种文件传输方法和电子设备
WO2022089187A1 (zh) 一种显示方法及电子设备
WO2022002213A1 (zh) 翻译结果显示方法、装置及电子设备
CN114666441B (zh) 一种调用其他设备能力的方法、电子设备、系统和存储介质
CN114244951B (zh) 应用程序打开页面的方法及其介质和电子设备
WO2023221895A1 (zh) 一种目标信息的处理方法、装置以及电子设备
WO2023226975A1 (zh) 一种显示方法与电子设备
WO2022135273A1 (zh) 一种调用其他设备能力的方法、电子设备和系统
WO2023274033A1 (zh) 访问控制方法及相关装置
WO2023098417A1 (zh) 一种界面显示方法以及装置
WO2022022381A1 (zh) 生成涂鸦图案的方法、装置、电子设备及存储介质
CN117631939A (zh) 一种触控输入的方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21884916

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21884916

Country of ref document: EP

Kind code of ref document: A1