WO2022111701A1 - 投屏方法及系统 - Google Patents

投屏方法及系统 Download PDF

Info

Publication number
WO2022111701A1
WO2022111701A1 PCT/CN2021/134117 CN2021134117W WO2022111701A1 WO 2022111701 A1 WO2022111701 A1 WO 2022111701A1 CN 2021134117 W CN2021134117 W CN 2021134117W WO 2022111701 A1 WO2022111701 A1 WO 2022111701A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
gesture
content
gesture operation
display screen
Prior art date
Application number
PCT/CN2021/134117
Other languages
English (en)
French (fr)
Inventor
钱凯
聂蔚松
王满杰
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to US18/254,998 priority Critical patent/US20240004603A1/en
Priority to EP21897201.6A priority patent/EP4235389A4/en
Publication of WO2022111701A1 publication Critical patent/WO2022111701A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种投屏方法及系统,属于终端技术领域。该方法包括:第一设备显示第一内容;检测第一手势操作,并对检测到的第一手势操作进行识别,第一手势操作为连续且移动的手势操作;第二设备检测第一手势操作,并对检测到的第一手势操作进行识别,第二设备与第一设备建立通信连接;若第一设备识别到第一手势操作为投屏手势,则将第一设备显示的第一内容投屏至第二设备;若第二设备识别到第一手势操作为被投屏手势,则接收第一设备投屏的第一内容,并在第二设备上进行显示。如此,用户在第一设备和第二设备附近执行投屏手势,即可快速触发第一设备将屏幕内容投屏至第二设备,从而提高了投屏效率和灵活性,扩展了投屏方式。

Description

投屏方法及系统
本申请要求于2020年11月30日提交国家知识产权局、申请号为202011384624.X、申请名称为“投屏方法及系统”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及终端技术领域,尤其涉及一种投屏方法及系统。
背景技术
随着终端技术的发展,投屏技术得到了广泛的应用。投屏是指将一个设备上的屏幕内容投放到另一个设备上进行显示。例如,将手机上的视频投放到智能电视上进行播放,这样用户就可以在具有更大尺寸屏幕的智能电视上观看手机上的视频。
相关技术中,需要通过一系列的界面操作来触发投屏。以手机投屏智能电视为例,如果用户想要将手机上的屏幕内容投屏到智能电视上,需要先打开手机的“设置”菜单,在“设置”菜单中选择“设备连接”选项来进入下一级菜单。然后用户在下一级菜单中选择“手机投屏”选项,可触发手机搜索与手机在同一局域网内的设备并显示搜索到的设备的设备标识。之后,用户从手机显示的设备标识中选择一个设备标识,可触发手机将屏幕内容投屏到这个设备标识所标识的设备上。
上述投屏方式中,由于需要通过一系列的界面操作来触发投屏,因此投屏操作较为繁琐,投屏效率以及灵活性较低。
发明内容
本申请提供一种投屏方法及系统,可以解决相关技术中提供的投屏操作较为繁琐,投屏效率以及灵活性较低的问题。
为达到上述目的,本申请采用如下技术方案:
第一方面,提供了一种投屏方法,应用于投屏系统中,投屏系统包括第一设备和第二设备,投屏方法包括:
第一设备显示第一内容,在显示第一内容的过程中,检测第一手势操作,并对检测到的第一手势操作进行识别;第二设备检测第一手势操作,并对检测到的第一手势操作进行识别;若第一设备识别到第一手势操作为投屏手势,则将第一设备显示的第一内容投屏至第二设备;若第二设备识别到第一手势操作为被投屏手势,则接收第一设备投屏的第一内容,并在第二设备上进行显示。
如此,用户在第一设备和第二设备附近执行投屏手势,即可快速触发第一设备将屏幕内容投屏至第二设备,从而提高了投屏效率和灵活性,扩展了投屏方式。
需要说明的是,第一内容为第一设备所显示的屏幕内容。第一内容可以包括多媒体文件的播放界面、视频通话界面、语音通话界面、应用程序的显示界面或设备的主 界面等,本申请实施例对此不作限定。其中,多媒体文件可以包括视频、音频、图片或文本等,本申请实施例对此也不作限定。
在第一设备显示第一内容时,若用户想要将第一设备的第一内容投屏至第二设备,以便通过第二设备观看第一内容,可以在第一设备和第二设备附近执行特定的第一手势操作,通过特定的第一手势操作来触发第一设备进行投屏。
第一手势操作可以为静态手势,也可以为动态手势。其中,静态手势是指手势的姿态。动态手势包括手势的姿态和动作,如连续且移动的手势。比如,第一手势操作可以为手掌朝向用户并向远离用户的方向移动的手势,或者为手掌朝向用户并向靠近用户的方向移动的手势,或者为手掌朝向地面并向远离用户的方向移动的手势,或者为手掌朝向地面并向靠近用户的方向移动的手势等。
投屏手势是指从第一设备的角度对特定的第一手势操作进行采集得到的手势,用于触发第一设备进行投屏。被投屏手势指示从第二设备的角度对特定的第一手势操作进行采集得到的手势,用于触发第二设备接受第一设备的投屏。示例的,被投屏手势与投屏手势的手部姿态和/或手势动作相反的手势。
投屏手势和被投屏手势为预先设置的特定手势,可以预先由第一设备默认设置,也可以由用户根据需要手动设置,本申请实施例对投屏手势和被投屏手势的设置方式不作限定。另外,投屏手势和被投屏手势可以为静态手势,也可以为动态手势。
作为一个示例,投屏手势为手掌朝向第一设备并向远离第一设备的方向移动的手势,被投屏手势为手背朝向第二设备并向靠近第二设备的方向移动的手势。或者,投屏手势为手掌朝向地面、大拇指朝向第一设备并向远离第一设备的方向移动的手势,被投屏手势为手掌朝向地面、小拇指朝向第一设备并向远离第一设备的方向移动的手势。当然,投屏手势也可以设置为其他手势,本申请实施例对此不作限定。
第一设备可以配置手势采集模块,通过手势采集模块来检测用户的手势操作。可选地,手势采集模块可以为摄像组件或声波传感器等。比如,第一设备可以通过摄像组件,采集包含第一手势操作的图像,然后对通过摄像组件采集的图像进行图像分析,得到手势识别结果。
另外,第二设备也可以配置手势采集模块,通过手势采集模块来检测用户的手势操作。可选地,手势采集模块可以为摄像组件或声波传感器等。比如,第二设备可以通过摄像组件,采集包含第一手势操作的图像,然后对采集的图像进行图像分析,得到手势识别结果。
在一种可能的实现方式中,第一设备或第二设备可以利用AI技术对采集的图像进行图像分析,得到手势识别结果。比如,可以利用预先训练好的手势识别模型,对采集的图像进行识别处理,得到手势识别结果。手势识别模型用于识别图像中的投屏手势或被投屏手势。手势识别模型可以为机器学习模型,如神经网络模型等。
第一设备对检测到的第一手势操作进行识别得到的手势识别结果可以包括第一手势操作是否为投屏手势。可选地,若检测到的第一手势操作为投屏手势,手势识别结果还可以包括以下信息中的指示一种:第一手势操作的移动方向和移动距离。移动距离可以为移动轨迹的轨迹长度,也可以为移动轨迹的直线距离,本申请实施例对此不作限定。
需要说明的是,本申请实施例所述的第一手势操作的移动距离可以为第一手势操作相对手势起始位置的移动距离,可以为第一手势操作相对第一设备的移动距离,也可以为第一手势操作相对第二设备的移动距离,本申请实施例对此不作限定。
第二设备对检测到的第一手势操作进行识别得到的手势识别结果可以包括第一手势操作是否为被投屏手势。可选地,若检测到的第一手势操作为被投屏手势,手势识别结果还可以包括以下信息中的指示一种:第一手势操作的移动方向和移动距离。
第一设备若识别到第一手势操作为投屏手势,可以触发第一设备对第一设备显示的第一内容进行投屏。第二设备若识别到第一手势操作为投屏手势,可以触发第二设备等待接收其他设备投屏的第一内容,比如,若接收到第一设备的投屏的第一内容,即可对第一内容进行显示。
作为一个示例,第一设备将第一设备显示的第一内容投屏至第二设备可以包括以下几种投屏模式:
第一种投屏方式:第一设备对第一设备显示的第一内容进行录屏,将录屏数据发送给第二设备。
第二种投屏方式:第一设备获取第一设备显示的第一内容的流媒体数据,将流媒体数据发送给第二设备。其中,流媒体数据是指第一设备所显示的多媒体文件的流媒体数据,可以通过对第一设备所显示的多媒体文件进行流媒体数据转换得到。
第三种投屏方式:第一设备获取第一设备显示的第一内容的内容相关信息,将该内容相关信息发送给第二设备,由第二设备显示内容相关信息所指示的第一内容。
其中,第一内容的内容相关信息用于指示第一设备显示的第一内容。比如,若第一设备显示的第一内容为多媒体文件的播放界面,则该内容相关信息至少包括多媒体文件的链接地址。若第一设备显示的第一内容为视频通话界面,则该内容相关信息指示包括视频通话的呼叫转移信息。
需要说明的是,第三种投屏方式是本申请实施例提出的一种新的投屏方式,这种投屏方式无需进行录屏,也无需进行流媒体数据转换,且所发送的内容相关信息的数据量也远远小于录屏数据和流媒体数据的数据量,因此,这种投屏方式的计算量较小,传输的数据量也较小,从而提高了投屏效率,减小了投屏过程中的时延,提高了投屏体验。
作为一个示例,第一设备获取第一设备显示的第一内容的内容相关信息,将内容相关信息发送给第二设备的操作可以包括以下几种情况:
第一种情况:若第一设备正在播放多媒体文件,则获取多媒体文件的文件相关信息,将多媒体文件的文件相关信息发送给第二设备。
其中,多媒体文件可以包括视频、音频、文本或图像等。多媒体文件的文件相关信息至少包括多媒体文件的链接地址。可选地,多媒体文件的文件相关信息还可以包括多媒体文件的播放进度信息。其中,该播放进度信息用于指示多媒体文件的播放进度,可以为多媒体文件的当前播放时间等。
第二种情况:若第一设备正在进行视频通话,则获取视频通话的呼叫转移信息,将呼叫转移信息发送给第二设备。
其中,视频通话的呼叫转移信息用于将第一设备的视频通话转移到第二设备上。 视频通话的呼叫转移信息可以包括视频通话标识,视频通话标识用于唯一标识当前的视频通话,如视频通话的ID等。
作为一个示例,第二设备接收第一设备投屏的第一内容,并在第二设备上进行显示可以包括以下几种实现方式:
第一种实现方式:第二设备接收第一设备发送的录屏数据,对该录屏数据进行播放。其中,该录屏数据是由第一设备对第一设备的显示屏幕进行录屏得到。
第二种实现方式:第二设备接收第一设备发送的第一内容的流媒体数据,对该流媒体数据进行播放。
第三种实现方式:第二设备接收第一设备发送的内容相关信息,基于该内容相关信息,对第一内容进行显示,该内容相关信息用于指示第一设备显示的第一内容。
作为一个示例,第二设备基于该内容相关信息,对第一内容进行显示的操作包括以下几种情形:
第一种情形:若内容相关信息为第一设备正在播放的多媒体文件的文件相关信息,且文件相关信息至少包括该多媒体文件的链接地址,则第二设备根据该链接地址获取该多媒体文件,对获取的多媒体文件进行播放。
在一种可能的实现方式中,若多媒体文件的文件相关信息还包括多媒体文件的播放进度信息,则第二设备在根据该链接地址获取该多媒体文件之后,还可以基于该播放进度信息,从该播放进度信息指示的播放进度开始播放该多媒体文件。
第二种情形:若该内容相关信息为第一设备正在进行的视频通话的呼叫转移信息,则第二设备根据该呼叫转移信息,将第一设备的视频通话转移到第二设备上,显示呼叫转移后的视频通话界面。
其中,第二设备可以根据呼叫转移信息中的视频通话标识,将该视频通话标识所指示的视频通话转移到第二设备上,使得用户可以直接使用第二设备继续当前的视频通话。
在一种可能的实现方式中,第一设备在将第一内容投屏至第二设备之前,还可以先与第二设备建立通信连接,以便通过建立的通信连接将第一内容投屏至第二设备。
需要说明的是,第一设备与第二设备之间的通信连接可以在由用户通过对第一设备或第二设备的界面操作触发建立,也可以由第一设备或第二设备自动建立,本申请实施例对此不作限定。比如第一设备可以在手势投屏功能开启后自动建立与第二设备之间的通信连接,或者第一设备可以在识别到投屏手势后自动建立与第二设备之间的通信连接。
在一种可能的实现方式中,在第一设备将第一设备的第一内容投屏至第二设备之前,第一设备还可以先向第二设备发送握手请求,该握手请求用于请求与第二设备建立通信连接。第二设备接收第一设备发送的握手连接,基于该握手连接向第一设备发送握手确认消息,该握手确认消息用于指示成功建立所述第一设备与所述第二设备之间的通信连接。第一设备接收第二设备发送的握手确认消息之后,可以通过该通信连接,将第一设备的第一内容投屏至第二设备。
可选地,该握手请求可以携带投屏指示信息,投屏指示信息用于指示第一设备检测到投屏手势。第二设备接收到该握手请求后,可以先判断该投屏指示信息与第二设 备的手势识别结果是否匹配,若匹配,则进行握手确认,并向第一设备发送握手确认消息。
通过在识别到投屏手势之后,第一设备通过握手确认的方式自动建立与第二设备之间的通信连接,可以节省用户的手动连接操作,进一步简化投屏操作,提高投屏效率,为用户提供较佳的投屏体验。
在一种可能的实现方式中,第一设备对检测到的第一手势操作进行识别后,还可以将第一手势操作的识别结果发送给第二设备,以便将第一设备对第一手势操作的识别结果同步给第二设备。第二设备可以接收第一设备发送的第一手势操作的识别结果。比如,第一设备通过建立的通信连接,将第一手势操作的识别结果发送给第二设备。第二设备通过建立的通信连接,接收第一设备发送的第一手势操作的识别结果。
在一种可能的实现方式中,将第一设备显示的第一内容投屏至第二设备包括:第一设备在第一手势操作移动的过程中,将第一内容从第一设备的显示屏幕的一侧逐渐移出。其中,第一内容从第一设备的显示屏幕移出的比例和第一手势操作的移动距离相关联。
作为一个示例,第一设备的显示屏幕中用于将第一内容移出的一侧可以默认设置,比如默认设置为显示屏幕的上侧、下侧、左侧或右侧等,或者为显示屏幕中靠近第二设备的一侧。作为另一个示例,显示屏幕中用于将第一内容移出的一侧还可以根据第一手势操作的移动方向来确定,当然也可以通过其他方式确定,本申请实施例对此不作限定。
在一种可能的实现方式中,第一设备的第一内容可以按照移出的比例逐渐递增的方式,从显示屏幕的一侧逐渐移出。其中,移出的比例是指第一内容从显示屏幕中移出的部分占第一内容的整体部分的比例。
作为一个示例,第一设备在第一手势操作移动的过程中,将第一内容从第一设备的显示屏幕的一侧逐渐移出的操作可以包括以下两种实现方式:
第一种实现方式:第一设备根据第一手势操作的移动距离的变化,将第一内容从显示屏幕的一侧逐渐移出。
第一设备在第一手势操作移动的过程中,可以确定第一手势操作的移动距离;根据第一手势操作的移动距离,以及预先存储的第一手势操作的移动距离与第一内容从第一设备的显示屏幕移出的比例之间的映射关系,确定第一内容从第一设备的显示屏幕移出的比例,以便按照确定的移出的比例,将第一内容从显示屏幕的一侧逐渐移出。
其中,第一内容从第一设备的显示屏幕移出的比例是指第一内容从第一设备的显示屏幕中移出的部分占第一内容的整体部分的比例。
另外,第一手势操作移动的过程中,可以实时确定第一手势操作的移动距离,也可以周期性地确定该移动距离,本申请实施例对此不作限定。
本申请实施例中,可以预先设置第一手势操作的移动距离与第一内容从第一设备的显示屏幕移出的比例之间的映射关系,该映射关系用于指示不同的移动距离与不同的移出的比例之间的对应关系,且移动距离越大,移出的比例越大。另外,移出的比例最大可以为100%,用于指示将第一内容完全移出显示屏幕。
需要说明的是,第一手势操作的移动距离与移出的比例之间的映射关系可以通过 对应关系实现,也可以通过公式实现,本申请实施例对此不作限定。例如,移动距离与移出的比例之间的映射关系可以为移动距离与移出的比例之间的对应关系,移动距离范围与移出的比例之间的对应关系,或者,第一映射关系公式,第一映射关系公式用于指示移动距离与移出的比例之间的映射关系。
在一种可能的实现方式中,第一设备可以根据第一手势操作的移动距离,以及预先存储的移动距离范围与移出的比例之间的对应关系,确定第一内容从显示屏幕的一侧移出的比例;按照该移出的比例,将第一内容从显示屏幕的一侧移出。
在一种可能的实现方式中,显示屏幕中用于将第一内容移出的一侧还可以根据第一操作手势的移动方向确定。比如,可以预先设置移动方向与显示屏幕的各侧之间的映射关系,根据该映射关系来确定显示屏幕中用于将第一内容移出的一侧。
作为一个示例,在将第一内容从显示屏幕的一侧逐渐移出之前,先第一手势操作的移动方向,然后根据第一手势操作的移动方向,以及预先存储的第一手势操作的移动方向与显示屏幕的各侧之间的对应关系,确定显示屏幕中用于将第一内容移出的一侧。如此,可以进一步提高投屏方式的灵活性,为用户提供较佳的用户体验。
第二种实现方式:第一设备根据时间的变化,将第一内容从显示屏幕的一侧逐渐移出。
第一设备可以在检测到第一设备开始投屏后,触发第一设备根据时间的变化,将第一内容从显示屏幕的一侧逐渐移出。当然,也可以在其他时机触发将第一内容从显示屏幕的一侧逐渐移出,本申请实施例对此不作限定。
在一种可能的实现方式中,可以在识别到投屏手势,或者将第一内容成功发送给第二设备,或者接收到第二设备的投屏成功响应的情况下,确定第一设备开始投屏,进而触发将第一内容从显示屏幕的一侧逐渐移出。
作为一个示例,第一设备在检测到第一设备开始投屏后,可以确定当前时间点与开始投屏的时间点之间相距的时长,根据该时长将第一内容从显示屏幕的一侧逐渐移出。
也即是,第一设备可以在开始投屏后,按照时间的推移将第一内容从显示屏幕的一侧逐渐移出。或者,在开始投屏后的预设时长内,按照时间的推移将第一内容从显示屏幕的一侧逐渐移出。
在一种可能的实现方式中,可以根据该时长,以及时长与第一内容从显示屏幕移出的比例之间的映射关系,确定第一内容从显示屏幕移出的比例,以便按照确定出的移出的比例,将第一内容从显示屏幕的一侧移出。其中,时长与第一内容从显示屏幕移出的比例之间的映射关系可以通过对应关系实现,也可以通过公式实现,本申请实施例对此不作限定。
在一种可能的实现方式中,第二设备在接收到第一设备投屏的第一内容之后,可以将第一设备投屏的第一内容逐渐移入显示屏幕,然后基于完整移入至显示屏幕的第一内容进行投屏显示,以实现基于投屏手势将第一内容从第一设备投入到第二设备的可视化效果,为用户提供较佳的投屏体验。
在一种可能的实现方式中,可以将第一内容从第二设备的显示屏幕的一侧逐渐移入。作为一个示例,显示屏幕中用于将第一内容移入的一侧可以默认设置,比如默认 设置为显示屏幕的上侧、下侧、左侧或右侧等,或者为显示屏幕中靠近第一设备的一侧。作为另一个示例,显示屏幕中用于将第一内容移入的一侧还可以根据第一手势操作的移动方向来确定,当然也可以通过其他方式确定,本申请实施例对此不作限定。
比如,在将第一内容从第二设备的显示屏幕的一侧逐渐移入之前,第二设备可以确定第一手势操作的移动方向,然后根据第一手势操作的移动方向,以及预先存储的第一手势操作的移动方向与第二设备的显示屏幕的各侧之间的映射关系,确定第二设备的显示屏幕中用于将第一内容移入的一侧。
在一种可能的实现方式中,第一内容可以按照移入比例逐渐递增的方式,从第二设备的显示屏幕一侧逐渐移入。移入比例是指第一内容中移入显示屏幕的部分占第一内容的整体部分的比例。
作为一个示例,第二设备将第一内容从第二设备的显示屏幕的一侧逐渐移入的操作可以包括以下两种实现方式:
第一种实现方式:第二设备根据第一手势操作的移动距离的变化,将第一内容从显示屏幕的一侧逐渐移入。
在第一手势操作移动的过程中,可以确定第一手势操作的移动距离,以便根据第一手势操作的移动距离,从显示屏幕的一侧将第一内容逐渐移入。
作为一个示例,第一内容从第二设备的显示屏幕移入的比例和第一手势操作的移动距离相关联,第一内容从第二设备的显示屏幕移入的比例是指第一内容从第二设备的显示屏幕中移入的部分占第一内容的整体部分的比例。
也即是,可以预先设置第一手势操作的移动距离与第一内容从第二设备的显示屏幕移入的比例之间的映射关系,该映射关系用于指示不同的移动距离与不同的移入的比例之间的对应关系。而且,移动距离越大,移入的比例越大。另外,移入的比例最大可以为100%,用于指示将第一内容完整移入显示屏幕。
需要说明的是,移动距离与移入的比例之间的映射关系可以通过对应关系实现,也可以通过公式实现,本申请实施例对此不作限定。例如,移动距离与移入的比例之间的映射关系可以为移动距离与移入的比例之间的对应关系、移动距离范围与移入的比例之间的对应关系、或者第三映射关系公式,第三映射关系公式用于指示移动距离与移入的比例之间的映射关系。
在第二设备在所述第一手势操作移动的过程中,可以确定第一手势操作相对第二设备的移动距离。根据第一手势操作相对第二设备的移动距离,以及预先存储的第一手势操作相对第二设备的移动距离与所述第一内容从第二设备的显示屏幕移入的比例之间的映射关系,确定第一内容从所述第二设备的显示屏幕移入的比例,以便后续按照确定的移入的比例,将第一内容从第二设备的显示屏幕的一侧移入。
可选地,在将第一内容从第二设备的显示屏幕的一侧逐渐移入之前,第二设备还可以先确定第一手势操作的移动方向;根据第一手势操作的移动方向,以及预先存储的第一手势操作的移动方向与显示屏幕的各侧之间的对应关系,确定显示屏幕中用于将第一内容移入的一侧。
第二种实现方式:根据时间的变化,将第一内容从显示屏幕的一侧逐渐移入。
第二设备可以在接收到第一设备投屏的第一内容后,触发第二设备根据时间的变 化,将第一内容从显示屏幕的一侧逐渐移入。比如,可以在接收到第一设备投屏的第一内容后的预设时长内,按照时间的推移,将第一内容从显示屏幕的一侧逐渐移入。
在一种可能的实现方式中,第二设备可以在接收到第一设备投屏的第一内容之后,确定当前时间点与接收到第一内容的时间点之间相距的时长。然后,根据该时长,从显示屏幕的一侧将第一内容逐渐移入显示屏幕。
作为一个示例,可以预先设置时长与移入比例之间的映射关系。在接收到第一设备投屏的第一内容之后,根据该时长,以及存储的时长与移入比例之间的映射关系,确定第一内容的移入比例,然后按照该移入比例,将第一内容从显示屏幕的一侧逐渐移入。
其中,时长与移入比例之间的映射关系可以通过对应关系实现,也可以通过公式实现,本申请实施例对此不作限定。比如,该映射关系可以为时长与移入比例之间的对应关系、时长范围与移入比例之间的对应关系、或者第四映射关系公式,第四映射关系公式用于指示不同时长与不同移入比例之间的对应关系。
在一种可能的实现方式中,第二设备可以根据当前时间点与接收到第一内容的时间点之间相距的时长,以及存储的时长范围与移入比例之间的对应关系,确定第一内容的移入比例,然后按照该移入比例,从显示屏幕的一侧将所述第一内容逐渐移入显示屏幕。
第二方面,提供了一种投屏装置,所述投屏装置具有实现上述第一方面中第一设备所执行的投屏方法行为的功能。所述投屏装置包括至少一个模块,所述至少一个模块用于实现上述第一方面中第一设备所执行的投屏方法。
第三方面,提供了一种投屏装置,所述投屏装置具有实现上述第一方面中第二设备所执行的投屏方法的功能。所述投屏装置包括至少一个模块,所述至少一个模块用于实现上述第一方面中第二设备所执行的投屏方法。
第四方面,提供了一种电子设备,所述电子设备的结构中包括处理器和存储器,所述存储器用于存储支持投屏装置执行上述第一方面中第一设备所执行的投屏方法的程序,以及存储用于实现上述第一方面中第一设备所执行的投屏方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述电子设备还可以包括通信总线,所述通信总线用于在所述处理器与所述存储器之间建立连接。
第五方面,提供了一种电子设备,所述电子设备的结构中包括处理器和存储器,所述存储器用于存储支持投屏装置执行上述第二设备所执行的投屏方法的程序,以及存储用于实现上述第一方面中第二设备所执行的投屏方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述电子设备还可以包括通信总线,所述通信总线用于在所述处理器与所述存储器之间建立连接。
第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面中第一设备所执行的投屏方法。
第七方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面中第二设备所执行的投屏方法。
第八方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面中第一设备所执行的投屏方法。
第九方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面中第二设备所执行的投屏方法。
第十方面,提供了一种芯片,所述芯片包括:至少一个处理器,所述至少一个处理器和通信接口耦合,所述至少一个处理器用于运行存储器中存储的计算机程序或指令,以实现上述第一方面中第一设备所执行的投屏方法,所述通信接口用于与所述芯片之外的其它模块进行通信。
第十一方面,提供了一种芯片,所述芯片包括:至少一个处理器,所述至少一个处理器和通信接口耦合,所述至少一个处理器用于运行存储器中存储的计算机程序或指令,以实现上述第一方面中第二设备所执行的投屏方法,所述通信接口用于与所述芯片之外的其它模块进行通信。
第十二方面,提供了一种投屏系统,包括:第一设备和第二设备,其中,所述第一设备用于实现上述第一方面中第一设备所执行的投屏方法;所述第二设备用于实现上述第一方面中第二设备所执行的投屏方法。
上述第二方面、第三方面、第四方面、第五方面、第六方面、第七方面、第八方面、第九方面、第十方面、第十一方面、第十二方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
附图说明
图1是本申请实施例提供的一种投屏系统的示意图;
图2是本申请实施例提供的一种电子设备的结构示意图;
图3是本申请实施例提供的一种电子设备的软件结构框图;
图4是本申请实施例提供的一种投屏系统中各个设备的逻辑结构示意图;
图5是本申请实施例提供的一种静态投屏手势的示意图;
图6是本申请实施例提供的一种动态投屏手势的示意图;
图7是本申请实施例提供的另一种动态投屏手势的示意图;
图8是本申请实施例提供的一种投屏手势和被投屏手势的示意图;
图9是本申请实施例提供的一种开启手机的手势投屏功能的图形用户界面示意图;
图10是本申请实施例提供的另一种开启手机的手势投屏功能的图像用户界面示意图;
图11是本申请实施例提供的一种手势投屏设置过程的图形用户界面;
图12是本申请实施例提供的另一种手势投屏设置过程的图像用户界面示意图;
图13是本申请实施例提供的又一种手势投屏设置过程的图像用户界面示意图;
图14是本申请实施例提供的一种开启智能电视的手势投屏功能的图像用户界面示意图;
图15是本申请实施例提供的一种手势投屏的场景示意图;
图16是本申请实施例提供的另一种手势投屏的场景示意图;
图17是本申请实施例提供的一种手势投屏的接续效果示意图;
图18是本申请实施例提供的一种投屏方法的示意图;
图19是本申请实施例提供的一种对播放的网络视频进行投屏的流程图;
图20是本申请实施例提供的另一种投屏方法的示意图;
图21是本申请实施例提供的一种手机将视频播放界面投屏至智能电视的流程示意图;
图22是本申请实施例提供的一种手机将视频通话界面投屏至智能电视的流程示意图;
图23是本申请实施例提供的一种智能电视将视频播放界面投屏至手机的流程示意图;
图24是本申请实施例提供的一种智能电视将视频通话界面投屏至手机的流程示意图;
图25是本申请实施例提供的一种投屏装置的示意图;
图26是本申请实施例提供的另一种投屏装置的示意图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例提供的投屏方法应用于投屏系统中。请参考图1,图1是本申请实施例提供的一种投屏系统的示意图。如图1所示,该投屏系统包括第一设备10和第二设备20,第一设备10和第二设备20可以通过有线网络或有线网络进行连接。
其中,第一设备10为投屏设备,第二设备20为被投屏设备。第一设备10可以将本端的屏幕内容投屏至第二设备20,由第二设备20进行显示。另外,本申请实施例中,用户可以通过手势操作触发第一设备10将屏幕内容投屏至第二设备20。
其中,第一设备10和第二设备20均为电子设备。示例地,电子设备为终端设备等具有显示模块以及安装有手势采集模块的电子设备。终端设备可以包括手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等。
可选地,手势采集模块可以包括摄像组件或声波传感器等,本申请实施例对电子设备的具体类型不作任何限制。摄像组件可以包括一个或者多个摄像头,例如广角摄像头、主摄像头、微距摄像头、长焦摄像头、飞行时间(time of flight,TOF)摄像头等,本申请实施例对摄像头的形式和数量不作限定。
如图1所示,以第一设备10为手机、第二设备20为智能电视为例,手机安装有摄像组件11,可以通过摄像组件11检测用户的手势操作。智能电视安装有摄像组件21,可以通过摄像组件21来检测用户的手势操作。若手机检测到投屏手势,则将手机的屏幕内容投屏至智能电视。若智能电视检测到被投屏手势,则接收手机投屏的屏幕内容,并对投屏的屏幕内容进行显示。
应理解,手机的摄像组件11可以为前置摄像头,也可以为后置摄像头,或者包括 前置摄像头和后置摄像头,通过前置摄像头和后置摄像头的组合来检测用户的手势操作。智能电视的摄像组件21可以安装在智能电视的上侧壳体上,也可以安装在其他位置,本申请实施例对此不作限定。
一种可能的实现方式中,第一设备10或第二设备20的摄像组件可以包括一个或者多个摄像头,例如第一摄像头和第二摄像头。其中,第一摄像头的视场角(field angle of view,FOV)大于第二摄像头的FOV,第一设备10或第二设备20可以通过第一摄像头采集待检测对象的整体信息,通过第二摄像头采集待检测对象的局部信息。
应理解,一个摄像头能涵盖多大范围的景物,通常以角度来表示,这个角度就叫镜头的FOV。换言之,FOV是指镜头所能覆盖的范围,物体超过这个范围就不会被收在镜头里。因此,用户所执行的投屏手势需要在第一设备10的摄像组件的FOV内,且在第二设备20的摄像组件的FOV内。
需要说明的是,图1仅是以第一设备10为手机、第二设备20为智能电视为例进行说明,而在其他实施例中,第一设备10和第二设备20还可以为其他类型的电子设备。
在一种可能的实现方式中,第一设备10的屏幕尺寸小于第二设备20的屏幕尺寸,以将小屏的屏幕内容投屏至大屏上,提高用户的观看体验。比如,第一设备10为手机,第二设备20为平板电脑、智能电视或投影仪等。或者,第一设备10为智能手表,第二设备20为手机、平板电脑、智能电视或投影仪等。当然,第一设备10的屏幕尺寸也可以小于第二设备20的屏幕尺寸,本申请实施例对此不作限定。比如,第一设备10为智能电视,第二设备20为手机、智能手表等。
另外,第一设备10和第二设备可以为不同类型的电子设备,也可以为相同类型的电子设备,本申请实施例对此不作限定。比如,两者均为手机或平板电脑等电子设备。
作为一个示例,若第一设备10的屏幕尺寸小于第二设备20的屏幕尺寸,则可以将第一设备10称之为小屏设备,将第二设备20称之为大屏设备。或者,将屏幕尺寸小于或等于预设屏幕尺寸的设备称为小屏设备,将屏幕尺寸大于预设屏幕尺寸的设备称为大屏设备。其中,预设屏幕尺寸可以预先设置。或者,将第一类电子设备称为小屏设备,将第二类电子设备称为大屏设备。比如,第一类电子设备可以包括智能手表、手机或平板电脑等。第二类电子设备包括笔记本电脑、台式计算机、智能电视或投影仪等。
本申请实施例可以应用于通过手势操作触发小屏设备投屏大屏设备的场景中,也可以应用于通过手势操作触发大屏设备投屏至小屏设备的场景中,当然,也可以应用于通过手势操作触发小屏设备投屏至小屏设备,或者通过手势操作触发大屏设备投屏至大屏设备的场景中,本申请实施例对此不作限定。
接下来,对电子设备的结构进行介绍。请参考图2,图2是本申请实施例提供的一种电子设备100的结构示意图。图2所示的电子设备100可以为上述图1中的第一设备10或第二设备20。
电子设备100至少包括处理器110,显示屏194,摄像头193和无线通信模块160。比如,若电子设备100为第一设备10,则摄像头193可以为上述图1中的摄像组件11。或者,若电子设备100为第二设备20,则摄像头193可以为上述图1中的摄像组件21。
可选地,电子设备100还可以包括以下内容中的一种或多种:外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。电子设备100可以通过处理100对采集的图像进行手势识别,以检测投屏手势或被投屏手势。比如,电子设备100可以利用ISP的人工智能(artificial intelligence,AI)计算能力对采集的图像进行手势识别。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。比如,存储器用于存储能够实现本申请实施例所述的投屏方法的指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purpose input/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感 器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(display serial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121, 外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。电子设备100可以通过无线通信模块160与其他设备建立通信连接,通过建立的通信连接与其他设备进行数据传输。比如,通过建立的通信连接将屏幕内容投屏至其他设备,或者接收其他设备投屏的屏幕内容。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile  communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidou navigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。比如,通过GPU,显示屏194,以及应用处理器等实现投屏过程中的投屏界面显示,如投屏过程中屏幕内容的移入或移出等。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。比如,通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等采集包含手势操作的图像。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
在一些可能的情况中,摄像头193可以作为手势采集模块来采集用户的手势操作。摄像头193可以包括前置摄像头和/或后置摄像头。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其 他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。电子设备100的按键190可以包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。
此外,电子设备100还包括各种不同传感器,例如,压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。陀螺仪传感器180B可以用于确定电子设备100的运动姿态。气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附 近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。骨传导传感器180M可以获取振动信号。温度传感器180J,用于检测温度。例如,温度传感器180J可以是非接触式红外温度传感器,该非接触式红外温度传感器可以利用红外线来测量物体的温度。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图3是本申请实施例提供的一种电子设备100的软件结构框图。图3所示的软件结构框图可以为第一设备10的软件结构框图,也可以为第二设备20的软件结构框图。比如,若第一设备10为手机,则图3可以是本申请实施例提供的一种手机的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。如图3所示,应用程序包可以包括视频,相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,短信息等应用程序。比如,若电子设备100为上述图1中的第一设备10,则第一设备10可以通过视频应用播放视频,通过音乐应用播放音乐,或者通过通话应用进行视频通话等。在第一设备10显示上述应用的显示界面的过程中,可以基于检测到的投屏手势,将当前显示的屏幕内容投屏至第二设备20。
应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图3所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。电子设备100可以基于视图系统,完成投屏过程中的投屏显示。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等),语音通话功能和视频通话功能的管理等。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状 态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
二维图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。例如,显示驱动可以驱动显示屏幕内容。摄像头驱动可以驱动摄像头采集图像。音频驱动用于驱动音频播放器播放音频。
接下来,对投屏系统中的第一设备10和第二设备20的逻辑结构进行介绍。请参考图4,图4是本申请实施例提供的一种投屏系统中各个设备的逻辑结构示意图。
其中,第一设备10包括手势采集模块101、手势处理模块102、近场通信模块103和接续业务处理模块104。
手势采集模块101用于检测手势操作。可选地,手势采集模块101可以为摄像组件或声波传感器等。摄像头组件可以包括一个或者多个摄像头,例如广角摄像头、主摄像头、微距摄像头、长焦摄像头、TOF摄像头等,本申请实施例对摄像头的形式和数量不作限定。比如,若手势采集模块101为摄像组件,则摄像组件可以采集包含手势操作的图像。示例地,手势采集模块101可以为上述图2中的摄像头193。
手势处理模块102用于对检测到的手势操作进行识别,得到手势识别结果。其中,手势识别结果可以包括以下信息中的一种或多种:手势的姿态、动作或移动信息等。移动信息包括以下信息中的一种或多种:移动方向、移动距离、或移动轨迹等。比如,手势处理模块102可以对手势采集模块101采集的图像进行分析,得到手势识别结果。可选地,手势处理模块102可以利用人工智能(artificial intelligence,AI)技术对采集的图像进行手势识别,以检测投屏手势。
示例地,手势处理模块102为上述图2中的处理器110。在一种可能实现方式中,处理器包括图ISP,可以利用ISP的AI计算能力实现手势识别。在另一种可能的实现 方式中,处理器110包括NPU,可以通过NPU实现手势识别。
近场通信模块103用于与第二设备20中的近场通信模块203进行通信,以向第二设备20发送手势识别结果或投屏内容等信息。近场通信模块103可以提供应用在第一设备10上的包括WLAN、Wi-Fi、BT、GNSS、FM、NFC、IR等无线通信的解决方案,本申请实施例对近场通信模块103提供的无线通信方式不作限定。比如,近场通信模块103为上述图2中的无线通信模块160。
接续业务处理模块104用于处理投屏业务,以将本端的屏幕内容同步给第二设备20。比如,控制将本端的屏幕状态或功能状态等衔接同步到第二设备20,如控制将本端的视频播放状态或视频通话状态等衔接同步到第二设备20。示例地,接续业务处理模块104为图2中的处理器110。
其中,第二设备10包括手势采集模块201、手势处理模块202、近场通信模块203和接续业务处理模块204。
手势采集模块201用于检测手势操作。其功能上述手势采集模块101同理,具体可以参考上述手势采集模块101的相关描述,在此不再赘述。示例地,手势采集模块201为图2中的摄像头193。
手势处理模块202用于对采集的手势操作进行识别,得到手势识别结果。其功能上述手势处理模块102同理,具体可以参考上述手势处理模块102的相关描述,在此不再赘述。示例地,手势处理模块202为图2中的处理器110。
近场通信模块203用于与第一设备10中的近场通信模块103进行通信,以接收第一设备10发送的手势识别结果或投屏内容等信息。其功能与上述近场通信模块103同理,具体可以参考上述近场通信模块103的相关描述,在此不再赘述。示例地,近场通信模块203为图2中的无线通信模块160。
接续业务处理模块204用于处理投屏业务,比如接收第一设备10投屏的屏幕内容,并对屏幕内容进行显示。比如,接续业务处理模块104用于同步第一设备10的屏幕状态或功能状态,如同步第一设备10的视频播放状态或视频通话状态等。示例地,接续业务处理模块204为图2中的处理器110。
在一种可能的实现方式中,第一设备10中的手势采集模块101与第二设备20中的手势采集模块201可以形成手势监控区,在手势监控区内检测手势操作,实现手势投屏。
在一种可能的实现方式中,通过接续业务处理模块104与接续业务处理模块204之间的业务交互,能够以接近无缝接续的效果实现投屏,即能够将第一设备10的屏幕内容以接近无缝接续的效果投屏给第二设备20,由第二设备20进行显示,以提供较佳的投屏体验。
相关技术中,需要通过一系列的界面操作来触发投屏,投屏操作较为繁琐,投屏效率和灵活性都较低,不能满足人们的快速投屏需求。本申请实施例为了解决这一问题,提出了一种能够通过手势快速触发投屏的方法,也即是,用户可以通过执行特定的投屏手势来快速触发设备之间的投屏,而不需要执行一系列的界面,扩展了投屏方式,提高了投屏效率和灵活性。比如,用户可以在第一设备10和第二设备20的附近执行投屏手势,来触发第一设备10投屏至第二设备20,或者触发第二设备20投屏至 第一设备10。
接下来,对本申请实施例提供的投屏方法涉及的投屏手势进行介绍。本申请实施例所述的投屏手势可以由设备默认设置,也可以由用户自定义设置,本申请实施例对此不作限定。另外,该投屏手势可以为静态手势,也可以为动态手势,本申请实施例对此也不作限定。其中,静态手势是指手势的姿态。动态手势包括手部姿态和动作。
以投屏手势为静态手势为例,投屏手势可以包括特定的手部姿态。请参考图5,图5是本申请实施例提供的一种静态投屏手势的示意图。如图5中的(a)图所示,投屏手势可以为手掌打开且手掌朝向用户的手势。或者,如图5中的(b)图所示,投屏手势可以为手掌打开且手掌朝下的手势。应理解,投屏手势也可以设置为其他静态手势,本申请实施例对此不作限定。
以投屏手势为动态手势为例,投屏手势可以为在特定的手部姿态下执行的特定动作,或者为不同的手部姿态所组成的动作。请参考图6,图6是本申请实施例提供的一种动态投屏手势的示意图。如图6所示,投屏手势可以为以手掌朝向用户的手部姿态向远离用户的方向移动的手势1,或者,以手掌朝向用户的手部姿态向靠近用户的方向移动的手势2。请参考图7,图7是本申请实施例提供的另一种动态投屏手势的示意图。如图7所示,投屏手势可以为以手掌朝向地面的手部姿态向远离用户的方向移动的手势3,或者以手掌朝向地面的手部姿态向靠近用户的方向移动的手势4。
在一种可能的实现方式中,投屏手势还可以包括不同类型的投屏手势。作为一个示例,投屏手势可以包括从小屏设备投屏至大屏设备的第一投屏手势,以及从大屏设备投屏至小屏设备的第二投屏手势。其中,第一投屏手势与第二投屏手势不同。比如,第一投屏手势和第二投屏手势可以为动作相反的手势。
作为一个示例,如图6所示,手势1和手势2可以分别为第一投屏手势和第二投屏手势。若用户执行手势1,则可以触发小屏设备投屏至大屏设备,比如触发手机投屏至智能电视。若用户执行手势2,则可以触发大屏设备投屏至小屏设备,比如触发智能电视投屏至手机。
或者,如图7所示,手势3和手势4可以分别为第一投屏手势和第二投屏手势。若用户执行手势3,则触发小屏设备投屏至大屏设备;若用户执行手势4,则触发大屏设备投屏至小屏设备。
需要说明的是,为了保证第一设备10和第二设备20均能够检测到用户的投屏手势,用户执行投屏手势的区域需要在第一设备10和第二设备20的检测范围内。比如,用户执行投屏手势的区域需要在第一设备10的摄像头的视角内,且在第二设备20的摄像头的视角内,以保证第一设备10的摄像头和第二设备20的摄像头均能够采集到用户的投屏手势。
另外,由于第一设备10和第二设备20的位置不同,因此,当用户在第一设备10和第二设备20附近执行投屏手势时,第一设备10采集到的手势和第二设备20采集到的手势可能不同。比如,第一设备10和第二设备20分别采集到手势可能是手部姿态和/或动作相反的手势。
为了便于说明,在第一设备10为投屏设备、第二设备20为被投屏设备的情况下,若用户在第一设备10和第二设备20附近执行投屏手势,则将第一设备10采集到的手 势称为投屏手势,将第二设备20采集到的投屏手势称为被投屏手势。其中,投屏手势与被投屏手势相对应,比如,投屏手势和被投屏手势可以为手部姿态和/或动作相反的手势。
请参考图8,图8是本申请实施例提供的一种投屏手势和被投屏手势的示意图。假设用户执行的投屏手势为图6所示的手势1,则第一设备10检测到的投屏手势可以为手掌朝向第一设备10并向远离第一设备10的方向移动的手势,如图8中的(a)图所示。第二设备20检测到的被投屏手势可以为手背朝向第二设备10并向靠近第二设备20的方向移动的手势,如图8中的(b)图所示。
为了便于理解,本申请以下实施例将以第一设备为手机、第二设备为智能电视,由手机投屏给智能电视为例,结合附图和应用场景,对本申请实施例提供的投屏方法进行具体阐述。
在手势投屏之前,用户可以先开启手机和智能电视的手势投屏功能,手势投屏功能是指能够通过手势触发投屏,或者通过手势触发接受投屏的功能。比如,手机的手势投屏功能开启后,手机即可检测用户的手势操作,根据检测到的投屏手势触发投屏。智能电视的手势投屏开启后,智能电视即可检测用户的被投屏手势操作,根据检测到的被投屏手势触发智能电视接收手机投屏的屏幕内容,对投屏的屏幕内容进行显示。反之亦然。
在一种可能的实现方式中,用户可以通过设置菜单来开启手机的手势投屏功能。
图9是本申请实施例提供的一种开启手机的手势投屏功能的图形用户界面(graphical user interface,GUI)示意图。其中,图9中的(a)图示出了解锁模式下,手机当前输出的界面内容901,该界面内容901显示了多款应用程序(application,App),例如音乐、相机、设置和视频等应用程序。应理解,界面内容901还可以包括其他更多的应用程序,本申请实施例对此不作限定。如图9中的(a)图所示,用户点击设置应用的图标,响应于用户的点击操作,手机将显示设置菜单,用户可以通过设置菜单查找手势投屏选项,开启手势投屏功能。其中,手势投屏选项可以位于设置菜单的主菜单中,也可以位于设置菜单的下级菜单中,本申请实施例对于手势投屏选项在设置菜单中的位置不作限定。
图9中的(b)图示出了设置菜单的主菜单界面902,主菜单界面902显示了多个功能的设置入口,例如WLAN、蓝牙、移动网络、更多连接、桌面和壁纸、显示和亮度、声音和振动、通知等的设置入口。应理解,主菜单界面902还可以包括其他更多功能的设置入口,本申请实施例对此不作限定。如图9中的(b)图所示,用户点击主菜单界面902中的更多连接的设置入口,响应于用户的点击操作,手机显示更多连接的设置界面。
如图9中的(c)图所示,更多连接选项的设置界面903包括NFC、华为分享、手机投屏、打印等功能的设置入口。其中,手机投屏用于设置本端与其他设备之间的投屏,还可以称为多屏互动等名称,本申请实施例对此不作限定。用户点击手机投屏的设置入口,响应于用户的点击操作,手机将显示手机投屏的设置界面。如图9中的(d)图所示,手机投屏的设置界面904包括手势投屏和无线投屏等选项。应理解,手机投屏的设置界面904还可以包括其他更多的选项,本申请实施例对此不作限定。用户点 击手势投屏选项,响应于用户的点击操作,手机即可开启手势投屏功能。
在一种可能的实现方式中,用户可以通过通知栏中的快捷菜单开启手机的手势投屏功能。
图10是本申请实施例提供的另一种开启手机的手势投屏功能的图像用户界面示意图。其中,图10中的(a)图示出了解锁模式下,手机当前输出的界面内容1001,该界面内容1001显示了多款应用程序,例如音乐、相机、设置和视频等应用程序。应理解,界面内容1001还可以包括其他更多的应用程序,本申请实施例对此不作限定。如图10中的(a)图所示,用户在界面内容1001上执行下滑操作,响应于用户的下滑操作,手机将显示下滑通知界面。下滑通知界面包括快捷菜单,快捷菜单包括多种快捷图标。用户可以通过点击快捷菜单中手势投屏的快捷图标,开启手势投屏功能。
如图10中的(b)图所示,通知界面1002显示有快捷菜单,快捷菜单包括WLAN、蓝牙、移动数据、手势投屏、飞行模式、位置信息、自动旋转、热点等功能的快捷图标。应理解,快捷菜单还可以包括其他更多快捷图标,本申请实施例对此不作限定。手势投屏的快捷图标还可以提供为其他图标形式,本申请实施例对此也不作限定。如图10中的(b)图所示,用户点击手势投屏的快捷图标,响应于用户的点击操作,手机即可开启手势投屏功能。
在另一实施例中,快捷菜单还可以包括手机投屏的快捷图标,用户可以通过手机投屏的快捷图标快速开启手势投屏功能。比如,用户可以长按手机投屏的快捷图标,进入手机投屏的设置界面,手机投屏的设置界面可以包括手势投屏选项,用户可以通过点击手机投屏的设置菜单中的手势投屏选项来开启手势投屏功能。
另外,在快捷菜单中没有手势投屏或手机投屏的快捷图标的情况下,用户还可以通过快捷菜单的相关设置操作在快捷菜单中添加手势投屏或手机投屏的快捷图标,以便用户能够通过快捷菜单快速开启手机的手势投屏功能。
应理解,本申请实施例中,除了通过设置菜单和下滑通知界面来开启手机的手势投屏功能之外,还可以通过其他方式来开启手势投屏功能,比如通过其他界面操作或语音操作来开启手势投屏功能,本申请实施例对此不作限定。另外,手势投屏功能也可以默认开启,而无需用户手动开启,本申请实施例对此也不作限定。
在一种可能的实现方式中,为了指导用户进行手势投屏,手机还可以显示手势投屏的操作指导信息,以通过操作指导信息告知用户如何进行手势投屏以及手势投屏的相关注意事项等。其中,该操作指导信息可以通过文字、图片或者视频等方式进行显示,本申请实施例对手势投屏的操作指导信息的显示方式不作限定。比如,该操作指导信息可以包括以下信息中的一种或多种:手势投屏操作示意图、手势投屏操作视频、投屏手势示意图和注意事项。例如,注意事项可以包括:在进行手势投屏时,投屏手势的操作区域需要在投屏设备的摄像头以及被投屏设备的摄像头的图像采集范围内,以保证投屏设备和被投屏设备均能够采集到投屏手势。
在一种可能的实现方式中,用户可以点击手机投屏的设置界面中的手势投屏选项,进入手势投屏的设置界面,然后在手势投屏的设置界面查看手势投屏的操作指导信息。当然,用户也可以通过其他方式查看手势投屏的设置界面和手势投屏的操作指导信息,本申请实施例对此不作限定。
请参考图11,图11是本申请实施例提供的一种手势投屏设置过程的图形用户界面。其中,图11中的(a)图示出了一种手势投屏的设置界面1101,设置界面1101包括手势投屏选项以及手势投屏的操作指导视频,该操作指导视频用于通过视频的形式告知用户如何进行手势投屏。用户可以点击操作指导视频,响应于用户的点击操作,手机即可开始播放操作指导视频。请参考图11中的(b)图,图11中的(b)图示出了一种操作指导视频的播放界面1102。
另外,用户还可以通过手势投屏的设置界面1101查看更多操作指导信息,比如查看投屏手势示意图。作为一个示例,用户可以在图11中的(a)图所示的设置界面上向右滑动屏幕,查看更多的操作指导界面,响应于用户的滑动操作,手机即可显示其他操作指导界面。比如,所显示的操作指导界面显示有投屏手势示意图,投屏手势示意图用于向用户详细介绍投屏手势。作为一个示例,投屏手势示意图包括从小屏投到大屏的手势,以及从大屏投到小屏的手势。比如,投屏手势示意图可以包括上述图5、图6或图7所示的投屏手势。
在一种可能的实现方式中,在手势投屏之前,用户还可以对手势投屏功能的相关功能参数进行设置,比如设置投屏手势、选择待投屏的设备、或者建立手机与待投屏的设备之间的通信连接等。手机可以为用户提供对手势投屏功能的功能参数进行设置的设置入口,设置入口的位置以及进入设置入口的可以根据具体需求进行设置,本申请实施例对此不作限定。
作为一个示例,用户可以点击手机投屏的设置界面中的手势投屏选项,进入手势投屏的设置界面,然后在手势投屏的设置界面设置手势投屏功能的相关功能参数。当然,用户也可以通过其他方式查看手势投屏的设置界面,以及设置手势投屏功能的相关功能参数,本申请实施例对此不作限定。
图12是本申请实施例提供的另一种手势投屏设置过程的图像用户界面示意图。其中,图12中的(a)图示出了一种手势投屏的设置界面1201,设置界面1201包括手势投屏选项和设置入口。如图12中的(a)图所示,用户点击该设置入口,响应于用户的点击操作,手机将显示手势投屏的下一级设置界面。
请参考图12中的(b)图,图12中的(b)图示出了一种手势投屏的下一级设置界面1202,下一级设置界面1202包括投屏手势的设置入口和投屏设备的设置入口。应理解,该下一级设置界面1202还可以包括手势投屏功能的其他功能参数的设置入口,本申请实施例对此不作限定。如图12中的(b)图所示,用户点击投屏手势的设置入口,响应于用户的点击操作,手机显示投屏手势的设置界面。图12中的(c)图示出了一种投屏手势的设置界面1203,设置界面1203包括多种手势选项,用户可以从多种手势选项中选择一种或多种手势作为投屏手势。比如,如图12中的(c)图所示,用户点击手势1,响应于用户的点击操作,手机即可将手势1选定为投屏手势。图12中的(d)图示出了一种投屏手势设置完成界面1204。
在另一种实现方式中,投屏手势设置界面还可以用于设置不同类型的投屏手势,比如,从多种手势选项中选择一个手势作为小屏投大屏的手势,选择另一种手势作为大屏投小屏的手势。或者,还可以用于自定义设置投屏手势,本申请实施例对此不作限定。
在一种可能的实现方式中,在手机开启手势投屏功能后,手机还可以自动搜索与手机在同一局域网内的设备并显示搜索到的设备标识。用户可以从可用设备列表中选择一个或多个设备标识,将选择的设备标识所标识的设备作为待投屏的设备。在用户选择设备标识后,手机可以自动建立与所选择的设备标识所标识的设备之间的通信连接,以便后续通过该通信连接与所选择的设备标识所标识的设备进行投屏。
请参考图13,图13是本申请实施例提供的又一种手势投屏设置过程的图像用户界面示意图。其中,图13中的(a)图示出了一种手势投屏的设置界面1301,设置界面1301包括手势投屏选项。如图13中的(a)图所示,用户点击该手势投屏选项,响应于用户的点击操作,手机即可开启手势投屏功能。另外,在开启手势投屏功能后,手机还可以自动搜索与手机在同一局域网内的设备并显示搜索到的设备标识。如图13中的(b)图所示,手势投屏功能开启后的界面1302中显示有可用设备列表,可用设备列表包括手机搜索到的与手机在同一局域网内的智能电视1。在搜索到智能电视1后,手机可以自动建立与智能电视1之间的通信连接,可以根据用户对智能电视1的选择操作,建立与智能电视1之间的通信连接,也可以不执行建立与智能电视1之间的通信连接的操作,本申请实施例对此不作限定。
在另一种可能的实现方式中,手机在自动搜索与手机在同一局域网内的设备后,还可以自动建立与所搜索到的设备之间的通信连接,而无需用户来进行选择。在又一种可能的实现方式中,在手机开启手势投屏功能后,手机还可以不自动搜索与手机在同一局域网内的设备,或者即使进行自动搜索,但在搜索到与手机在同一局域网内的设备后,也不与搜索到的设备进行通信连接,而是在后续的手势投屏过程中自动建立与被投屏设备之间的通信连接,比如通过握手确认的方式建立与被投屏设备之间的通信连接,本申请实施例对与被投屏设备的通信连接之间的建立方式不作限定。
也即是,本申请实施例中,手机可以在手势投屏之前,根据用户的操作预先建立与待投屏设备之间的通信连接,也可以在手势投屏的过程中,自动建立与待投屏设备之间的通信连接,本申请实施例对此不作限定。比如,手机可以在手势投屏的过程中自动建立与智能电视之间的通信连接。
对于智能电视来说,用户可以通过智能电视的设置菜单来开启智能电视的手势投屏功能,也可以通过其他方式开启智能电视的手势投屏功能,比如通过语音操作或其他界面操作来开启智能电视的手势投屏功能。其中,智能电视的手势投屏功能可以位于设置菜单中的位置可以根据用户需要预先设置,本申请实施例对此不作限定。
图14是本申请实施例提供的一种开启智能电视的手势投屏功能的图像用户界面示意图。其中,图14中的(a)图示出了开机状态下,智能电视输出的界面内容1401,该界面内容1401显示了频道、影视、游戏、教育、设置等菜单选项。应理解,界面内容1401还可以包括其他更多的菜单选项,本申请实施例对此不作限定。如图14中的(a)图所示,用户通过遥控器或语音等选择设置菜单选项,响应于用户的选择操作,智能电视将显示设置界面。如图14中的(b)图所示,设置界面1402显示有连接设置选项。用户通过遥控器或语音等选择连接设置选项,响应于用户的选择操作,智能电视将显示连接设置界面。如图14中的(c)图所示,连接设置界面1403包括手势投屏选项。用户通过遥控器或语音等选择设置手势投屏选项,响应于用户的选择操作,智 能电视将开启手势投屏功能。
用户点击手势投屏选项,响应于用户的点击操作,智能电视即可开始手势投屏功能。请参考图14中的(d)图,图14中的(d)图提供了手势投屏功能开启后的界面1404,如界面1404所示,手势投屏功能开启后,手势投屏选项将被点亮。
应理解,开启智能电视的手势投屏功能的图像用户界面还可以为其他界面,本申请实施例对此不作限定。
另外,智能电视也可以显示手势投屏的操作指导信息,以通过操作指导信息告知用户如何进行手势投屏以及手势投屏的相关注意事项等。智能电视显示操作指导信息方式可以参考上述手机显示操作指导信息的方式,本申请实施例在此不再赘述。另外,智能电视也可以为用户提供对手势投屏的功能参数进行设置的设置入口。智能电视提供设置入口的方式可以参考上述手机提供设置入口的方式,本申请实施例在此不再赘述。
在手机和智能电视的手势投屏功能均开启的情况下,用户即可通过手势操作将手机的屏幕内容投屏至智能电视。
图15是本申请实施例提供的一种手势投屏的场景示意图。如图15所示,用户坐在客厅的沙发上观看手机播放的视频时,如果觉得手机观看视频不方便,用户可以一只手拿手机,另一只手在手机和智能电视附近执行投屏手势,通过投屏手势触发手机投屏至前方的智能电视,以便通过智能电视的大屏观看手机播放的视频。如图15所示,投屏手势可以为手掌朝下并从手机向靠近智能电视的方向移动的手势,即手掌从手机向智能电视的方向前推的手势,如上述图7中的手势3。当然,投屏手势还可以为上述图6中的手势1,或者其他手势,本申请实施例对此不作限定。
图16是本申请实施例提供的另一种手势投屏的场景示意图。如图16所示,在智能电视播放视频的过程中,如果用户想要在手机上观看智能电视所播放的视频,用户还可以一只手拿手机,另一只手在智能电视和手机附近执行投屏手势,通过投屏手势触发智能电视将屏幕内容投屏至手机。如图16所示,投屏手势可以为手掌朝下并从智能电视向靠近手机的方向移动的手势,即手掌从智能电视向手机的方向回拉的手势,如上述图7中的手势4。当然,投屏手势还可以为上述图6中的手势2,或者其他手势,本申请实施例对此不作限定。
应理解,上述投屏手势还可以设置为其他手势,手势投屏的场景还可以应用于其他场景,所投屏的屏幕内容可以为视频,也可以为其他内容,如图像或视频通话等,本申请实施例对此不作限定。
在一种可能的实现方式中,在手机投屏智能电视的过程中,手机和智能电视还可以进行投屏过程的可视化显示,通过显示界面的变化实现投屏的无缝接续效果,进而提高用户的投屏体验。比如,在手机投屏智能电视的过程中,手机的屏幕内容可以从手机的显示屏幕逐渐移出,以及向智能电视的显示屏幕逐渐移入,达到了屏幕内容从手机逐渐移入智能电视的投屏效果。再比如,在智能电视投屏手机的过程中,智能电视的屏幕内容可以从智能电视的显示屏幕的逐渐移出,并向手机的显示屏幕逐渐移入,达到了屏幕内容从智能电视逐渐移入手机的投屏效果。
在一种可能的实现方式中,为了提高灵活性,用户还可以通过控制投屏手势的移 动距离,来控制屏幕内容的移入比例和移出比例。其中,移入比例是指屏幕内容向显示屏幕中移入的部分占屏幕内容的整体部分的比例,移出比例是指屏幕内容从显示屏幕中移出的部分占屏幕内容的整体部分的比例。以投屏手势为手掌朝向用户向远离手机的方向移动的手势为例,可以在用户执行投屏手势的过程中,随着用户手掌向远离手机的方向移动的距离的逐渐增大,屏幕内容从手机的显示屏幕移出的移出比例以及向智能电视的屏幕移入的移入比例也对应增大。
作为一个示例,用户手掌向远离用户的方向每移动2cm,屏幕内容的移入比例和移出比例就增加10%。请参考图17,图17是本申请实施例提供的一种手势投屏的接续效果示意图。如图17中的(a)图-图17中的(c)图所示,在手机投屏智能电视的过程中,手机的屏幕内容可以从手机的显示屏幕的上侧逐渐移出,并从智能电视的下侧逐渐移入。如图17中的(a)图所示,若用户手掌向远离手机的方向移动了4cm时,则屏幕内容从手机的显示屏幕移出20%,向智能电视的显示屏幕移入20%。如图17中的(b)图所示,若用户手掌向远离手机的方向移动了10cm时,则屏幕内容从手机的显示屏幕移出50%,向智能电视的显示屏幕移入50%。如图17中的(c)图所示,若用户手掌向远离手机的方向移动了16cm时,则屏幕内容从手机的显示屏幕移出80%,向智能电视的显示屏幕移入80%。如图17中的(d)图所示,若用户手掌向远离手机的方向移动了20cm时,则屏幕内容从手机的显示屏幕移出100%,向智能电视的显示屏幕移入100%,即屏幕内容完整移入智能电视的显示屏幕。
另外,在用户通过控制投屏手势的移动距离,来控制屏幕内容的移入比例和移出比例的过程中,在屏幕内容的移入比例和移出比例随着投屏手势的移动距离增加后,若投屏手势的移动距离又再次减小,则屏幕内容的移入比例和移出比例还可以再次减小。如此,相当于已移入智能电视的屏幕内容还可以根据投屏手势的移动距离的减小再次退回手机的显示屏幕,进一步提高了用户的投屏体验。
比如,请参考图17中的(b)图,若用户手掌向远离手机的方向从0开始移动了10cm,则屏幕内容从手机的显示屏幕移出50%,向智能电视移入50%。若用户的手掌在向远离手机的方向移动了10cm后,又向靠近手机的方向进行了移动,则屏幕内容将从智能电视的显示屏幕退回手机的显示屏幕。比如,如图17中的(a)图所示,屏幕内容将退回至从手机的显示屏幕移出10%、向智能电视移入10%的状态。另外,若用户的手掌向靠近手机的方向移动至原始位置,则屏幕内容将完整地从智能电视的显示屏幕退回至手机的显示屏幕,即屏幕内容将退回至从手机的显示屏幕移出0%、向智能电视移入0%的状态。
作为一个示例,在手机识别到投屏手势,将手机的屏幕内容从显示屏幕逐渐移出后,若在预设时长内未投屏成功,则手机还可以将已移出的屏幕内容再重新移入手机的显示屏幕。比如,在手机识别到投屏手势,触发将手机的屏幕内容投屏至智能电视,并将手机的屏幕内容从手机的显示屏幕逐渐移出之后的预设时长内,若智能电视因摄像头故障或投屏手势在智能电视的摄像头的视角外等原因,一直未检测到投屏手势,导致在预设时长内一直未投屏成功,这种情况下,手机可以将已移出的屏幕内容再重新移入手机的显示屏幕。其中,预设时长可以预先设置,比如可以设置为3秒、5秒或8秒等。
应理解,上述手势投屏过程仅是以第一设备为手机、第二设备为智能电视为例进行说明,而在其他实施例中,第一设备和第二设备还可以为其他类型的设备。若第一设备和第二设备为其他类型的设备,则第一设备或第二设备所显示的图像用户界面、手势投屏功能的设置方式和投屏手势还可以根据具体设备进行适应性调整,本申请实施例对此不作限定。
接下来,对本申请实施例提供的投屏方法进行详细介绍。图18是本申请实施例提供的一种投屏方法的示意图,该方法的交互主体为第一设备和第二设备。如图18所示,该方法包括如下步骤:
步骤1801:第一设备在开机状态下显示屏幕内容。
需要说明的是,第一设备所显示的屏幕内容可以包括多媒体文件的播放界面、视频通话界面、语音通话界面、应用程序的显示界面或设备的主界面等,本申请实施例对此不作限定。其中,多媒体文件可以包括视频、音频、图片或文本等,本申请实施例对此也不作限定。
另外,第一设备可以在开机后显示屏幕内容,或者在开机和解锁后显示屏幕内容。
比如,第一设备在开机后处于锁屏状态,用户先对第一设备的显示屏幕进行解锁,然后通过解锁后的显示界面打开视频播放应用,在视频播放应用中选择播放某个视频,这样第一设备将显示视频播放界面。
再比如,用户可以在屏幕解锁状态下,使用第一设备与其他用户进行视频通话,这样第一设备将显示视频通话界面。作为一个示例,用户可以通过第一设备安装的视频通话应用与其他用户进行视频通话,比如通过安装的即时通信应用进行视频通话。作为另一个示例,用户也可以通过第一设备的系统内置的视频通话功能与其他用户进行视频通话,比如通过系统提供的畅连通话功能进行视频通话,本申请实施例对此不作限定。
需注意的是,在第一设备附近还可以存在第二设备,且第二设备处于开机状态。比如,第一设备为手机,第二设备为位于手机附近且处于开机状态的智能电视。
步骤1802:用户在第一设备附近执行投屏手势。
在第一设备显示屏幕内容时,若用户想要将第一设备的屏幕内容投屏至第二设备,以便通过第二设备观看第一设备的屏幕内容,则可以在第一设备附近执行投屏手势,通过投屏手势来触发第一设备进行投屏。
需要说明的是,投屏手势为预先设置的特定手势。投屏手势可以预先由第一设备默认设置,也可以由用户根据需要手动设置,本申请实施例对投屏手势的设置方式不作限定。另外,投屏手势可以为静态手势,也可以为动态手势,本申请实施例对此也不作限定。
作为一个示例,投屏手势可以为手掌朝向第一设备并向远离第一设备的方向移动的手势。或者投屏手势为手背朝向第一设备并向远离第一设备的方向移动的手势。或者,投屏手势为手掌朝向地面、大拇指朝向第一设备并向远离第一设备的方向移动的手势。或者,投屏手势为手掌朝向地面、小拇指朝向第一设备并向远离第一设备的方向移动的手势。当然,投屏手势也可以设置为其他手势,本申请实施例对此不作限定。
步骤1803:第一设备检测手势操作。
需要说明的是,第一设备可以配置手势采集模块,通过手势采集模块来检测用户的手势操作。可选地,手势采集模块可以为摄像组件或声波传感器等。
以手势采集模块为摄像组件为例,第一设备可以通过摄像组件,采集包含手势操作的图像,以通过采集的图像来检测用户的手势操作。
步骤1804:第一设备对检测到的手势操作进行手势识别。
第一设备对检测到的手势操作进行手势识别之后,可以得到手势识别结果。该手势识别结果可以指示检测到的手势操作是否为投屏手势。
可选地,若检测到的手势操作为投屏手势,手势识别结果还可以包括以下信息中的一种或多种:投屏手势的移动方向和移动距离。其中,移动距离可以为投屏手势的移动轨迹的轨迹长度,也可以为投屏手势的当前位置与起始位置之间相距的距离,本申请实施例对此不作限定。
作为一个示例,若第一设备的手势采集模块为摄像组件,则第一设备可以摄像组件采集的图像进行图像分析,得到手势识别结果。
在一种可能的实现方式中,第一设备可以利用AI技术对采集的图像进行图像分析,得到手势识别结果。比如,可以利用预先训练好的第一手势识别模型,对采集的图像进行识别处理,得到手势识别结果。其中,第一手势识别模型用于识别图像中的投屏手势。第一手势识别模型可以为机器学习模型,如神经网络模型等。
步骤1805:第一设备若识别到投屏手势,则将第一设备的屏幕内容投屏至第二设备。
也即是,第一设备识别到投屏手势后,即可触发投屏动作,将第一设备的屏幕内容投屏至第二设备。
作为一个示例,将第一设备的屏幕内容投屏至第二设备可以包括以下几种投屏方式:
第一种投屏方式:屏幕镜像模式。
屏幕镜像模式是指将第一设备的显示屏幕与第二设备的显示屏幕保持同步,第一设备的显示屏幕显示什么,第二设备的显示屏幕也将显示什么。通俗来讲,在屏幕镜像模式下,第二设备的显示屏幕相当于第一设备的另一个显示屏幕,与第一设备的显示屏幕显示相同的屏幕内容。
作为一个示例,屏幕镜像模式下,第一设备将第一设备的屏幕内容投屏至第二设备的操作可以包括:对第一设备的显示屏幕进行录屏,将录屏数据发送给第二设备。
第二种投屏方式:流媒体推送模式。
流媒体推送模式是指将第一设备的多媒体文件以流媒体推送的形式显示在第二设备上。流媒体推送模式下一般仅能投屏多媒体文件。
其中,多媒体文件可以包括音频、视频、图像或文本等,本申请实施例对此不作限定。另外,多媒体文件可以为本地存储的多媒体文件,也可以为网络上的多媒体文件,本申请实施例对此也不作限定。
作为一个示例,流媒体推送模式下,第一设备将第一设备的屏幕内容投屏至第二设备的操作可以包括:获取第一设备的屏幕内容的流媒体数据,将流媒体数据发送给第二设备。其中,流媒体数据是指第一设备所显示的多媒体文件的流媒体数据,可以 通过对第一设备所显示的多媒体文件进行流媒体数据转换得到。
第三种投屏方式:获取第一设备的屏幕内容的内容相关信息,将该内容相关信息发送给第二设备,由第二设备显示内容相关信息所指示的屏幕内容。
其中,第一设备的屏幕内容的内容相关信息用于指示第一设备的屏幕内容。比如,若第一设备的屏幕内容为多媒体文件的播放界面,则该内容相关信息至少包括多媒体文件的链接地址。若第一设备的屏幕内容为视频通话界面,则该内容相关信息至少包括视频通话的呼叫转移信息。
需要说明的是,第三种投屏方式是本申请实施例提出的一种新的投屏方式,这种投屏方式无需进行录屏,也无需进行流媒体数据转换,且所发送的内容相关信息的数据量也远远小于录屏数据和流媒体数据的数据量,因此,这种投屏方式的计算量较小,传输的数据量也较小,从而提高了投屏效率,减小了投屏过程中的时延,提高了投屏体验。
作为一个示例,获取第一设备的屏幕内容的内容相关信息,将内容相关信息发送给第二设备的操作可以包括以下几种情况:
第一种情况:若第一设备正在播放多媒体文件,则获取多媒体文件的文件相关信息,将多媒体文件的文件相关信息发送给第二设备。
其中,多媒体文件可以包括视频、音频、文本或图像等。多媒体文件的文件相关信息至少包括多媒体文件的链接地址,如多媒体文件的统一资源定位系统(uniform resource locator,URL)。可选地,多媒体文件的文件相关信息还可以包括多媒体文件的播放进度信息。其中,该播放进度信息用于指示多媒体文件在第一设备上的播放进度,可以为多媒体文件当前播放到的时间点等。
请参考图19,图19是本申请实施例提供的一种对播放的网络视频进行投屏的流程图。如图19所示,在播放网络视频的过程中,第一设备可以检测用户的手势操作。若识别到投屏手势,则通过握手确认的方式建立与第二设备之间的通信连接,然后获取该网络视频的URL和播放进度信息,将该网络视频的URL和播放进度信息发送给第二设备。
第二种情况:若第一设备正在进行视频通话,则获取视频通话的呼叫转移信息,将呼叫转移信息发送给第二设备。
其中,视频通话的呼叫转移信息用于将第一设备的视频通话转移到第二设备上。视频通话的呼叫转移信息可以包括视频通话标识,视频通话标识用于唯一标识当前的视频通话,如视频通话的身份标识(identity document,ID)等。
可选地,视频通话标识还可以包括第一设备的设备标识或第一设备登录的用户标识等。其中,设备标识可以为设备名称或设备ID等,用户标识可以为用户名称、用户账号或用户ID等。
步骤1806:第二设备检测手势操作。
需要说明的是,第二设备可以配置手势采集模块,通过手势采集模块来检测用户的手势操作。可选地,手势采集模块可以为摄像组件或声波传感器等。
以手势采集模块为摄像组件为例,第二设备可以通过摄像组件,采集包含手势操作的图像,以通过采集的图像来检测用户的手势操作。
步骤1807:第二设备对检测到的手势操作进行手势识别。
第二设备对检测到的手势操作进行手势识别后,可以得到手势识别结果。其中,该手势识别结果可以指示检测到的手势操作是否为被投屏手势。
其中,被投屏手势是指从第二设备的角度对投屏手势进行采集得到的手势。示例的,被投屏手势是与投屏手势的手部姿态和/或动作相反的手势。
比如,若投屏手势为手掌朝向第一设备并向远离第一设备的方向移动的手势,则被投屏手势为手背朝向第二设备并向靠近第二设备的方向移动的手势。再比如,若投屏手势为手掌朝向地面、大拇指朝向第一设备并向远离第一设备的方向移动的手势,则被投屏手势为手掌朝向地面、小拇指朝向第二设备并向靠近第二设备的方向移动的手势。
可选地,若检测到的手势操作为被投屏手势,手势识别结果还可以包括以下信息中的一种或多种:被投屏手势的移动方向和移动距离。其中,移动距离可以为被投屏手势的移动轨迹的轨迹长度,也可以为被投屏手势的当前位置与起始位置之间相距的距离,本申请实施例对此不作限定。
作为一个示例,被投屏手势的移动距离与投屏手势的移动距离相同。可选地,被投屏手势的移动距离可以根据第一设备的手势识别结果确定得到。比如,第一设备可以在识别到投屏手势后,将第一设备的手势识别结果发送给第二设备。第二设备可以基于第一设备的手势识别结果和第二设备的手势识别结果,确定被投屏手势的移动距离。
作为一个示例,若第二设备的手势采集模块为摄像组件,则第二设备可以对摄像组件采集的图像进行图像分析,得到手势识别结果。
在一种可能的实现方式中,第二设备可以利用AI技术对采集的图像进行图像分析,得到手势识别结果。比如,可以利用预先训练好的第二手势识别模型,对采集的图像进行识别处理,得到手势识别结果。第二手势识别模型用于识别图像中的被投屏手势。第二手势识别模型可以为机器学习模型,如神经网络模型等。
步骤1808:第二设备若识别到被投屏手势,则接收第一设备投屏的屏幕内容,对该屏幕内容进行显示。
第二设备若识别到被投屏手势,可以触发等待接收其他设备投屏的屏幕内容。若接收到第一设备的投屏的屏幕内容,即可对该屏幕内容进行显示。
作为一个示例,接收第一设备投屏的屏幕内容,对屏幕内容进行显示可以包括以下几种实现方式:
第一种实现方式:接收第一设备发送的录屏数据,对该录屏数据进行播放。其中,该录屏数据是由第一设备对第一设备的显示屏幕进行录屏得到。
第二种实现方式:接收第一设备发送的屏幕内容的流媒体数据,对该流媒体数据进行播放。
第三种实现方式:接收第一设备发送的内容相关信息,基于该内容相关信息,对第一设备的屏幕内容进行显示,该内容相关信息用于指示第一设备的屏幕内容。
作为一个示例,基于该内容相关信息,对第一设备的屏幕内容进行显示的操作包括以下几种情形:
第一种情形:若该内容相关信息为第一设备正在播放的多媒体文件的文件相关信息,且该文件相关信息至少包括该多媒体文件的链接地址,则可以根据该链接地址获取该多媒体文件,对获取的多媒体文件进行播放。
需要说明的是,第二设备播放该多媒体文件的多媒体播放应用与第一设备播放该多媒体文件的多媒体播放应用可以相同,也可以不同。
作为一个示例,第二设备对获取的多媒体文件进行播放之前,可以先打开指定多媒体播放应用,然后通过该指定多媒体播放应用对获取的多媒体文件进行播放。其中,该指定多媒体播放应用可以为第二设备默认设置的多媒体播放应用,也可以是与第一设备中播放该多媒体文件的多媒体播放应用相同的多媒体播放应用。作为一个示例,若该多媒体文件为视频,则该指定多媒体播放应用可以为华为视频播放软件。
在一种可能的实现方式中,若该多媒体文件的文件相关信息还包括该多媒体文件的播放进度信息,则在根据该链接地址获取该多媒体文件之后,还可以基于该播放进度信息,从该播放进度信息指示的播放进度开始播放该多媒体文件。
第二种情形:若该内容相关信息为第一设备正在进行的视频通话的呼叫转移信息,则根据该呼叫转移信息,将第一设备的视频通话转移到第二设备上,显示呼叫转移后的视频通话界面。
其中,第二设备可以根据该呼叫转移信息中的视频通话标识,将该视频通话标识所指示的视频通话转移到第二设备上,使得用户可以直接使用第二设备继续此前在第一设备上进行的视频通话。
在一种可能的实现方式中,第一设备在将屏幕内容投屏至第二设备之前,还可以先与第二设备建立通信连接,以便通过建立的通信连接将屏幕内容投屏至第二设备。
需要说明的是,第一设备与第二设备之间的通信连接可以在由用户在第一设备或第二设备的界面上的操作触发建立,也可以由第一设备或第二设备自动建立,本申请实施例对此不作限定。比如第一设备可以在手势投屏功能开启后自动建立与第二设备之间的通信连接,或者在识别到投屏手势后自动建立与第二设备之间的通信连接。
作为一个示例,第一设备可以在手势投屏功能开启后,触发搜索与手机在同一局域网内的设备,然后建立与搜索到的设备之间的通信连接。
作为另一个示例,第一设备可以在识别到投屏手势后,向第二设备发起握手,通过握手确认的方式建立第二设备之间的通信连接。
还需要说明的是,第一设备可以通过投屏协议进行投屏,也可以通过握手确认的方式建立的通信连接进行投屏,本申请实施例对此也不作限定。其中,投屏协议包括数字生活网络联盟(digital living network alliance,DLNA)协议,乐联(lelink)协议或airplay协议(苹果系统提供的一种投屏协议)等。
在一种可能的实现方式中,第二设备在接收到第一设备投屏的屏幕内容,并对投屏的屏幕内容进行显示之后,即投屏成功后,第二设备还可以向第一设备发送投屏成功响应。其中,该投屏成功响应用于指示第一设备投屏成功。比如,第二设备在对第一设备投屏的多媒体文件进行播放后,可以向第一设备发送播放成功响应。或者,第二设备在对第一设备投屏的视频通话进行呼叫转移后,可以向第一设备发送呼叫转移成功响应。
在一种可能的实现方式中,第一设备在接收到第二设备发送的投屏成功响应后,第一设备还可以对停止显示当前的屏幕内容,比如停止播放当前的多媒体文件或者停止进行当前的视频通话。
应理解,本申请实施例仅是以第一设备先进行手势检测和识别,第二设备再进行手势检测和识别为例进行举例说明,而实际应用中,两者执行顺序可以相反,也可以同时进行,本申请实施例对两者的执行顺序不作限定。
另外,本申请实施例仅是以第一设备投屏至第二设备为例进行说明,而在其他实施例中,第二设备也可以投屏至第一设备,其投屏方法与第一设备投屏至第二设备的投屏方法同理,本申请实施例在此不再赘述。
本申请实施例中,第一设备可以检测用户的手势操作,并对检测到的手势操作进行手势识别,在识别到投屏手势的情况下,触发将第一设备的屏幕内容投屏至第二设备。如此,用户在第一设备附近执行投屏手势,即可快速触发第一设备进行投屏,从而提高了投屏效率和灵活性,扩展了投屏方式。
图20是本申请实施例提供的另一种投屏方法的示意图,该方法的交互主体为第一设备和第二设备,第一设备为投屏设备,第二设备为被投屏设备。如图20所示,该方法包括如下步骤:
步骤2001:第一设备在开机状态下显示屏幕内容。
步骤2002:用户在第一设备附近执行投屏手势。
步骤2003:第一设备检测手势操作。
步骤2004:第一设备对检测到的手势操作进行手势识别。
需要说明的是,步骤2001-步骤2004与上述步骤1801-步骤1804同理,具有实现过程可以参考上述步骤1801-步骤1804的相关描述,本申请实施例在此不再赘述。
步骤2005:若识别到投屏手势,则第一设备将第一设备的屏幕内容从第一设备的显示屏幕逐渐移出。
本申请实施例中,可以在识别到投屏手势后,将第一设备的屏幕内容从显示屏幕的一侧逐渐移出,以实现将屏幕内容逐渐投屏出去的可视化效果,提高用户的投屏体验。
在一种可能的实现方式中,第一设备可以将第一设备的屏幕内容从第一设备的显示屏幕的一侧逐渐移出。作为一个示例,显示屏幕中用于将屏幕内容移出的一侧可以默认设置,比如默认设置为显示屏幕的上侧、下侧、左侧或右侧等,或者为显示屏幕中靠近第二设备的一侧。作为另一个示例,显示屏幕中用于将屏幕内容移出的一侧还可以根据投屏手势的移动方向来确定,当然也可以通过其他方式确定,本申请实施例对此不作限定。
需要说明的是,从显示屏幕逐渐移出的屏幕内容可以为第一设备所显示的不断变化着的显示画面,这种情况下,所移出的屏幕内容是动态播放的多帧画面。或者,从显示屏幕逐渐移出的屏幕内容也可以为第一设备在识别到投屏手势时正在显示的一帧显示画面,这种情况下,所移出的屏幕内容是静态显示的一帧画面。
在一种可能的实现方式中,第一设备的屏幕内容可以按照移出比例逐渐递增的方式,从显示屏幕的一侧逐渐移出。其中,移出比例是指屏幕内容从显示屏幕中移出的 部分占屏幕内容的整体部分的比例。
作为一个示例,第一设备将屏幕内容从第一设备的显示屏幕的一侧逐渐移出的操作可以包括以下两种实现方式:
第一种实现方式:根据投屏手势的移动距离的变化,将屏幕内容从显示屏幕的一侧逐渐移出。
在投屏手势移动的过程中,可以确定投屏手势的移动距离,以根据投屏手势的移动距离,将屏幕内容从显示屏幕的一侧逐渐移出。另外,在投屏手势移动的过程中,可以实时确定投屏手势的移动距离,也可以周期性地确定投屏手势的移动距离,本申请实施例对此不作限定。
作为一个示例,在确定出投屏手势的移动距离之后,可以根据投屏手势的移动距离,以及移动距离与移出比例的映射关系,确定屏幕内容的移出比例,然后按照该移出比例,将屏幕内容从显示屏幕的一侧移出。
本申请实施例中,可以预先设置移动距离与移出比例之间的映射关系,该映射关系用于指示不同的移动距离与不同的移出比例之间的对应关系,且移动距离越大,移出比例越大。另外,移出比例最大可以为100%,用于指示将屏幕内容完全移出显示屏幕。
需要说明的是,移动距离与移出比例之间的映射关系可以通过对应关系实现,也可以通过公式实现,本申请实施例对此不作限定。例如,移动距离与移出比例之间的映射关系可以包括以下几种形式:
1)移动距离与移出比例之间的对应关系,该对应关系包括不同的移动距离与不同的移出比例之间的对应关系。
请参考表1,表1是一种示例性的移动距离与移出比例之间的对应关系表。
表1
移动距离/cm 2 4 6 8 10 12 14 16 18 20
移出比例 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
如上述表1所示,不同的移动距离对应于不同的移出比例,投屏手势的移动距离每增大2cm,则屏幕内容的移出比例增大10%,直至屏幕内容完整移出。应理解,上述表1仅是对移动距离与移出比例之间的映射关系的一种示例性举例,其并不对移动距离与移出比例之间的映射关系进行限定。
作为一个示例,每当确定出投屏手势的移动距离之后,可以从移动距离与移出比例的映射关系中查找当前移动距离所对应的移出比例。如果查找到当前移动距离所对应的移出比例,则按照查找到的移动比例,将屏幕内容从显示屏幕的一侧移出。如果未查找到当前移动距离所对应的移出比例,则返回确定投屏手势的移动距离步骤,以继续确定投屏手势的移动距离。
2)移动距离范围与移出比例之间的对应关系,该对应关系包括不同的移动距离范围与不同的移出比例之间的对应关系。
通过将移动距离划分不同的移动距离范围,设置不同的移动距离范围分别对应的移出比例,可以减小第一设备的计算量,提高投屏效率。
请参考表2,表2是一种示例性的移动距离范围与移出比例之间的对应关系表。
表2
移动距离/cm 2-4 4-6 6-8 8-10 10-17 17-14 14-16 16-18 18-20 20-∞
移出比例 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
如上述表2所示,不同的移动距离范围对应于不同的移出比例,当投屏手势的移动距离大于或等于20cm时,屏幕内容将从显示屏幕完整移出。应理解,上述表2仅是对移动距离范围与移出比例之间的映射关系的一种示例性举例,其并不对移动距离范围与移出比例之间的映射关系进行限定。
作为一个示例,根据投屏手势的移动距离,将屏幕内容从显示屏幕的一侧逐渐移出的操作可以包括:根据投屏手势的移动距离,以及存储的移动距离范围与移出比例之间的对应关系,确定屏幕内容的移出比例。按照该移出比例,将屏幕内容从显示屏幕的一侧移出。
另外,确定屏幕内容的移出比例之后,还可以先将确定的移出比例与屏幕内容的当前移出比例进行比较。若确定的移出比例与当前移出比例相同,则保持当前移出比例。若确定的移出比例与当前移出比例不同,则按照确定的移出比例,将屏幕内容从显示屏幕的一侧移出。
3)第一映射关系公式,第一映射关系公式用于指示移动距离与移出比例之间的映射关系。作为一个示例,第一映射关系公式可以为如下公式(1):
Figure PCTCN2021134117-appb-000001
其中,x为投屏手势的移动距离,单位为cm;y为屏幕内容的移出比例。应理解,上述公式(1)仅是对第一映射关系公式的一种示例性举例,其并不对第一映射关系公式进行限定。
作为一个示例,根据投屏手势的移动距离,将屏幕内容从所述显示屏幕的一侧逐渐移出的操作可以包括:根据投屏手势的移动距离,以及第一映射关系公式,确定屏幕内容的移出比例。按照该移出比例,将屏幕内容从显示屏幕的一侧移出。
在一种可能的实现方式中,显示屏幕中用于将屏幕内容移出的一侧还可以根据投屏手势的移动方向确定。比如,可以预先设置移动方向与显示屏幕的各侧之间的对应关系,根据该对应关系来确定显示屏幕中用于将屏幕内容移出的一侧。
作为一个示例,在将屏幕内容从显示屏幕的一侧逐渐移出之前,先确定投屏手势的移动方向,然后根据投屏手势的移动方向,以及存储的移动方向与显示屏幕的各侧之间的对应关系,确定显示屏幕中用于将所述屏幕内容移出的一侧。
请参考表3,表3是一种移动方向与显示屏幕的各侧之间的对应关系表。
表3
移动方向
显示屏幕一侧 上侧 下侧 左侧 右侧
如上述表3所示,不同的移动方向对应于显示屏幕的不同侧,可以根据投屏手势的移动方向,从上述表3确定显示屏幕中用于将屏幕内容移出的一侧。应理解,上述表3仅是对移动方向与显示屏幕的各侧之间的对应关系的一种示例性举例,其并不对移动方向与显示屏幕的各侧之间的对应关系进行限定。
第二种实现方式:根据时间的变化,将屏幕内容从显示屏幕的一侧逐渐移出。
第一设备可以在检测到第一设备开始投屏后,触发第一设备根据时间的变化,将屏幕内容从显示屏幕的一侧逐渐移出。当然,也可以在其他时机触发将屏幕内容从显示屏幕的一侧逐渐移出,本申请实施例对此不作限定。
在一种可能的实现方式中,可以在识别到投屏手势,或者将屏幕内容成功发送给第二设备,或者接收到第二设备的投屏成功响应的情况下,确定第一设备开始投屏,进而触发将屏幕内容从显示屏幕的一侧逐渐移出。
作为一个示例,第一设备在检测到第一设备开始投屏后,可以确定当前时间点与开始投屏的时间点之间相距的时长,根据该时长将屏幕内容从显示屏幕的一侧逐渐移出。
也即是,第一设备可以在开始投屏后,按照时间的推移,将屏幕内容从显示屏幕的一侧逐渐移出。比如,在开始投屏后的第一预设时长内,如开始投屏后的2秒内,按照时间的推移,将屏幕内容从显示屏幕的一侧逐渐移出。
在一种可能的实现方式中,可以根据该时长,以及时长与移出比例之间的映射关系,确定第一屏幕内容的移出比例,然后按照该移出比例,将屏幕内容从显示屏幕的一侧逐渐移出。其中,时长与移出比例之间的映射关系可以通过对应关系实现,也可以通过公式实现,本申请实施例对此不作限定。
比如,该映射关系可以为时长与移出比例之间的对应关系,该对应关系包括不同的时长与不同的移出比例之间的对应关系。请参考表4,表4是一种示例性的时长与移出比例之间的对应关系表。
表4
时长/秒 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0
移出比例 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
或者,该映射关系可以为时长范围与移出比例之间的对应关系,该对应关系包括不同的时长范围与移出比例之间的对应关系。请参考表5,表5是一种示例性的时长范围与移出比例之间的对应关系表。
表5
Figure PCTCN2021134117-appb-000002
或者,该映射关系可以为第二映射关系公式,第二映射关系公式用于指示不同时长与不同移出比例之间的对应关系。比如,第二映射公式可以为如下公式(2):
Figure PCTCN2021134117-appb-000003
其中,t为当前时间点与开始投屏的时间点之间相距的时长,单位为秒;z为屏幕内容的移出比例。
步骤2006:第一设备发送握手请求。
其中,该握手请求用于请求与接收到该握手请求的设备建立通信连接。作为一个示例,该握手请求携带投屏指示信息,投屏指示信息用于指示第一设备检测到投屏手 势。
另外,为了保证可靠性,在发送握手请求之后,若在第二预设时长内未接收到握手确认消息,第一设备还可以重复发送握手请求。
其中,第二预设时长可以预先设置,比如可以设置为3s或5s等。重复发送握手请求的次数可以预先配置的次数,比如可以为3次或5次等,或者,也可以重复发送握手请求直至接收到握手确认消息为止。
步骤2007:第二设备检测手势操作。
步骤2008:第二设备对检测到的手势操作进行手势识别。
需要说明的是,步骤2007-步骤2008与上述图18实施例中的步骤1806-步骤1807同理,具体实现过程可以参考上述步骤1806-步骤1807的相关描述,本申请实施例在此不再赘述。
步骤2009:第二设备若识别到被投屏手势,则等待接收握手请求。
作为一个示例,等待接收握手请求的操作可以包括:启动指定监控进程,指定监控进程用于监控其他设备发送的握手请求。
步骤2010:第二设备接收到第一设备发送的握手请求后,向第一设备发送握手确认消息,该握手确认消息用于指示与第一设备成功建立通信连接。
作为一个示例,第二设备接收到第一设备发送的握手请求后,若握手请求携带投屏指示信息,则第二设备还可以先判断投屏指示信息与第二设备的手势识别结果是否匹配。若投屏指示信息与第二设备的手势识别结果匹配,则向第一设备发送握手确认消息。若投屏指示信息与第二设备的手势识别结果不匹配,则不执行操作。
其中,若第二设备的手势识别结果指示检测到被投屏手势,则该投屏指示信息与第二设备的手势识别结果匹配。若第二设备的手势识别结果指示未检测到被投屏手势,则该投屏指示信息与第二设备的手势识别结果不匹配。
需要说明的是,本申请实施例仅是以由投屏的第一设备向被投屏的第二设备发送握手请求,由第二设备进行握手确认为例进行举例说明,而在其他实施例中,还可以由被投屏的第二设备向投屏的第一设备发送握手请求,由第一设备进行握手确认,本申请实施例对此不作限定。
比如,第二设备若识别到被投屏手势,则发送握手请求。第一设备若识别到投屏手势,则等待接收握手请求,若接收到第二设备发送的握手请求,则向第二设备发送握手确认消息,成功建立与第二设备之间的通信连接。
作为一个示例,第一设备和第二设备中发送握手请求的设备可以为小屏设备,等待接收握手请求的设备可以为大屏设备。比如,在手机向智能电视进行投屏的场景中,可以由手机发送握手请求,由智能电视等待接收握手请求,进行握手确认。在智能电视向手机进行投屏的场景中,也可以由手机发送握手请求,由智能电视等待接收握手请求,进行握手确认。由于等待握手的过程需要消耗一定的电量,因此由连接电源的智能电视来等待握手,而由手机发起握手,可以节约手机的电量,提高用户体验。
步骤2011:第一设备通过该通信连接,将第一设备的屏幕内容投屏至第二设备。
比如,第一设备可以通过该通信连接,将第一设备的录屏数据、屏幕内容的流媒体数据或者屏幕内容的内容相关信息发送给第二设备。
需要说明的是,步骤2011中将第一设备的屏幕内容投屏至第二设备的操作与上述图18实施例中的步骤1805同理,具体实现过程可以参考上述步骤1805的相关描述,本申请实施例在此不再赘述。
步骤2012:第二设备通过该通信连接接收第一设备投屏的屏幕内容,将该屏幕内容逐渐移入显示屏幕。
本申请实施例中,可以在接收到第一设备投屏的屏幕内容之后,将第一设备投屏的屏幕内容逐渐移入显示屏幕,然后基于完整移入至显示屏幕的屏幕内容进行投屏显示,以实现基于投屏手势将屏幕内容从第一设备逐渐投入到第二设备的可视化效果,为用户提供较佳的投屏体验。
在一种可能的实现方式中,可以将屏幕内容从第二设备的显示屏幕的一侧逐渐移入。作为一个示例,显示屏幕中用于将屏幕内容移入的一侧可以默认设置,比如默认设置为显示屏幕的上侧、下侧、左侧或右侧等,或者为显示屏幕中靠近第一设备的一侧。作为另一个示例,显示屏幕中用于将屏幕内容移入的一侧还可以根据投屏手势的移动方向来确定,当然也可以通过其他方式确定,本申请实施例对此不作限定。
需要说明的是,向显示屏幕逐渐移入的屏幕内容可以为第一设备所显示的不断变化着的显示画面,这种情况下,所移入的屏幕内容是动态播放的多帧画面。或者,向显示屏幕逐渐移入的屏幕内容也可以为第一设备在识别到投屏手势时正在显示的一帧显示画面,这种情况下,所移入的屏幕内容是静态显示的一帧画面。
在一种可能的实现方式中,该屏幕内容可以按照移入比例逐渐递增的方式,从第二设备的显示屏幕一侧逐渐移入。移入比例是指屏幕内容中移入显示屏幕的部分占屏幕内容的整体部分的比例。
作为一个示例,将屏幕内容从第二设备的显示屏幕的一侧逐渐移入的操作可以包括以下两种实现方式:
第一种实现方式:根据被投屏手势的移动距离的变化,从显示屏幕的一侧将屏幕内容逐渐移入显示屏幕。
在被投屏手势移动的过程中,可以确定被投屏手势的移动距离,以便根据被投屏手势的移动距离,从显示屏幕的一侧将屏幕内容逐渐移入。
其中,在被投屏手势移动的过程中,可以实时确定被投屏手势的移动距离,也可以周期性地确定被投屏手势的移动距离,本申请实施例对此不作限定。
另外,也可以根据投屏手势的移动距离,来确定被投屏手势的移动距离。比如,在被投屏手势移动的过程中,接收第一设备发送的手势识别结果;基于该手势识别结果,确定被投屏手势的移动距离。其中,该手势识别结果包括投屏手势的移动距离。
作为一个示例,在确定被投屏手势的移动距离之后,可以根据被投屏手势的移动距离,以及移动距离与移入比例之间的对应关系,确定屏幕内容的移入比例,然后按照该移入比例,将屏幕内容从显示屏幕的一侧逐渐移入。
本申请实施例中,可以预先设置移动距离与移入比例之间的映射关系,该映射关系用于指示不同的移动距离与不同的移入比例之间的对应关系。而且,移动距离越大,移入比例越大。另外,移入比例最大可以为100%,用于指示将屏幕内容完整移入显示屏幕。
需要说明的是,移动距离与移入比例之间的映射关系可以通过对应关系实现,也可以通过公式实现,本申请实施例对此不作限定。例如,移动距离与移入比例之间的映射关系可以包括以下几种形式:
1)移动距离与移入比例之间的对应关系,该对应关系包括不同的移动距离与不同的移入比例之间的对应关系。
请参考表6,表6是一种示例性的移动距离与移出比例之间的对应关系表。
表6
移动距离/cm 2 4 6 8 10 12 14 16 18 20
移入比例 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
如上述表6所示,不同的移动距离对应于不同的移入比例,被投屏手势的移动距离每增大2cm,则屏幕内容的移入比例增大10%,直至屏幕内容完整移入显示屏幕。应理解,上述表6仅是对移动距离与移入比例之间的映射关系的一种示例性举例,其并不对移动距离与移入比例之间的映射关系进行限定。
作为一个示例,每当确定出被投屏手势的移动距离之后,可以从移动距离与移入比例的映射关系中查找当前移动距离所对应的移入比例。如果查找到当前移动距离所对应的移入比例,则按照查找到的移入比例,将屏幕内容从显示屏幕的一侧移入。如果未查找到当前移动距离所对应的移入比例,则返回确定被投屏手势的移动距离步骤,以继续确定被投屏手势的移动距离。
2)移动距离范围与移入比例之间的对应关系,该对应关系包括不同的移动距离范围与不同的移入比例之间的对应关系。
通过将移动距离划分不同的移动距离范围,设置不同的移动距离范围对应的移入比例,可以减小第二设备的计算量,提高投屏效率。
请参考表7,表7是一种示例性的移动距离范围与移入比例之间的对应关系表。
表7
移动距离/cm 2-4 4-6 6-8 8-10 10-12 12-14 14-16 16-18 18-20 20-∞
移入比例 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
如上述表7所示,不同的移动距离范围对应于不同的移入比例,当被投屏手势的移动距离大于或等于20cm时,屏幕内容将从显示屏幕完整移入。应理解,上述表7仅是对移动距离范围与移入比例之间的映射关系的一种示例性举例,其并不对移动距离范围与移入比例之间的映射关系进行限定。
作为一个示例,根据投屏手势的移动距离,将屏幕内容从显示屏幕的一侧逐渐移入的操作可以包括:根据投屏手势的移动距离,以及存储的移动距离范围与移入比例之间的对应关系,确定屏幕内容的移入比例。按照该移入比例,将屏幕内容从显示屏幕的一侧移入。
另外,确定屏幕内容的移入比例之后,还可以先将确定的移入比例与屏幕内容的当前移入比例进行比较。若确定的移入比例与当前移入比例相同,则保持当前移入比例。若确定的移入比例与当前移入比例不同,则按照确定的移入比例,将屏幕内容从显示屏幕的一侧移入。
3)第三映射关系公式,第三映射关系公式用于指示移动距离与移入比例之间的映 射关系。
比如,第三映射关系公式可以为上述公式(1)所示。不同的是,x为被投屏手势的移动距离,单位为cm;y为屏幕内容的移入比例。
作为一个示例,根据被投屏手势的移动距离,将屏幕内容从显示屏幕的一侧逐渐移入的操作可以包括:根据被投屏手势的移动距离,以及第三映射关系公式,确定屏幕内容的移入比例。按照该移入比例,将屏幕内容从显示屏幕的一侧移入。
第二种实现方式:根据时间的变化,将屏幕内容从显示屏幕的一侧逐渐移入。
第二设备可以在接收到第一设备投屏的屏幕内容后,触发第二设备根据时间的变化,将屏幕内容从显示屏幕的一侧逐渐移入。比如,可以在接收到第一设备投屏的屏幕内容后的预设时长内,按照时间的推移,将屏幕内容从显示屏幕的一侧逐渐移入。
在一种可能的实现方式中,第二设备可以在接收到第一设备投屏的屏幕内容之后,确定当前时间点与接收到屏幕内容的时间点之间相距的时长。然后,根据该时长,从显示屏幕的一侧将屏幕内容逐渐移入显示屏幕。
作为一个示例,可以预先设置时长与移入比例之间的映射关系。在接收到第一第一设备投屏的屏幕内容之后,根据该时长,以及存储的时长与移入比例之间的映射关系,确定第一屏幕内容的移入比例,然后按照该移入比例,将屏幕内容从显示屏幕的一侧逐渐移入。
其中,时长与移入比例之间的映射关系可以通过对应关系实现,也可以通过公式实现,本申请实施例对此不作限定。
比如,该映射关系可以为时长与移入比例之间的对应关系,该对应关系包括不同的时长与不同的移入比例之间的对应关系。请参考表8,表8是一种示例性的时长与移入比例之间的对应关系表。
表8
时长/秒 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0
移入比例 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
或者,该映射关系为时长范围与移入比例之间的对应关系,该对应关系包括不同的时长范围与移入比例之间的对应关系。请参考表9,表9是一种示例性的时长范围与移入比例之间的对应关系表。
表9
Figure PCTCN2021134117-appb-000004
或者,该映射关系可以为第四映射关系公式,第四映射关系公式用于指示不同时长与不同移入比例之间的对应关系。比如,第四映射公式可以为上述公式(2)。不同的是,t为当前时间点与接收到屏幕内容的时间点之间相距的时长,单位为秒;z为屏幕内容的移入比例。
在一种可能的实现方式中,显示屏幕中用于将屏幕内容移入的一侧还可以根据被投屏手势的移动方向确定。比如,可以预先设置移动方向与显示屏幕的各侧之间的对应关系。在将屏幕内容从显示屏幕的一侧逐渐移入之前,先确定投屏手势的移动方向, 然后根据投屏手势的移动方向,以及存储的移动方向与显示屏幕的各侧之间的对应关系,确定显示屏幕中用于将所述屏幕内容移入的一侧。
请参考表10,表10是一种移动方向与显示屏幕的各侧之间的对应关系表。
表10
移动方向 上/前 下/后
显示屏幕一侧 下侧 上侧 右侧 左侧
如上述表10所示,不同的移动方向对应于显示屏幕的不同侧,可以根据被投屏手势的移动方向,从上述表10确定将屏幕内容移入的一侧。应理解,上述表10仅是对移动方向与显示屏幕的各侧之间的对应关系的一种示例性举例,其并不对移动方向与显示屏幕的各侧之间的对应关系进行限定。
值得注意的是,本申请实施例所述的投屏手势的移动距离和被投屏手势的移动距离均是指用户的手势操作的移动距离。手势操作的移动距离可以为手势操作相对手势起始位置的移动距离,可以为手势操作相对第一设备的移动距离,也可以为手势操作相对第二设备的移动距离,本申请实施例对此不作限定。
需要说明的是,本申请实施例仅是以在第一设备识别到投屏手势后,自动通过握手确认的方式建立与第二设备之间的通信连接,然后通过该通信连接向第二设备进行投屏为例进行举例说明,而在其他实施例中,还可以在识别到投屏手势之前预先建立通信连接,比如第一设备可以在手势投屏功能开启后,触发第一设备搜索与第一设备在同一局域网内的第二设备,然后建立与搜索到的第二设备之间的通信连接。也即是,步骤2006与步骤2010为可选步骤,可以执行,也可以不执行。
还需要说明的是,本申请实施例仅是以第一设备在触发将屏幕内容从第一设备的显示屏幕逐渐移出之后,触发将屏幕内容投屏至第二设备为例进行举例说明,而在其他实施例中,第一设备也可以在触发将屏幕内容从第一设备的显示屏幕逐渐移出的同时,触发将屏幕内容投屏至第二设备,或者在触发将屏幕内容从第一设备的显示屏幕逐渐移出之前,触发将屏幕内容投屏至第二设备,本申请实施例对这两者的执行顺序不作限定。
本申请实施例中,第一设备可以检测用户的手势操作,并对检测到的手势操作进行手势识别,在识别到投屏手势的情况下,触发将第一设备的屏幕内容投屏至第二设备。如此,用户在第一设备附近执行投屏手势,即可快速触发第一设备进行投屏,从而提高了投屏效率和灵活性,扩展了投屏方式。
为了便于理解,接下来以第一设备为手机、第二设备为智能电视为例,结合附图和应用场景,对本申请实施例提供的投屏方法进行举例说明。
请参考图21,图21是本申请实施例提供的一种手机将视频播放界面投屏至智能电视的流程示意图。如图21所示,手机将视频播放界面投屏至智能电视的流程可以包括:
步骤2101:用户打开手机中的视频播放应用。
其中,该视频播放应用可以为任意视频播放应用,也可以为指定播放应用,如华为视频应用等。
步骤2102:手机通过视频播放应用播放视频。
步骤2103:用户执行从小屏设备投屏至大屏设备的第一投屏手势。
步骤2104:手机检测采集的手势是否为第一投屏手势。
步骤2105:智能电视检测采集的手势操作是否为第一投屏手势。
步骤2106:智能电视若检测到第一投屏手势,则等待接收握手请求。
步骤2107:手机若检测到第一投屏手势,则发送握手请求。
步骤2108:智能电视若接收到握手请求,则向手机发送握手确认消息,该握手确认消息用于指示成功建立与手机之间的通信请求。
步骤2109:手机获取所播放的视频的链接地址和播放进度信息。
步骤2110:手机通过该通信连接将获取的链接地址和播放进行信息发送给智能电视。
步骤2111:智能电视接收到视频的链接地址和播放进行信息之后,打开指定视频播放应用,基于接收的链接地址和播放进行信息,通过该指定视频播放应用播放该视频。
步骤2112:智能电视向手机发送播放成功响应。
步骤2113:手机停止播放该视频。
请参考图22,图22是本申请实施例提供的一种手机将视频通话界面投屏至智能电视的流程示意图。如图22所示,手机将视频通话界面投屏至智能电视的流程可以包括:
步骤2201:用户使用手机发起视频通话。
用户可以基于手机安装的视频通话应用发起视频通话,也可以基于手机系统自带的视频通话功能发起视频通话,本申请实施例对此不作限定。
步骤2202:手机与其他设备进行视频通话。
步骤2203:用户执行从小屏设备投屏至大屏设备的第一投屏手势。
步骤2204:手机检测采集的手势是否为第一投屏手势。
步骤2205:智能电视检测采集的手势操作是否为第一投屏手势。
步骤2206:智能电视若检测到第一投屏手势,则等待接收握手请求。
步骤2207:手机若检测到第一投屏手势,则发送握手请求。
步骤2208:智能电视若接收到握手请求,则向手机发送握手确认消息,该握手确认消息用于指示成功建立与手机之间的通信请求。
步骤2209:手机获取当前视频通话的呼叫转移信息。
步骤2210:手机通过该通信连接将获取的呼叫转移信息发送给智能电视。
步骤2211:智能电视基于接收的呼叫转移信息,进行视频通话的呼叫转移。
步骤2212:智能电视向手机发送转移成功响应。
其中,该转移成功响应用于指示智能电视成功进行呼叫转移。
接收到智能电视发送的转移成功响应后,手机停止进行视频通话。
步骤2213:智能电视进行视频通话。
请参考图23,图23是本申请实施例提供的一种智能电视将视频播放界面投屏至手机的流程示意图,如图23所示,智能电视将视频播放界面投屏至手机的流程可以包括:
步骤2301:用户打开智能电视中的视频播放应用。
其中,该视频播放应用可以为任意视频播放应用,也可以为指定播放应用,如华为视频应用等。
步骤2302:智能电视通过视频播放应用播放视频。
步骤2303:用户执行从大屏设备投屏至小屏设备的第二投屏手势。
步骤2304:手机检测采集的手势是否为第二投屏手势。
步骤2305:智能电视检测采集的手势操作是否为第二投屏手势。
步骤2306:智能电视若检测到第二投屏手势,则等待接收握手请求。
步骤2307:手机若检测到第二投屏手势,则发送握手请求。
步骤2308:智能电视若接收到握手请求,则向手机发送握手确认消息,该握手确认消息用于指示成功建立与手机之间的通信请求。
步骤2309:智能电视获取所播放的视频的链接地址和播放进度信息。
步骤2310:智能电视通过该通信连接将获取的链接地址和播放进行信息发送给手机。
步骤2311:手机接收到视频的链接地址和播放进行信息之后,打开指定视频播放应用,基于接收的链接地址和播放进行信息,通过该指定视频播放应用播放该视频。
步骤2312:手机向智能电视发送播放成功响应。
步骤2313:智能电视停止播放该视频。
请参考图24,图24是本申请实施例提供的一种智能电视将视频通话界面投屏至手机的流程示意图。如图24所示,智能电视将视频通话界面投屏至手机的流程可以包括:
步骤2401:用户使用智能电视发起视频通话。
用户可以基于智能电视安装的视频通话应用发起视频通话,也可以基于智能电视系统自带的视频通话功能发起视频通话,本申请实施例对此不作限定。
步骤2402:智能电视与其他设备进行视频通话。
步骤2403:用户执行从大屏设备投屏至小屏设备的第二投屏手势。
步骤2404:手机检测采集的手势是否为第二投屏手势。
步骤2405:智能电视检测采集的手势操作是否为第二投屏手势。
步骤2406:智能电视若检测到第二投屏手势,则等待接收握手请求。
步骤2407:手机若检测到第二投屏手势,则发送握手请求。
步骤2408:智能电视若接收到握手请求,则向手机发送握手确认消息,该握手确认消息用于指示成功建立与手机之间的通信请求。
步骤2409:智能电视获取当前视频通话的呼叫转移信息。
步骤2410:智能电视通过该通信连接将获取的呼叫转移信息发送给手机。
步骤2411:手机基于接收的呼叫转移信息,进行视频通话的呼叫转移。
步骤2412:手机向智能电视发送转移成功响应。
其中,该转移成功响应用于指示智能电视成功进行呼叫转移。
接收到手机发送的转移成功响应后,智能电视停止进行视频通话。
步骤2413:手机进行视频通话。
由上述图21和图22可知,用户可以通过执行将小屏设备投屏至大屏设备的第一投屏手势,将手机的视频播放界面或视频通话界面投屏至智能电视。由上述图23和图24可知,用户还可以通过执行将大屏设备投屏至小屏设备的第二投屏手势,将智能电视的视频播放界面或视频通话界面投屏至手机。
图25是本申请实施例提供的一种投屏装置2500的示意图,该投屏装置2500可以为由软件、硬件或者两者的结合实现成为电子设备的部分或者全部,该电子设备可以为图1所示的第一设备10。如图25所示,该投屏装置2500包括:
手势采集模块2501,用于执行上述图18实施例中的步骤1803,或者上述图20实施例中的步骤2003。
手势识别模块2502,用于执行上述图18实施例中的步骤1804,或者上述图20实施例中的步骤2004。
投屏模块2503,用于执行上述图18实施例中的步骤1805。
可选地,该投屏手势为手掌朝向该第一设备并向远离该第一设备的方向移动的手势;或者,该投屏手势为手背朝向该第一设备并向远离该第一设备的方向移动的手势。
可选地,该投屏装置还包括移出模块,该移出模块用于执行上述图20实施例中的步骤2005。
可选地,该移出模块用于:
在该投屏手势移动的过程中,确定该投屏手势的移动距离;
根据该投屏手势的移动距离,将该屏幕内容从该显示屏幕的一侧逐渐移出。
可选地,该移出模块用于:
根据该投屏手势的移动距离,以及存储的移动距离范围与移出比例之间的对应关系,确定该屏幕内容的移出比例,该移出比例是指该屏幕内容从该显示屏幕中移出的部分占该屏幕内容的整体部分的比例;
按照该移出比例,将该屏幕内容从该显示屏幕的一侧移出。
可选地,该移出模块用于:
确定该投屏手势的移动方向;
根据该投屏手势的移动方向,以及存储的移动方向与显示屏幕的各侧之间的对应关系,确定该显示屏幕中用于将该屏幕内容移出的一侧。
可选地,该移出模块用于:
若将该屏幕内容成功发送给该第二设备,或者接收到该第二设备的投屏成功响应,则确定该第一设备开始投屏;
在该第一设备开始投屏之后,确定当前时间点与开始投屏的时间点之间相距的时长;
根据该时长,将该屏幕内容从该显示屏幕的一侧逐渐移出。
可选地,该移出模块用于:
根据该时长,以及存储的时长范围与移出比例之间的对应关系,确定该第一屏幕内容的移出比例,该移出比例是指该屏幕内容从该显示屏幕中移出的部分占该屏幕内容的整体部分的比例;
按照该移出比例,将该屏幕内容从该显示屏幕的一侧逐渐移出。
可选地,投屏模块2503用于:
对该第一设备的显示屏幕进行录屏,将录屏数据发送给该第二设备;
或者,
获取该第一设备的屏幕内容的流媒体数据,将该流媒体数据发送给该第二设备;
获取该第一设备的屏幕内容的内容相关信息,将该内容相关信息发送给该第二设备,该内容相关信息用于指示该屏幕内容。
可选地,投屏模块2503用于:
若该第一设备正在播放多媒体文件,则获取该多媒体文件的文件相关信息,将该多媒体文件的文件相关信息发送给该第二设备,该文件相关信息至少包括该多媒体文件的链接地址;
若该第一设备正在进行视频通话,则获取该视频通话的呼叫转移信息,将该呼叫转移信息发送给该第二设备。
可选地,该投屏装置还包括:
发送模块,用于执行上述图20实施例中的步骤2006;
接收模块,用于执行上述图20实施例中的步骤2010;
投屏设备2503,用于执行上述图20实施例中的步骤2011。
可选地,该握手请求携带投屏指示信息,该投屏指示信息用于指示该第一设备检测到投屏手势,该握手确认信息是由该第二设备在确定该投屏指示信息与该第二设备检测到的手势操作匹配后发送的。
可选地,发送模块,还用于将手势识别结果发送给该第二设备。
可选地,手势采集模块2501,用于通过摄像组件,采集包含手势操作的图像;
手势识别模块2502,用于对采集的图像进行图像分析,得到手势识别结果。
本申请实施例中,第一设备可以检测用户的手势操作,并对检测到的手势操作进行手势识别,在识别到投屏手势的情况下,触发将第一设备的屏幕内容投屏至第二设备。如此,用户在第一设备附近执行投屏手势,即可快速触发第一设备进行投屏,从而提高了投屏效率和灵活性,扩展了投屏方式。
图26是本申请实施例提供的另一种投屏装置2600的示意图,该投屏装置2600可以为由软件、硬件或者两者的结合实现成为电子设备的部分或者全部,该电子设备可以为图1所示的第二设备20。如图26所示,该投屏装置2600包括:
手势采集模块2601,用于执行上述图18实施例中的步骤1806,或者上述图20实施例中的步骤2007;
手势识别模块2602,用于执行上述图18实施例中的步骤1807,或者上述图20实施例中的步骤2008;
接受投屏模块2603,用于执行上述图18实施例中的步骤1808。
可选地,该被投屏手势为手背朝向该第二设备且向靠近该第二设备的方向移动的手势;或者,该被投屏手势为手掌朝向该第二设备并向靠近该第二设备的方向移动的手势。
可选地,接受投屏模块2603,用于执行上述图20实施例中的步骤2012。
可选地,接受投屏模块2603用于:
在该被投屏手势移动的过程中,确定该被投屏手势的移动距离;
根据该被投屏手势的移动距离,从该显示屏幕的一侧将该屏幕内容逐渐移入该显示屏幕。
可选地,接受投屏模块2603用于:
根据该被投屏手势的移动距离,以及存储的移动距离范围与移入比例之间的对应关系,确定该屏幕内容的移入比例,该移入比例是指该屏幕内容中移入该显示屏幕的部分占该屏幕内容的整体部分的比例;
按照该移入比例,将该屏幕内容从该显示屏幕的一侧移入。
可选地,接受投屏模块2603用于:
在该被投屏手势移动的过程中,接收该第一设备发送的手势识别结果;
基于该手势识别结果,确定该被投屏手势的移动距离。
可选地,接受投屏模块2603用于:
确定该被投屏手势的移动方向;
根据该被投屏手势的移动方向,以及存储的移动方向与显示屏幕的各侧之间的对应关系,确定该显示屏幕中用于将该屏幕内容移入的一侧。
可选地,接受投屏模块2603用于:
在接收到该第一设备投屏的屏幕内容之后,确定当前时间点与接收到该屏幕内容的时间点之间相距的时长;
根据该时长,从该显示屏幕的一侧将该屏幕内容逐渐移入该显示屏幕。
可选地,接受投屏模块2603用于:
根据该时长,以及存储的时长范围与移入比例之间的对应关系,确定该屏幕内容的移入比例,该移入比例是指该屏幕内容中从该显示屏幕移入的部分占该屏幕内容的整体部分的比例;
按照该移入比例,从该显示屏幕的一侧将该屏幕内容逐渐移入该显示屏幕。
可选地,接受投屏模块2603用于:
接收该第一设备发送的录屏数据,对该录屏数据进行播放,该录屏数据是由该第一设备对该第一设备的显示屏幕进行录屏得到;
或者,
接收该第一设备发送的该屏幕内容的流媒体数据,对该流媒体数据进行播放;
或者,
接收该第一设备发送的该屏幕内容的内容相关信息,基于该内容相关信息对该屏幕内容进行显示,该内容相关信息用于指示该屏幕内容。
可选地,接受投屏模块2603用于:
若该内容相关信息为该第一设备正在播放的多媒体文件的文件相关信息,且该文件相关信息至少包括该多媒体文件的链接地址,则根据该链接地址获取该多媒体文件,对该多媒体文件进行播放;
若该内容相关信息为该第一设备正在进行的视频通话的呼叫转移信息,则根据该呼叫转移信息,将该第一设备的视频通话转移到该第二设备上,显示呼叫转移后的视频通话界面。
可选地,投屏装置还包括:
接收模块,用于执行上述图20实施例中的步骤2009;
发送模块,用于执行上述图20实施例中的步骤2010;
接受投屏模块2603,用于通过该通信连接,接收该第一设备投屏的屏幕内容。
可选地,该握手请求携带投屏指示信息,该投屏指示信息用于指示该第一设备检测到投屏手势;
发送模块,用于若确定该投屏指示信息与该第二设备的手势识别结果匹配,则向该第一设备发送该握手确认消息。
可选地,手势采集模块2601,用于通过摄像组件,采集包含手势操作的图像;
手势识别模块2602,用于对采集的图像进行图像分析,得到手势识别结果。
本申请实施例中,第二设备可以检测用户的手势操作,并对检测到的手势操作进行手势识别,在识别到被投屏手势的情况下,触发接收第一设备投屏的屏幕内容,并对投屏的屏幕内容进行显示。如此,用户在第一设备和第二设备附近执行投屏手势,即可快速触发第一设备投屏至第二设备,从而提高了投屏效率和灵活性,扩展了投屏方式。
需要说明的是:上述实施例提供的投屏装置在进行投屏时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的投屏装置与投屏方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (22)

  1. 一种投屏方法,其特征在于,应用于投屏系统中,所述投屏系统包括第一设备和第二设备,所述方法包括:
    所述第一设备显示第一内容;
    所述第一设备检测第一手势操作,并对检测到的所述第一手势操作进行识别,其中所述第一手势操作为连续且移动的手势操作;
    所述第二设备检测所述第一手势操作,并对检测到的所述第一手势操作进行识别,所述第二设备与所述第一设备建立通信连接;
    若所述第一设备识别到所述第一手势操作为投屏手势,则将所述第一设备显示的所述第一内容投屏至所述第二设备;
    若所述第二设备识别到所述第一手势操作为被投屏手势,则接收所述第一设备投屏的所述第一内容,并在所述第二设备上进行显示。
  2. 如权利要求1所述的方法,其特征在于,所述将所述第一设备显示的所述第一内容投屏至所述第二设备,包括:
    所述第一设备在所述第一手势操作移动的过程中,将所述第一内容从所述第一设备的显示屏幕的一侧逐渐移出,其中所述第一内容从所述第一设备的显示屏幕移出的比例和所述第一手势操作相对所述第一设备的移动距离相关联,所述第一内容从所述第一设备的显示屏幕移出的比例是指所述第一内容从所述第一设备的显示屏幕中移出的部分占所述第一内容的整体部分的比例。
  3. 如权利要求1所述的方法,其特征在于,所述接收所述第一设备投屏的所述第一内容,并在所述第二设备上进行显示,包括:
    所述第二设备在所述第一手势操作移动的过程中,将所述第一内容从所述第二设备的显示屏幕的一侧逐渐移入,其中所述第一内容从所述第二设备的显示屏幕移入的比例和所述第一手势操作相对所述第二设备的移动距离相关联,所述第一内容从所述第二设备的显示屏幕移入的比例是指所述第一内容从所述第二设备的显示屏幕中移入的部分占所述第一内容的整体部分的比例。
  4. 如权利要求2所述的方法,其特征在于,所述第一设备在所述第一手势操作移动的过程中,将所述第一内容从所述第一设备的显示屏幕的一侧逐渐移出,包括:
    所述第一设备在所述第一手势操作移动的过程中,确定所述第一手势操作相对所述第一设备的移动距离;
    所述第一设备根据所述第一手势操作相对所述第一设备的移动距离,以及预先存储的所述第一手势操作相对所述第一设备的移动距离与所述第一内容从所述第一设备的显示屏幕移出的比例之间的映射关系,确定所述第一内容从所述第一设备的显示屏幕移出的比例。
  5. 如权利要求3所述的方法,其特征在于,所述第二设备在所述第一手势操作移动的过程中,将所述第一内容从所述第二设备的显示屏幕的一侧逐渐移入,包括:
    所述第二设备在所述第一手势操作移动的过程中,确定所述第一手势操作相对所述第二设备的移动距离;
    所述第二设备根据所述第一手势操作相对所述第二设备的移动距离,以及预先存储的所述第一手势操作相对所述第二设备的移动距离与所述第一内容从所述第二设备的显示屏幕移入的比例之间的映射关系,确定所述第一内容从所述第二设备的显示屏幕移入的比例。
  6. 如权利要求1-5任一所述的方法,其特征在于,所述第一设备检测第一手势操作,并对检测到的所述第一手势操作进行识别之后,还包括:
    所述第一设备将所述第一手势操作的识别结果发送给所述第二设备;
    所述第二设备接收所述第一设备发送的所述第一手势操作的识别结果。
  7. 如权利要求2-6任一所述的方法,其特征在于,所述将所述第一内容从所述第一设备的显示屏幕的一侧逐渐移出之前,还包括:
    所述第一设备确定所述第一手势操作的移动方向;
    所述第一设备根据所述第一手势操作的移动方向,以及预先存储的所述第一手势操作的移动方向与所述第一设备的显示屏幕的各侧之间的映射关系,确定所述第一设备的显示屏幕中用于将所述第一内容移出的一侧。
  8. 如权利要求3-7任一所述的方法,其特征在于,所述将所述第一内容从所述第二设备的显示屏幕的一侧逐渐移入之前,还包括:
    所述第二设备确定所述第一手势操作的移动方向;
    所述第二设备根据所述第一手势操作的移动方向,以及预先存储的所述第一手势操作的移动方向与所述第二设备的显示屏幕的各侧之间的映射关系,确定所述第二设备的显示屏幕中用于将所述第一内容移入的一侧。
  9. 如权利要求1-8任一所述的方法,其特征在于,所述将所述第一设备显示的所述第一内容投屏至所述第二设备之前,还包括:
    所述第一设备向所述第二设备发送握手请求,所述握手请求用于请求与所述第二设备建立通信连接;
    所述第二设备接收所述第一设备发送的所述握手请求,基于所述握手请求,向所述第一设备发送握手确认消息,所述握手确认消息用于指示成功建立所述第一设备与所述第二设备之间的通信连接;
    所述第一设备接收所述第二设备发送的所述握手确认消息;
    所述第一设备通过所述通信连接,所述将所述第一设备显示的所述第一内容投屏至所述第二设备。
  10. 如权利要求1-9任一所述的方法,其特征在于,所述将所述第一设备显示的所述第一内容投屏至所述第二设备,包括:
    所述第一设备对所述第一设备显示的所述第一内容进行录屏,将录屏数据发送给所述第二设备;或者,
    所述第一设备获取所述第一设备显示的所述第一内容的流媒体数据,将所述流媒体数据发送给所述第二设备;或者,
    所述第一设备获取所述第一设备显示的所述第一内容的内容相关信息,将所述内容相关信息发送给所述第二设备。
  11. 如权利要求1-10任一所述的方法,其特征在于,所述第一设备检测第一手势 操作,并对检测到的所述第一手势操作进行识别,包括:所述第一设备通过摄像组件,采集包含第一手势操作的图像,对采集的所述图像进行图像分析,得到手势识别结果;
    所述第二设备检测第一手势操作,并对检测到的所述第一手势操作进行识别,包括:
    所述第二设备通过摄像组件,采集包含第一手势操作的图像,对采集的所述图像进行图像分析,得到手势识别结果。
  12. 一种投屏系统,其特征在于,所述投屏系统包括第一设备和第二设备;
    所述第一设备,用于显示第一内容;检测第一手势操作,并对检测到的所述第一手势操作进行识别,其中所述第一手势操作为连续且移动的手势操作;
    所述第二设备,用于检测所述第一手势操作,并对检测到的所述第一手势操作进行识别,所述第二设备与所述第一设备建立通信连接;
    所述第一设备,还用于若识别到所述第一手势操作为投屏手势,则将所述第一设备显示的所述第一内容投屏至所述第二设备;
    所述第二设备,还用于若识别到所述第一手势操作为被投屏手势,则接收所述第一设备投屏的所述第一内容,并在所述第二设备上进行显示。
  13. 如权利要求12所述的投屏系统,其特征在于,
    所述第一设备,用于在所述第一手势操作移动的过程中,将所述第一内容从所述第一设备的显示屏幕的一侧逐渐移出,其中所述第一内容从所述第一设备的显示屏幕移出的比例和所述第一手势操作相对所述第一设备的移动距离相关联。
  14. 如权利要求12所述的投屏系统,其特征在于,
    所述第二设备,用于在所述第一手势操作移动的过程中,将所述第一内容从所述第二设备的显示屏幕的一侧逐渐移入,其中所述第一内容从所述第二设备的显示屏幕移入的比例和所述第一手势操作相对所述第二设备的移动距离相关联。
  15. 如权利要求13所述的投屏系统,其特征在于,
    所述第一设备,用于在所述第一手势操作移动的过程中,确定所述第一手势操作相对所述第一设备的移动距离;根据所述第一手势操作相对所述第一设备的移动距离,以及预先存储的所述第一手势操作相对所述第一设备的移动距离与所述第一内容从所述第一设备的显示屏幕移出的比例之间的映射关系,确定所述第一内容从所述第一设备的显示屏幕移出的比例,所述第一内容从所述第一设备的显示屏幕移出的比例是指所述第一内容从所述第一设备的显示屏幕中移出的部分占所述第一内容的整体部分的比例。
  16. 如权利要求14所述的投屏系统,其特征在于,
    所述第二设备,用于在所述第一手势操作移动的过程中,确定所述第一手势操作相对所述第二设备的移动距离;根据所述第一手势操作相对所述第二设备的移动距离,以及预先存储的所述第一手势操作相对所述第二设备的移动距离与所述第一内容从所述第二设备的显示屏幕移入的比例之间的映射关系,确定所述第一内容从所述第二设备的显示屏幕移入的比例,所述第一内容从所述第二设备的显示屏幕移入的比例是指所述第一内容从所述第二设备的显示屏幕中移入的部分占所述第一内容的整体部分的比例。
  17. 如权利要求12-16任一所述的投屏系统,其特征在于,
    所述第一设备,还用于将所述第一手势操作的识别结果发送给所述第二设备;
    所述第二设备,还用于接收所述第一设备发送的所述第一手势操作的识别结果。
  18. 如权利要求13-17任一所述的投屏系统,其特征在于,
    所述第一设备,还用于确定所述第一手势操作的移动方向;根据所述第一手势操作的移动方向,以及预先存储的所述第一手势操作的移动方向与所述第一设备的显示屏幕的各侧之间的映射关系,确定所述第一设备的显示屏幕中用于将所述第一内容移出的一侧。
  19. 如权利要求14-18任一所述的投屏系统,其特征在于,
    所述第二设备,还用于确定所述第一手势操作的移动方向;根据所述第一手势操作的移动方向,以及预先存储的所述第一手势操作的移动方向与所述第二设备的显示屏幕的各侧之间的映射关系,确定所述第二设备的显示屏幕中用于将所述第一内容移入的一侧。
  20. 如权利要求12-19任一所述的投屏系统,其特征在于,
    所述第一设备,还用于向所述第二设备发送握手请求,所述握手请求用于请求与所述第二设备建立通信连接;
    所述第二设备,还用于接收所述第一设备发送的所述握手请求,基于所述握手请求,向所述第一设备发送握手确认消息,所述握手确认消息用于指示成功建立所述第一设备与所述第二设备之间的通信连接;
    所述第一设备,还用于接收所述第二设备发送的所述握手确认消息;
    所述第一设备,用于通过所述通信连接,将所述第一设备显示的所述第一内容投屏至所述第二设备。
  21. 如权利要求12-20任一所述的投屏系统,其特征在于,
    所述第一设备,用于对所述第一设备显示的所述第一内容进行录屏,将录屏数据发送给所述第二设备;或者,获取所述第一设备显示的所述第一内容的流媒体数据,将所述流媒体数据发送给所述第二设备;或者,获取所述第一设备显示的所述第一内容的内容相关信息,将所述内容相关信息发送给所述第二设备。
  22. 如权利要求12-21任一所述的投屏系统,其特征在于,
    所述第一设备,用于通过摄像组件,采集包含第一手势操作的图像,对采集的所述图像进行图像分析,得到手势识别结果;
    所述第二设备,用于通过摄像组件,采集包含第一手势操作的图像,对采集的所述图像进行图像分析,得到手势识别结果。
PCT/CN2021/134117 2020-11-30 2021-11-29 投屏方法及系统 WO2022111701A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/254,998 US20240004603A1 (en) 2020-11-30 2021-11-29 Projection method and system
EP21897201.6A EP4235389A4 (en) 2020-11-30 2021-11-29 SCREEN PROJECTION METHOD AND SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011384624.XA CN114584817B (zh) 2020-11-30 2020-11-30 投屏方法及系统
CN202011384624.X 2020-11-30

Publications (1)

Publication Number Publication Date
WO2022111701A1 true WO2022111701A1 (zh) 2022-06-02

Family

ID=81754047

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/134117 WO2022111701A1 (zh) 2020-11-30 2021-11-29 投屏方法及系统

Country Status (4)

Country Link
US (1) US20240004603A1 (zh)
EP (1) EP4235389A4 (zh)
CN (1) CN114584817B (zh)
WO (1) WO2022111701A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120017147A1 (en) * 2010-07-16 2012-01-19 John Liam Mark Methods and systems for interacting with projected user interface
US20170285760A1 (en) * 2014-08-28 2017-10-05 Lg Electronics Inc. Apparatus for projecting image and method for operating same
CN111176431A (zh) * 2019-09-23 2020-05-19 广东小天才科技有限公司 一种音箱的投屏控制方法及音箱
CN111897507A (zh) * 2020-07-30 2020-11-06 Tcl海外电子(惠州)有限公司 投屏方法、装置、第二终端和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201235928A (en) * 2011-02-22 2012-09-01 Acer Inc Handheld devices, electronic devices, and data transmission methods and computer program products thereof
KR20170029900A (ko) * 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법
CN110719584B (zh) * 2019-09-02 2021-07-16 华为技术有限公司 近距离传输信息的方法和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120017147A1 (en) * 2010-07-16 2012-01-19 John Liam Mark Methods and systems for interacting with projected user interface
US20170285760A1 (en) * 2014-08-28 2017-10-05 Lg Electronics Inc. Apparatus for projecting image and method for operating same
CN111176431A (zh) * 2019-09-23 2020-05-19 广东小天才科技有限公司 一种音箱的投屏控制方法及音箱
CN111897507A (zh) * 2020-07-30 2020-11-06 Tcl海外电子(惠州)有限公司 投屏方法、装置、第二终端和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4235389A4

Also Published As

Publication number Publication date
EP4235389A1 (en) 2023-08-30
CN114584817A (zh) 2022-06-03
EP4235389A4 (en) 2024-05-08
US20240004603A1 (en) 2024-01-04
CN114584817B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
WO2021013158A1 (zh) 显示方法及相关装置
JP7142783B2 (ja) 音声制御方法及び電子装置
WO2021052147A1 (zh) 一种数据传输的方法及相关设备
WO2020177622A1 (zh) Ui组件显示的方法及电子设备
WO2021213164A1 (zh) 应用界面交互方法、电子设备和计算机可读存储介质
WO2021185244A1 (zh) 一种设备交互的方法和电子设备
WO2022068483A1 (zh) 应用启动方法、装置和电子设备
WO2022100304A1 (zh) 应用内容跨设备流转方法与装置、电子设备
WO2020238759A1 (zh) 一种界面显示方法和电子设备
WO2022033320A1 (zh) 蓝牙通信方法、终端设备及计算机可读存储介质
WO2021258809A1 (zh) 数据同步方法、电子设备和计算机可读存储介质
WO2022017393A1 (zh) 显示交互系统、显示方法及设备
CN112527174B (zh) 一种信息处理方法及电子设备
WO2022001619A1 (zh) 一种截屏方法及电子设备
WO2022001258A1 (zh) 多屏显示方法、装置、终端设备及存储介质
CN114040242A (zh) 投屏方法和电子设备
WO2022042769A2 (zh) 多屏交互的系统、方法、装置和介质
CN112130788A (zh) 一种内容分享方法及其装置
WO2023030099A1 (zh) 跨设备交互的方法、装置、投屏系统及终端
WO2021057699A1 (zh) 具有柔性屏幕的电子设备的控制方法及电子设备
WO2022143180A1 (zh) 协同显示方法、终端设备及计算机可读存储介质
WO2022135157A1 (zh) 页面显示的方法、装置、电子设备以及可读存储介质
WO2022166618A1 (zh) 一种投屏的方法和电子设备
WO2022063159A1 (zh) 一种文件传输的方法及相关设备
WO2022007707A1 (zh) 家居设备控制方法、终端设备及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21897201

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021897201

Country of ref document: EP

Effective date: 20230522

WWE Wipo information: entry into national phase

Ref document number: 18254998

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE