WO2022100237A1 - 投屏显示方法及相关产品 - Google Patents

投屏显示方法及相关产品 Download PDF

Info

Publication number
WO2022100237A1
WO2022100237A1 PCT/CN2021/116478 CN2021116478W WO2022100237A1 WO 2022100237 A1 WO2022100237 A1 WO 2022100237A1 CN 2021116478 W CN2021116478 W CN 2021116478W WO 2022100237 A1 WO2022100237 A1 WO 2022100237A1
Authority
WO
WIPO (PCT)
Prior art keywords
projected
screen
image
input operation
information
Prior art date
Application number
PCT/CN2021/116478
Other languages
English (en)
French (fr)
Inventor
杨俊拯
邓朝明
Original Assignee
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司 filed Critical Oppo广东移动通信有限公司
Publication of WO2022100237A1 publication Critical patent/WO2022100237A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

本申请公开了一种投屏显示方法及相关产品,该方法包括:电子设备显示编辑界面窗口,编辑界面窗口包括第一区域和第二区域,第一区域中显示第一画面;然后响应于针对第一画面的至少一次第一输入操作,从第一画面中选取至少一次第一输入操作对应的待投屏画面列表;在第二区域中显示第二画面,并响应于第二区域内的至少一次第二输入操作,将第二画面编辑成投屏画面;最后发送该投屏画面,以在目的设备运行的第一应用中显示投屏画面。该方法可以将源设备上目标应用的界面图画截取出一张或多张待投屏画面,并将一张或多张待投屏画面进行重新布局,以可以显示到目的设备,从而使得应用画面可以适应多种电子设备的屏幕尺寸,方便使用,提高了用户体验。

Description

投屏显示方法及相关产品 技术领域
本申请涉及电子技术领域,尤其涉及一种投屏显示方法及相关产品。
背景技术
投屏是指将设备A的显示图像投屏至设备B中,使设备B也能够同步显示设备A的显示图像。通过投屏技术可以将显示屏较大的设备(例如电视、车载多媒体显示屏)的显示图像,投射至小屏显示设备上(例如手机、平板电脑),从而进行数据同步,以及便于与多人分享显示图像。
发明内容
本申请实施例提供一种投屏显示方法及相关产品。
第一方面,本申请实施例提供一种投屏显示方法,应用于电子设备,所述方法包括:
显示编辑界面窗口,所述编辑界面窗口包括第一区域和第二区域,所述第一区域中显示第一画面,所述第一画面为源设备上运行的目标应用中的目标画面;
响应于针对所述第一画面的至少一次第一输入操作,从所述第一画面中选取所述至少一次第一输入操作对应的待投屏画面列表,所述待投屏画面列表包括至少一张待投屏画面;
在第二区域中显示第二画面,所述第二画面包括所述待投屏画面列表;
响应于所述第二区域内的至少一次第二输入操作,将所述第二画面编辑成投屏画面;
发送所述投屏画面,以在目的设备运行的所述第一应用中显示所述投屏画面。
第二方面,本申请实施例提供一种投屏显示装置,应用于电子设备,所述装置包括:
显示单元,用于显示编辑界面窗口,所述编辑界面窗口包括第一区域和第二区域,所述第一区域中显示第一画面,所述第一画面为源设备上运行的目标应用中的目标画面;
选取单元,用于响应于针对所述第一画面的至少一次第一输入操作,从所述第一画面中选取所述至少一次第一输入操作对应的待投屏画面列表,所述待投屏画面列表包括至少一张待投屏画面;
所述显示单元,还用于在第二区域中显示第二画面,所述第二画面包括所述待投屏画面列表和/或外部投屏画面列表;
编辑单元,用于响应于所述第二区域内的至少一次第二输入操作,将所述第二画面编辑成投屏画面;
收发单元,用于发送所述投屏画面,以在目的设备运行的所述第一应用中显示所述投屏画面。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的一种电子设备的结构示意图;
图1b是本申请实施例提供的一种电子设备的软件结构示意图;
图2a是本申请实施例提供的一种投屏系统的结构示意图;
图2b是本申请实施例提供的另一种投屏系统的结构示意图;
图2c是本申请实施例提供的另一种投屏系统的结构示意图;
图3是本申请实施例提供的一种投屏显示方法的流程示意图;
图4a是本申请实施例提供的一种源设备上的目标画面的示意图;
图4b是本申请实施例提供的一种投屏应用选择的示意图;
图4c是本申请实施例提供的一种投屏画面选择的示意图;
图5a是本申请实施例提供的一种编辑界面窗口的示意图;
图5b是本申请实施例提供的另一种编辑界面窗口的示意图;
图6a是本申请实施例提供的一种选取待投屏画面的示意图;
图6b是本申请实施例提供的另一种选取待投屏画面的示意图;
图6c是本申请实施例提供的另一种选取待投屏画面的示意图;
图6d是本申请实施例提供的另一种选取待投屏画面的示意图;
图6e是本申请实施例提供的另一种选取待投屏画面的示意图;
图7a是本申请实施例提供的一种移动待投屏画面的示意图;
图7b是本申请实施例提供的一种旋转待投屏画面的示意图;
图7c是本申请实施例提供的一种外部待投屏画面增加界面的示意图;
图7d是本申请实施例提供的一种增加待投屏画面的示意图;
图7e是本申请实施例提供的一种层级设置待投屏画面的示意图;
图7f是本申请实施例提供的一种投屏设置界面的示意图;
图7g是本申请实施例提供的一种目的设备设置界面的示意图;
图7h是本申请实施例提供的一种源设备投屏到目的设备的示意图;
图8a是本申请实施例提供的一种目的设备控制源设备的示意图;
图8b是本申请实施例提供的一种源设备控制目的设备的示意图;
图9a是本申请实施例提供的另一种的投屏系统的结构示意图;
图9b是本申请实施例提供的另一种的投屏系统的结构示意图;
图10是本申请实施例提供的一种投屏显示装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为了更好地理解本申请实施例的方案,下面先对本申请实施例可能涉及的相关术语和概念进行介绍。
本申请实施例的投屏是一种将设备上运行的应用的画面或内容投射到另一设备的显示屏或显示介质上进行显示的技术,是典型的信息同步方式。其中,本申请实施例将投射其应用的画面的设备称为源设备,而将接收其应用的画面并显示的设备称为目的设备。
在本实施例中,源设备和目的设备需要预先建立通信连接,通信连接的方式包括有线连接和无线连接,例如可以通过蓝牙、wifi、或者通用串行总线等方式实现,本实施例对此不作具体限定,可以根据源设备和目的设备均支持的功能进行适应性选择。根据具体应用场景的不同,目的设备可以灵活确定, 例如在行车场景中,目的设备可以是车载设备;在家居生活场景中,目的设备可以是智能电视等家居设备。
本申请所涉及的投屏可以包括有线投屏和无线投屏。其中,有线投屏可以通过高清多媒体接口(high definition multimedia interface,HDMI)、通用串行总线(universal serial bus,USB)接口等建立源设备与目的设备之间的有线连接以传输媒体数据;无线投屏可以通过数字生活网络联盟(digistal living network alliance,DLNA)协议、无线显示分享(Miracast)或隔空播放(AirPlay)协议建立源设备与目的设备之间的有线连接以传输媒体数据。
示例性的,在投屏时,源设备可以把当前视频播放器的用户图像通过数据编码压缩之后发送到目的设备,目的设备解码之后对该用户图像重新布局后在其显示屏上显示投屏内容;或者源设备可以把当前视频播放器的用户图像重新布局,并将重新布局后的用户图像通过数据编码压缩之后发送到目的设备,目的设备解码之后在其显示屏上显示投屏内容;或者源设备可以把当前视频播放器的用户图像通过数据编码压缩之后发送到开发设备,开发设备对用户图像进行重新布局,并将重新布局后的用户图像通过数据编码压缩之后发送到目的设备,目的设备解码之后在其显示屏上显示投屏内容。为表述方便,本申请实施例可以将投屏目的设备的显示屏上显示的投屏内容称为投屏源设备的投屏内容的镜像。
本申请实施例提供了一种投屏显示方法,可以应用于第一设备,具体地,第一设备可以是源设备、目的设备,也可以是开发设备。具体地,该方法可以将源设备上目标应用的目标画面截取出一张或多张待投屏画面,并将一张或多张待投屏画面进行重新布局,以可以显示到目的设备,从而使得应用画面可以适应多种电子设备的屏幕尺寸,方便使用,提高了用户体验。
本申请实施例提供的投屏显示方法可以应用于电子设备,电子设备可以是手持设备、车载设备、可穿戴设备、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、投影设备、投影仪或者连接到无线调制解调器的其他设备,也可以是各种具体形式的用户设备(user equipment,UE)、终端设备(terminal device)、手机(smart phone)、智慧屏、智慧电视、智能手表、笔记本电脑、智能音响、摄像头、游戏手柄、麦克风、站点(station,STA)、接入点(access point,AP)、移动台(mobile Station,MS)、个人数字助理(personal digital assistant,PDA)、个人计算机(personal computer,PC)或者中继设备等。
示例性的,以智能手表和手机这两种电子设备为例。当智能手表和手机通过无线通信技术(如蓝牙、无线保真、紫蜂、近场通信等)或数据线(如USB数据线)连接时,通过投屏技术,手机作为源设备将其运行的应用的画面投屏到智能手表的显示屏上,此时智能手表作为目的设备;或者,智能手表作为源设备将其运行的应用的画面投屏到手机的显示屏上,此时手机作为目的设备。
本申请实施例中进行投屏的源设备和目的设备之间可以直接连接,例如通过蓝牙、WiFi等实现两个电子设备之间的直接连接;或者,两个电子设备之间也可以通过分别与其他电子设备例如云端服务器连接从而实现间接连接。在投屏的过程中,两个电子设备之间的连接可以在直接连接和间接连接之间进行切换,本申请实施例不作限定。
本申请实施例中的应用程序界面是应用程序与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。应用程序界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。界面中可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、微件(Widget)等可视的界面元素。
示例性的,图1a示出了电子设备100的结构示意图。以电子设备是手机为例,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,USB接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及SIM卡接口195等。其中传感器模块180可以包括陀螺仪传感器180A,加速度传感器180B,气压传感器180C,磁传感器180D,环境光传感器180E,接近光传感器180G、指纹传感器180H,温度传感器180J,触摸传感器180K(当然,电子设备100还可以包括其它传感器,比 如温度传感器,压力传感器、距离传感器、骨传导传感器等,图中未示出)。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
处理器110可以运行本申请实施例提供的投屏方法,以便于丰富投屏功能,提升投屏的灵活度,提升用户的体验。处理器110可以包括不同的器件,比如集成CPU和GPU时,CPU和GPU可以配合执行本申请实施例提供的投屏方法,比如投屏方法中部分算法由CPU执行,另一部分算法由GPU执行,以得到较快的处理效率。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。显示屏194可用于显示由用户输入的信息或提供给用户的信息以及各种图形用户界面(graphical user interface,GUI)。例如,显示器194可以显示照片、视频、网页、或者文件等。再例如,显示器194可以显示图形用户界面。其中图形用户界面上包括状态栏、可隐藏的导航栏、时间和天气小组件(widget)、以及应用的图标,例如浏览器图标等。状态栏中包括运营商名称(例如中国移动)、移动网络(例如4G)、时间和剩余电量。导航栏中包括后退(back)键图标、主屏幕(home)键图标和前进键图标。此外,可以理解的是,在一些实施例中,状态栏中还可以包括蓝牙图标、Wi-Fi图标、外接设备图标等。还可以理解的是,在另一些实施例中,图形用户界面中还可以包括Dock栏,Dock栏中可以包括常用的应用图标等。当处理器检测到用户的手指(或触控笔等)针对某一应用图标的触摸事件后,响应于该触摸事件,打开与该应用图标对应的应用的用户界面,并在显示器194上显示该应用的用户界面。
在本申请实施例中,显示屏194可以是一个一体的柔性显示屏,也可以采用两个刚性屏以及位于两个刚性屏之间的一个柔性屏组成的拼接显示屏。当处理器110运行本申请实施例提供的投屏方法后,处理器110可以控制外接的音频输出设备切换输出的音频信号。
摄像头193(前置摄像头或者后置摄像头,或者一个摄像头既可作为前置摄像头,也可作为后置摄像头)用于捕获静态图像或视频。通常,摄像头193可以包括感光元件比如镜头组和图像传感器,其中,镜头组包括多个透镜(凸透镜或凹透镜),用于采集待拍摄物体反射的光信号,并将采集的光信号传递给图像传感器。图像传感器根据所述光信号生成待拍摄物体的原始图像。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,应用程序(比如相机应用,微信应用等)的代码等。存储数据区可存储电子设备100使用过程中所创建的数据(比如相机应用 采集的图像、视频等)等。
内部存储器121还可以存储本申请实施例提供的投屏方法对应的一个或多个计算机程序。该一个或多个计算机程序被存储在上述存储器211中并被配置为被该一个或多个处理器110执行,该一个或多个计算机程序包括指令,该计算机程序可以包括帐号验证模块、优先级比较模块。其中,帐号验证模块,用于对局域网内的其它终端设备的系统认证帐号进行认证;优先级比较模块,可用于比较音频输出请求业务的优先级和音频输出设备当前输出业务的优先级。状态同步模块,可用于将终端设备当前接入的音频输出设备的设备状态同步至其它终端设备,或者将其它设备当前接入的音频输出设备的设备状态同步至本地。当内部存储器121中存储的投屏方法的代码被处理器110运行时,处理器110可以控制发送端进行投屏数据处理。
此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
当然,本申请实施例提供的投屏方法的代码还可以存储在外部存储器中。这种情况下,处理器110可以通过外部存储器接口120运行存储在外部存储器中的投屏方法的代码,处理器110可以控制发送端进行投屏数据处理。
陀螺仪传感器180A,可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180A确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。即陀螺仪传感器180A可以用于检测电子设备100当前的运动状态,比如抖动还是静止。
当本申请实施例中的显示屏为可折叠屏时,陀螺仪传感器180A可用于检测作用于显示屏194上的折叠或者展开操作。陀螺仪传感器180A可以将检测到的折叠操作或者展开操作作为事件上报给处理器110,以确定显示屏194的折叠状态或展开状态。
加速度传感器180B可检测电子设备100在各个方向上(一般为三轴)加速度的大小。即陀螺仪传感器180A可以用于检测电子设备100当前的运动状态,比如抖动还是静止。当本申请实施例中的显示屏为可折叠屏时,加速度传感器180B可用于检测作用于显示屏194上的折叠或者展开操作。加速度传感器180B可以将检测到的折叠操作或者展开操作作为事件上报给处理器110,以确定显示屏194的折叠状态或展开状态。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。手机通过发光二极管向外发射红外光。手机使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定手机附近有物体。当检测到不充分的反射光时,手机可以确定手机附近没有物体。当本申请实施例中的显示屏为可叠屏时,接近光传感器180G可以设置在可折叠的显示屏194的第一屏上,接近光传感器180G可根据红外信号的光程差来检测第一屏与第二屏的折叠角度或者展开角度的大小。
陀螺仪传感器180A(或加速度传感器180B)可以将检测到的运动状态信息(比如角速度)发送给处理器110。处理器110基于运动状态信息确定当前是手持状态还是脚架状态(比如,角速度不为0时,说明电子设备100处于手持状态)。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
示例性的,电子设备100的显示屏194显示主界面,主界面中包括多个应用(比如相机应用、微信应用等)的图标。用户通过触摸传感器180K点击主界面中相机应用的图标,触发处理器110启动相机应用,打开摄像头193。显示屏194显示相机应用的界面,例如取景界面。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。在本申请实施例中,移动通信模块150还可以用于与其它终端设备进行信息交互,即向其它终端设备发送投屏相关数据,或者移动通信模块150可用于接收投屏请求,并将接收的投屏请求封装成指定格式的消息。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。本申请实施例中,无线通信模块160,用于与接收端建立连接,通过接收端显示投屏内容。或者无线通信模块160可以用于接入接入点设备,向其它终端设备发送投屏请求对应的消息,或者接收来自其它终端设备发送的音频输出请求对应的消息。
另外,电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。电子设备100可以接收按键190输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。电子设备100可以利用马达191产生振动提示(比如来电振动提示)。电子设备100中的指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。电子设备100中的SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。
应理解,在实际应用中,电子设备100可以包括比图1a所示的更多或更少的部件,本申请实施例不作限定。图示电子设备100仅是一个范例,并且电子设备100可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
示例性的,图1b示出了电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。 应用程序层可以包括一系列应用程序包。
如图1b所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图1b所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
其中在投屏的使用过程中,由于设备A和设备B的显示屏幕尺寸大小以及功能的差异,将设备A的界面直接显示在设备B上,又会面临着显示效果差的问题,而且这种直接显示可能导致在设备B上不能够执行设备A的操作。
为了解决上述问题,本申请提出了一种投屏显示方法,将源设备上目标应用的目标画面截取出一张或多张待投屏画面,并将一张或多张待投屏画面进行重新布局,以可以显示到目的设备,从而使得应用画面可以适应多种电子设备的屏幕尺寸,方便使用,提高了用户体验。
示例性的,本申请实施例的技术方案可以应用于如图2a所示的投屏系统20。其中,投屏系统20可以包括源设备210和目的设备220。其中,源设备210可以包括电子设备210A、电子设备210B和电子设备210C,目的设备220可以包括电子设备220A、电子设备220B和电子设备220C。同时,源设备210与目的设备220之间可以通过无线网络或有线数据相互通信连接。
具体的,源设备210与目的设备220可以为同一个用户账号下的设备。例如,当用户使用同一个用户账号登录手机、台式电脑、智慧屏、笔记本电脑、中继设备和智能手表时,该源设备210和/或目的设备220可以为手机、台式电脑、智慧屏、笔记本电脑、中继设备和智能手表,并且该手机、台式电脑、智慧屏、笔记本电脑、中继设备和智能手表之间可以通过无线网络互相通信。
具体的,该源设备210与目的设备220可以通过中继设备(如路由器)连接到同一个WLAN网络中。例如,当用户将手机、台式电脑、智慧屏、笔记本电脑和智能手表接入由中继设备提供的Wi-Fi网络时,源设备210与目的设备220可以包括该手机、台式电脑、智慧屏、笔记本电脑、中继设备和智能手表,并且该手机、台式电脑、智慧屏、笔记本电脑、中继设备和智能手表形成一个WLAN网络,从而WLAN网络内的各个设备之间可以通过中继设备实现相互通信。
进一步的,源设备可将其运行的应用的当前画面投屏至目的设备中显示。另外,当目的设备需要同时显示由多个源设备投屏的镜像时,目的设备可以通过分屏方式来同时显示。例如,电子设备210A向电子设备220A和电子设备220B进行投屏,并且电子设备210B向电子设备220B和电子设备220C进行投屏。此时,电子设备220B可以通过分屏方式来同时显示来自电子设备210A和电子设备210B的投屏镜像。
应理解,投屏通信系统30还可以包括其他数量的电子设备,在此不作具体限定。
示例性地,本申请实施例的技术方案可以应用于如图2b所示的投屏系统30。其中,投屏系统30可以包括源设备210、目的设备220和云端设备230。该源设备210和目的设备220可以为同一个用户账号下的设备,云端设备230可以存储源设备210和目的设备220上传的应用布局信息和/或外部资源列表。源设备210或目的设备220可以在进行投屏时从云端设备230获取应用布局信息和/或外部资源列表进行投屏显示。
示例性地,本申请实施例的技术方案可以应用于如图2c所示的投屏系统30。其中,投屏系统30可以包括源设备210、目的设备220、云端设备230和开发设备240。该源设备210和目的设备220可以为同一个用户账号下的设备,开发设备240可以用于开发应用布局和外部资源信息列表,并将开发出的应用布局上传至云端设备230,从而源设备210或目的设备220在进行投屏是可以从云端设备230获取应用布局进行投屏显示。
请参阅图3,图3是本申请实施例提供了一种投屏显示方法的流程示意图,应用于如图1a所示的电子设备,如图3所示,本投屏显示方法包括以下操作。
S310、显示编辑界面窗口,编辑界面窗口包括第一区域和第二区域,第一区域中显示第一画面,第一画面为源设备上运行的目标应用中的目标画面。
其中,电子设备在接收到投屏指令时,可以启动投屏功能并执行A410的操作。其中,投屏指令可以是用户或第三方设备输入的,也可以是电子设备主动生成的。具体需由实际应用场景确定。
在本申请实施例中,以应用程序(以下简称应用)为对象进行投屏。源设备在进行投屏前,需要确定本次需要进行投屏的目标应用。在本申请实施例中,可以参考以下几种方式进行待投屏应用的确认:
1、电子设备启动投屏功能后,可以将启动投屏功能时刻当前用户界面显示的应用确定为目标应用,以满足用户的个性化投屏需求。示例性地,如图4a所示,电子设备为手机,且手机的当前页面显示为音乐播放器,当启动投屏功能时,将音乐播放器确定为目标应用,并在当前页面显示弹窗进行确认。
2、由技术人员或用户预先设置好默认投屏的一个或多个应用,电子设备在启动投屏功能后,将默认投屏的应用设置为此次投屏的应用。在满足用户个性化投屏需求的基础上,用户无需每次都进行应用选取,使操作更加便捷。示例性地,如图4b所示,电子设备为手机,当启动投屏功能时,在当前界面显示弹窗,该弹窗中可以包括预先设置好默认投屏的一个或多个应用,用户可以在弹窗中进行默认应用选取。在此基础上,下一次启动投屏功能时,即可根据用户设置的默认应用进行待投屏应用选取。
3、在上述方式2设置默认投屏应用的基础上,用户亦可以在电子设备启动投屏功能后,在次在当前界面显示包括预先设置好默认投屏的一个或多个应用的弹窗,用户可以选择每次投屏的目标应用。在方式2的基础上,方式3使得用户可以更为灵活地控制每一次投屏的应用情况。
4、发送端按照一定的预设规则,自行选取一个或多个目标应用。在方式4中,技术人员可以预先设置一些应用选取规则,如可以设置为将运行中且支持投屏的应用均选取为目标应用。在启动投屏功能后,根据该预设规则来进行目标应用的自动选取。
实际应用中,可以参考上述4种方式中的任意一种进行目标应用的确认。亦可以由技术人员根据实际应用场景需求,设置其他的目标应用确认方法。此处不对目标应用的确认方法做过多限定。
进一步地,在确认了本次投屏的目标应用后,还需要确定目标应用中的目标画面。在本申请实施例中,可以参考一下几种进行目标画面的确定:
1、若目标用户确认为当前用户界面显示的应用,则可以将启动投屏功能时刻当前用户界面显示的画面确定为目标画面。例如,如图4a所示,假设电子设备为手机,且手机的当前页面显示为音乐播放器,因此将当前播放的音乐的画面确定为目标画面。
2、若确定的目标应用为当前在后台运行的应用,则可以将目标应用在用户界面最后显示的画面确定为目标画面。例如,假设电子设备为手机,确定的目标应用为在后台运行的音乐播放器,若该音乐播放器在用户界面显示的最后画面为如图4a所示,则将图4a的画面确认为目标画面。
3、由技术人员或用户预先设置好默认目标应用的一个或多个投屏画面,在启动投屏功能后,将默认投屏画面设置为此次投屏的目标画面。例如,亦可以参考图4c,假设电子设备为手机。此时用户可以在投屏功能启动前手动进入“投屏画面选择”界面,并进行默认投屏画面选取。在此基础上,下一次启动投屏功能时,可根据用户设置的默认投屏画面进行目标画面选取,也可以再次进入“投屏画面选择”界面修改当次投屏的画面。
4、按照一定的预设规则,自行选取一个或多个待投屏画面。在方式4中,技术人员可以预先设置一些画面选取规则,如可以设置显示目标应用信息和可用于投屏的画面均选取为待投屏画面。在启动投屏功能后,根据该预设规则来进行待投屏画面的自动选取。例如,目标应用为音乐播放器时,可以设置选取目标画面的规则为当前播放歌曲的控制画面,如图4c所示的界面。
实际应用中,可以参考上述4种方式中的任意一种进行目标画面的确认。亦可以由技术人员根据实际应用场景需求,设置其他的目标画面确认方法。此处不对目标画面的确认方法做过多限定。
在本申请实施例中,编辑界面窗口用于制作投屏画面的应用布局。所述编辑界面窗口包括第一区域和第二区域,第一区域用于显示从源设备上获取的目标应用中的目标画面,第二区域用于对待投屏画面进行应用布局操作,该第二区域可以包括用于显示至少一个界面布局对应的操作图标的第一显示区域以及用于显示待投屏画面或投屏画面的第二显示区域,该操作图标包括以下至少一项:旋转、移动、缩放、删除、添加、层级设置等等,可以根据用户选择的操作图标确定待投屏画面的布局操作。
可选的,所述编辑界面窗口还包括第三区域,所述第三区域包括至少一个选取形状所对应的形状图标。该形状图标可以包括以下至少一项:矩形、圆形、椭圆形、三角形、五角形、六角形、任意形状等等。示例性地,待投屏画面的形状选择可以通过AI来自动选取。
示例性地,如图5a所示,所述编辑界面窗口包括APP栏、布局栏和工具栏。具体地,如图5b所示,目标应用为音乐播放器,APP栏用于显示源设备音乐播放器的目标画面。布局栏包括用于显示至少一个操作图标的第一显示区域,以及用于显示至少一张外部投屏画面、一个或多个待投屏画面或投屏画面的第二显示区域,用户可以从第一显示区域中选取操作图标对应的布局操作来对第二显示区域中的待投屏画面进行应用布局操作。工具栏包括至少一个形状图标,可以根据用户选择的形状图标,确定待投屏画面的形状。
可选的,所述电子设备可以为源设备或目的设备。电子设备也可以为开发设备。
由于编辑界面窗口可以位于源设备,也可以位于目的设备,还可以位于开发设备,因此本申请可以有三种方式来投屏画面。第一种方式是:源设备可以把采集的目标应用的目标画面原封不动或把选中的部分画面重新进行应用布局合成一张图片传输带编码模块,由编码模块编码后传输给目的设备,目的设备解码后可以直接进行投屏显示。第二种方式是:源设备直接把采集的目标应用的目标画面编码后直接发送给目的设备,目的设备解压缩后再对目标画面的全部或选中的部分画面重新进行应用布局后进行投 屏显示。第三种方式是:源设备可以直接把采集的目标应用的目标画面编码后直接发送给开发设备,开发设备对目标画面进行应用布局、编码后发送给目的设备,目的设备解码后可以直接进行投屏显示。其中,第一种方式是在源设备上进行应用布局,第二种方式是在目的设备上进行应用布局,第三种方式是在第三方设备上进行应用布局。由于应用布局的过程会消耗一定的资源,因此如果源设备和目的设备的运算能力不同,倾向于把应用布局的过程放在运算能力强的设备上;另外如果在源设备上进行应用布局,那么编码和传输的内容会比原始画面小,这样可以节省网络带宽和编解码速度,这在特定的场景也是很重要的因素;源设备或目的设备上未设置编辑界面窗口时,可以在第三方设备上进行应用布局,源设备或目的设备准备跨端使用应用是可以调用第三方设备进行应用布局,这样可以不用在源设备或目的设备上安装编辑界面窗口。因此实际的过程中,会综合考虑具体的场景,自动做出决策。
具体地,当电子设备为源设备时,源设备在接收到投屏指令时,启动投屏操作流程,在用户界面显示编辑界面窗口,并将从源设备上的目标应用中的目标画面显示于编辑界面窗口的第一区域中。当电子设备为目的设备时,目的设备在接收到投屏指令时,启动投屏操作流程,接收源设备发送的目标画面,在用户界面显示编辑界面窗口,并将接收的目标画面显示于编辑界面窗口的第一区域中。
S320、响应于针对第一画面的至少一次第一输入操作,从第一画面中选取至少一次第一输入操作对应的待投屏画面列表,待投屏画面列表包括至少一张待投屏画面。
在本申请实施例中,在进行画面投屏时,由于源设备和目的设备的屏幕参数(例如屏幕大小、屏幕分辨率、支持触屏操作等)可能不同,因此可以由用户从目标画面中选取部分画面进行投屏。
示例性地,该第一输入操作可以是用户手指在第一画面上的滑动操作或者其他触摸操作,或者,该第一输入操作可以是用户指关节在第一画面上的滑动操作或者其他触摸操作,例如如图6a示出的用户滑动一个封闭的圆形,或者如图6b示出的不封闭的“C”形等其他可以的形状,本申请对用户的第一输入操作不做限定。
可选的,所述响应于针对第一画面的至少一次第一输入操作,从所述第一画面中选取每次所述第一输入操作对应的待投屏画面列表,包括:响应于针对所述第三区域中所述形状图标的第三输入操作,确定所述待投屏画面列表中每张待投屏画面的选取形状;确定每次所述第一输入操作对应的选取区域;在所述第一画面的所述选取区域中以所述选取形状选取所述待投屏画面,得到所述待投屏画面列表。
其中,在第一画面中可以包括多个功能区域,每个功能区域用于实现不同的功能。例如,如图4a所示的音乐播放画面,该音乐播放画面中的功能区域包括:歌名显示功能、返回功能、分享功能、歌词显示功能、收藏功能、下载功能、评论功能、播放时间调节功能、循环设置功能、上一曲选择功能、播放功能、下一曲选择功能和歌曲列表查看功能。
具体地,用户选择需要显示到目的设备的待投屏画面时,用户可以通过点击第三区域中的形状图标来选择从第一画面中截取待投屏画面的形状。然后用户可以在第一画面上通过手势选择选择一张或多张待投屏画面,并将该一张或多张待投屏画面以选择的形状显示于第二区域中的第二显示区域中。示例性地,在第一画面上,用户可以根据目的设备的显示屏幕大尺寸大小和自己对界面上的功能使用需求,在第一画面上选择需要显示到目的设备的功能区域。例如,如图6c示,用户在工具栏中选择矩形的形状图标,选中的形状图标为“矩形”,在第一画面上选择虚线框示出的区域,可以理解为用户选定了上一曲选择功能、播放功能和下一曲选择功能。选择该虚线框示出的区域的操作可以是用户沿着该虚线框示出的区域的对角线的两个位置坐标的滑动操作,例如图中示出的从虚线框的左上角起始坐标位置1,滑动到该区域的右下角的坐标位置2处的滑动操作,或者从虚线框的右下角起始坐标位置2,滑动到该区域的左上角的坐标位置1处的滑动操作,本申请对此不做限定。
需要说明的是,支持触屏操作的电子设备可以通过手势的滑动操作来选择待投屏画面,对于不支持触屏操作的电子设备,例如台式电脑、笔记本电脑等,可以通过鼠标的点击滑动操作来选择待投屏画面,对于不支持触屏操作且远程操作的电子设备,例如,智能电视机、智能音箱等,可以通过对预先设置的功能区域的选取来选择待投屏画面。
示例性地,在APP栏拖拽鼠标,可以出现选中的形状图标对应的形状,在第一画面中选中合适的 位置所对应的功能区域,功能区域选择结束时放开鼠标。当工具栏中选中的形状被选中时,用户在App栏中的操作会被拦截,不会被重定向系统捕获来操作内容的选取。
示例性地,用户可以从第一画面中选择一张或多张待投屏画面,每张待投屏画面的截取形状可以相同,也可以不同。具体用户可以通过一次选择的形状图标对应的形状从第一画面中截取多张待投屏画面,例如,如图6d所示,用户选择的形状图标为矩形,选择的功能区域为第一功能区域和第二功能区域,该第一功能区域和第二功能区域分别以矩形的形状分别显示于布局栏的第二显示区域中。用户也可以在截取待投屏画面之前先选择待投屏画面的截取形状,例如,如图6e所示,用户第一选择的形状图标为圆形,选择的功能区域为第一功能区域;第二次选择的形状图标为矩形,选择的功能区域为第二功能区域,该第一功能区域以圆形的形状显示于布局栏的第二显示区域中,第二功能区域以矩形的形状显示于布局栏的第二显示区域中。
S330、在第二区域中显示第二画面,所述第二画面包括所述待投屏画面列表。
其中,用户从第一画面截取的一张或多张待投屏画面可以以选择的形状显示于第二区域的第二显示区域中。第二区域中的第二显示区域以图片列表的形式显示待投屏画面。
可选的,所述第二画面还可以包括外部投屏画面列表,所述外部投屏画面列表包括用户导入的至少一张外部投屏画面。
其中,电子设备还可以从云端设备或本地获取外部资源列表,该外部资源列表可以包括但不限于:背景图片、logo图片、待投屏图片。用户可以通过第二区域中第一显示区域中的用于的“增加”操作图标来增加一张或多张外部投屏画面于第二显示区域中图片列表中。
需要说明的是,由于外部投屏画面不是来源于源设备中目标应用中的画面,因此外部投屏画面只用户美化待投屏画面,使投屏画面在目的设备上展现更美观,满足用户需求,其不包括功能显示区域。
S340、响应于所述第二区域内的至少一次第二输入操作,将所述第二画面编辑成投屏画面。
在本申请实施例中,用户可以对其截取的待投屏画面进行应用布局操作,改变源设备上目标画面原有的显示和布局,使得投屏画面可以实现不同设备之间的适配。此外,适配的投屏画面可以在不改变原有应用的基础上做自定义的外观设计,可以使用外部待投屏画面来美化待投屏画面,使得投屏画面在目的设备上展现更美观。
示例性地,该第二输入操作可以是用户手指在界面上的触摸操作或者其他触摸操作,或者,该第二输入操作可以是用户指关节在界面上的触摸操作或者其他触摸操作,本申请对用户的第二输入操作不做限定。
需要说明的是,支持触屏操作的电子设备可以通过触摸操作来选择待投屏画面,对于不支持触屏操作的电子设备,例如台式电脑、笔记本电脑等,可以通过鼠标的点击操作来选择待投屏画面,对于不支持触屏操作且远程操作的电子设备,例如,智能电视机、智能音箱等,可以通过对预先设置的功能区域的选取来选择待投屏画面。
在一种可能的实施例中,所述方法还包括:获取所述待投屏画面列表中每张待投屏画面在所述源设备中的第一信息,所述第一数据信息包括以下至少一项:位置、大小、形状;获取所述目的设备的第二信息,所述第二信息包括以下至少一项:界面大小、投屏画面的显示位置、投屏画面的缩放比例、投屏画面的旋转方向;获取所述外部投屏画面列表中每张外部投屏画面的第三信息,所述第三信息包括位置和/或大小。
其中,每个截取的待投屏画面有针对源设备上的目标应用的信息,如该截取的待投屏画面在源设备上的显示界面的位置信息、形状、大小、高度、实现的功能等,例如该待投屏画面在源设备的显示界面上的左上角起始点的坐标信息和右上角起始点的坐标信息,该待投屏画面在源设备的显示界面上的显示宽度和高度。每个截取的待投屏画面也有针对目的设备上的目标应用的信息,如目的设备的界面大小、高度、投屏显示的位置信息、该截取的待投屏画面在目的设备上的目标应用中所处的位置信息,以及该待投屏画面在目的设备上的缩放和旋转信息,例如,该待投屏画面在目的设备的显示界面上的左上角起始点的坐标信息和右上角起始点的坐标信息,该待投屏画面在目的设备的显示界面上的显示宽度和高 度。进一步地,电子设备也可以从云端设备或本地获取外部投屏画面的信息,例如,外部投屏画面的大小、高度、来源、形状、位置等。
可选的,所述响应于所述第二区域内的至少一次第二输入操作,将所述第二画面编辑成投屏画面,包括:获取所述至少一次第二输入操作对应的操作图标;根据所述操作图标,确定所述第二画面的界面布局信息;根据所述界面布局信息和参数信息,将所述第二画面编辑成所述投屏画面,所述参数信息包括所述第一信息、所述第二信息、所述第三信息中的至少一项。
电子设备获取每一个待投屏画面的上述信息,用于在应用布局的过程中,提取每一个待投屏画面的上述信息,实现对待投屏画面的应用布局操作。
其中,用户可以操作第二区域中的操作图标对任一待投屏画面和/或外部投屏画面进行移动、旋转、缩放、删除、增加、层级设置等。例如,用户本次重新制定应用布局,并将该目标应用的应用布局对应的界面布局信息发送给向云端设备,或存储于本地。下一次设置时可以直接从本地或云端设备获取该界面布局信息直接对待投屏画面进行应用布局,无需每次都进行应用布局的操作过程,使操作更加便捷。示例性地,用户可以通过删除图标、增加图标或其他图标在原先的应用布局上对待投屏画面进行进一步的美化,例如,导入外部待投屏图片作为背景图片,删除多张待投屏图片中一张待投屏图片,将待投屏图片旋转180度。
具体地,如图6d所示,布局栏的第二显示区域中显示有两张待投屏画面,在用户需要对待投屏画面进行移动以调整该两张待投屏画面的排列顺序时,用户可以在布局栏的第一显示区域触摸“移动”所对应的操作图标,以触发移动操作的功能。当“移动”所对应的图标选中后,用户可以移动第二显示区域中的该两张待投屏画面的排列顺序,图7a是用户执行图6d图中的“移动”对应的操作图标后显示的投屏画面。在用户需要对待投屏画面进行旋转以调整该两张待投屏画面的显示方向时,用户可以在布局栏的第一显示区域触摸“旋转”所对应的操作图标,以触发旋转操作的功能,图7b是用户执行图7a图中的“旋转”对应的操作图标后显示的投屏画面。在用户需要删除两张待投屏画面中的某张待投屏画面时,用户可以选中“删除”所对应的图标后,再选择需要删除的待投屏画面。
此外,当用户需要导入外部待投屏画面时,用户可以通过触发“增加”对应的操作图标来实现外部待投屏画面的导入。当用户触摸图7a图中的“增加”对应的操作图标后,进入图7c所示的显示界面,用户可以在该显示界面中导入外部待投屏画面。例如,用户可以增加如图7d所述的背景图片和logo图片。
另外,本申请的多张待投屏画面可以重叠显示,用户可以通过触发“层级设置”对应的操作图标来触发层级设置操作的功能。具体“层级设置”对应的操作图标的选中可以将选中的待投屏画面设置为顶层或底层。用户可以通过“层级设置”对应的操作图标实现将背景图片设置为最底层,将logo图片设置为最顶层。图7e是用户执行图7d中的“层级设置”对应的操作图标后显示的投屏画面。
示例性地,在布局栏的第一显示区域进行触摸可以出现选中的操作图标对应的布局操作,在第二显示区域中对选中的待投屏画面执行该操作图标所对应的布局操作,待投屏画面选择结束时停止触屏。当第以显示区域中选中的操作图标被选中时,用户在第二显示区域中的操作会被拦截,不会被重定向系统捕获来执行布局操作的执行。
示例性地,在多张待投屏画面中的相邻两张待投屏画面之间,可以对待投屏画面的连接部分进行插值处理,来平滑不同待投屏画面之间的过度。
可选的,用户设备在进行投屏前,可以进入图7f所示的投屏设置界面,该投屏设置界面可以包括将目标画面显示到目的设备过程中的多个设置菜单。例如目的设备、自动应用布局、目的设备数量等等。当用户执行图7f所示的操作,点击自动应用布局后,电子设备可以自动获取界面布局信息和参数信息对待投屏画面进行应用布局,无需每次都进行应用布局的操作过程,使操作更加便捷。
应理解,每一待投屏画面的位置和排列顺序可以根据用户的习惯进行调整,且待投屏画面的形状和大小也可以根据用户的调整进行变化。可选地,当用户启动投屏设置界面中的“自动应用布局”时,系统可以默认待投屏画面的形状和大小按照用户上一次的设置进行显示,或者,根据目的设备的显示屏幕的形状和大小进行同比例缩放形成投屏画面。
示例性地,当用户执行图7f所示的操作,点击目的设备设置菜单,进入图7g所示的显示界面,用户可以在显示界面中包括的可用设备列表中选择至少一个目的设备。例如用户可以选择智能手表设备,也可以同时选择只能手表设备和车载显示设备等多个设备,本申请对目标画面显示过程中目的设备的数量不做限定。
示例性地,当用户执行图7g所示的操作,点击目的设备数量设置菜单,用户可以在显示界面中选择目的设备的数量。例如用户可以选择1个、2个、3个、4个等等。由于源设备同时给多个目的设备传输目标画面或投屏画面,或增加源设备的开销和网络带宽,这在特定的场景也是很重要的因素,因此实际的过程中,用户可以根据实际场景设置可以投屏的目的设备的数量。
S350、发送所述投屏画面,以在目的设备运行的所述第一应用中显示所述投屏画面。
具体地,在第一设备为源设备时,第一设备在得到投屏画面后,可以在对投屏画面进行编码压缩后传输给一个或多个目的设备,目的设备接收到该投屏画面后对其解压解码后在目标应用中显示所述投屏画面。在第一设备为源设备时,第一设备在得到投屏画面后,直接将该投屏画面发送给显示模板使其在目标应用中显示。
例如,如图7h所示,源设备针对所述目标画面对其进行应用布局,得到图7h中的投屏画面,目的设备接收到投屏图像后,在目的设备的目标应用的显示界面上显示如图7h所示投屏画面。
综上所述,结合附图介绍了在本申请提供的投屏显示方法,该方法可以将源设备上目标应用的目标画面截取出一张或多张待投屏画面,并将一张或多张待投屏画面进行重新应用布局生成一张投屏画面,该投屏画面可以显示到一个或多个目的设备。将目标应用中的目标画面进行截取、并对截取后的图片根据用户需求进行应用布局,从而使得投屏画面可以适应多种电子设备的显示屏幕的尺寸,方便使用,提高了用户体验。
通过上述实施例的介绍,完成了从源设备到目的设备的投屏显示,针对上述介绍的任一种投屏显示方法,在目的设显示投屏画面。根据本申请实施例提供的投屏显示方法,用户可以在目的设备端对投屏画面进行操作,该操作结果可以传递到源设备端,或者用户可以在源设备端对目标画面进行操作,该操作可以传递到目的设备端,保证目的设备与源设备操作的一致性,从而通过目的设备的投屏画面控制源设备的应用的执行过程。
在本申请实施例中,由于目的设备上显示的投屏画面与源设备上的目标画面不一致,投屏画面可能是目标画面中的一些部分组合而成的,投屏画面中功能区域的位置相对于目标画面中功能区域的位置发生了很大的变化,对方向控制也将进行特殊的处理。
示例性地,所述电子设备为所述目的设备,在所述目的设备运行的所述第一应用中显示所述投屏画面后,所述方法还包括:
响应于所述投屏画面的第四输入操作,计算所述第四输入操作的第一位置和第一位置偏移,所述第一位置为第一待投屏画面在所述目标画面的位置,所述第一待投屏画面为所述第四输入操作对应的待投屏画面,所述第一位置偏移为所述第四输入操作相对于所述第一待投屏画面的位置偏移,发送第一控制消息,所述第一控制消息包括所述第四输入操作、所述第一位置和所述第一位置偏移。
可选的,所述计算第一位置和第一位置偏移,包括:获取所述第四输入操作的第三位置,所述第三位置为所述第四输入操作相对于所述投屏画面的位置;根据所述第三位置、所述界面布局信息和所述参数信息,计算所述第一位置和所述第一位置偏移。
其中,目的设备中包括编辑界面窗口,用户在目的设备的投屏画面上进行操作,目的设备可以根据在投屏画面上的操作位置计算出该操作位置相对于目标画面的操作位置,并将该目标画面的操作位置和在投屏画面上的输入操作发送给源设备,源设备接收之后在目标画面的操作位置处执行所述输入操作。
具体地,目的设备采集用户在投屏画面上的操作位置,通过界面布局信息计算第四输入操作触发的被选中的待投屏画面。由于点击的是图片,因此不能产生类似控件事件的行为,需要通过位置计算来得到被点击的部分。用户可以获取本地保存的界面布局信息或从云端设备获取的界面布局信息。以点击为例,在目的设备上的投屏画面点击时,会得到第三位置,通过界面布局信息,目的设备可以计算出第三 位置属于目标画面中被选中的待投屏画面的位置,即所述第一位置,以及第三位置针对待投屏画面的位置偏移,即第一位置偏移。通过被选中的待投屏画面以及待投屏画面中相对于第三位置的相对偏移位置,可以计算第三位置在目标画面中的位置。由于被选中的待投屏画面在编辑成投屏画面时可能有缩放、移动和旋转的行为,这些信息记录在界面布局信息中,通过界面布局信息以及被选中的待投屏画面的位置,以及点击的位置针对待投屏画面的位置偏移,能够计算出点击的第三位置在目标画面中的位置。
图8a图示出了智能手表呈现的手机音乐应用的部分功能控件的操作界面,当手机的音乐正在播放时,用户执行如图8a中所示的操作,该操作可以包括用户对音乐应用的播放控件的点击操作。响应于该用户的点击操作,智能手表的操作界面中音乐应用的播放控件呈现暂停状态,相应地手机音乐的播放界面中也暂停播放。
示例性地,所述电子设备为所述源设备,在发送所述投屏画面后,所述方法还包括:
响应于所述目标画面的第五输入操作,计算所述第五输入操作的第二位置和第二位置偏移,所述第二位置为第二待投屏画面在所述投屏画面的位置,所述第二待投屏画面为所述第五输入操作对应的待投屏画面,所述第二位置偏移为所述第五输入操作相对于所述第二待投屏画面的位置偏移;发送第二控制消息,所述第二控制消息包括所述第五输入操作、所述第二位置和所述第二位置偏移。
可选的,所述计算第二位置和第二位置偏移,包括:获取所述第五输入操作的第四位置,所述第二位置为所述第四输入操作相对于所述目标画面的位置;根据所述第四位置、所述界面布局信息和所述参数信息,计算所述第二位置和所述第二位置偏移。
其中,源设备中包括编辑界面窗口,用户在源设备的目标画面上进行操作,源设备可以根据在目标画面上的操作位置计算出该操作位置相对于投屏画面的操作位置,并将该投屏画面的操作位置和在目标画面上的输入操作发送给目的设备,目的设备接收之后在投屏画面的操作位置处执行所述输入操作。
具体地,源设备采集用户在目标画面上的操作位置,通过界面布局信息计算第五输入操作触发的被选中的待投屏画面。用户可以获取本地保存的界面布局信息或从云端设备获取的界面布局信息。以点击为例,在源设备上的目标画面点击时,会得到所述第四位置,通过界面布局信息,可以计算出第四位置属于目标画面中被选中的待投屏画面的位置,即所述第二位置,以及第四位置针对待投屏画面的位置偏移,即所述第二位置偏移。通过被选中的待投屏画面以及待投屏画面中相对于第四位置的相对偏移位置,可以计算第四位置在投屏画面中的位置。由于被选中的待投屏画面在编辑成投屏画面时可能有缩放、移动和旋转的行为,这些信息记录在界面布局信息中,通过界面布局信息以及被选中的待投屏画面的位置,以及第四位置针对待投屏画面的位置偏移,能够计算出第四位置在投屏画面中的位置。
例如,当手机的音乐播放界面中的播放控件呈现暂停播放状态时,用户执行如图8b所示的操作,该操作可以包括用户对音乐应用的播放控件的点击操作。响应于该用户的点击操作,手机的音乐应用的播放界面中的播放控件转变为暂停状态,相应地智能手表的操作界面中音乐应用的播放控件也转变为暂停状态。
应理解,以上以手机的音乐应用显示到智能手表端为例,说明了用户可以在手机端和智能手表端执行相应的操作,来控制音乐应用。同理,对于图8b中多个待投屏画面组合而成的投屏画面,用户可以通过在车载终端的控制面板上执行对该投屏画面中任意一个功能区域的操作,而可以将该操作结果传递到手机端,相应地控制手机的应用。
示例性地,所述电子设备为所述目的设备,在所述目的设备运行的所述第一应用中显示所述投屏画面后,所述方法还包括:接收第三控制信息,所述第三控制信息包括第六输入操作和第五位置;根据所述第五位置、所述界面布局信息和所述参数信息,计算所述第六输入操作的第六位置和第三位置偏移,所述第六位置为第三待投屏画面在所述投屏画面的位置,所述第三待投屏画面为所述第六输入操作对应的待投屏画面,所述第三位置偏移为所述第六输入操作相对于所述第三待投屏画面的位置偏移;根据所述第六位置和所述第三位置偏移,计算第七位置,所述第七位置为所述第六输入操作相对于所述投屏画面的位置;在所述第七位置执行所述第六输入操作。
其中,电子设备为目的设备,目的设备中包括编辑界面窗口,响应于用户在源设备的目标画面上的 输入操作,源设备将该输入操作的位置传输给目的设备,目的设备可以根据在目标画面上的操作位置计算出该操作位置相对于投屏画面的操作位置,在投屏画面的操作位置处执行所述输入操作。
具体地,源设备采集用户在目标画面上的操作位置,以点击为例,在源设备上的目标画面点击时,会得到所述第五位置,源设备将该第五位置和第六输入操作发送给目的设备,目的设备接收到该第五位置和第六输入操作后,通过界面布局信息计算第六输入操作触发的被选中的待投屏画面。用户可以获取本地保存的界面布局信息或从云端设备获取的界面布局信息。通过界面布局信息,可以计算出第五位置点属于目标画面中被选中的待投屏画面的位置,即第六位置,以及第六位置针对待投屏画面的位置偏移,即第三位置偏移。通过被选中的待投屏画面以及待投屏画面中相对于第五位置的相对偏移位置,可以计算第五位置在投屏画面中的位置。由于被选中的待投屏画面在编辑成投屏画面时可能有缩放、移动和旋转的行为,这些信息记录在界面布局信息中,通过界面布局信息以及被选中的待投屏画面的位置,以及第五位置针对待投屏画面的位置偏移,能够计算出第五位置在投屏画面中的位置。
示例性地,所述电子设备为所述源设备,在发送所述投屏画面后,所述方法还包括:接收第四控制信息,所述第四控制信息包括第七输入操作和第八位置;根据所述第八位置、所述界面布局信息和所述参数信息,计算所述第七输入操作的第九位置和第四位置偏移,所述第九位置为第四待投屏画面在所述目标画面的位置,所述第四待投屏画面为所述第七输入操作对应的待投屏画面,所述第四位置偏移为所述第七输入操作相对于所述第四待投屏画面的位置偏移;根据所述第九位置和所述第四位置偏移,计算第十位置,所述第十位置为所述第七输入操作相对于所述目标画面的位置;在所述第十位置执行所述第七输入操作。
其中,电子设备为源设备,源设备中包括编辑界面窗口,响应于用户在目的设备的投屏画面上的输入操作,目的设备将该输入操作的位置传输给源设备,源设备可以根据在投屏画面上的操作位置计算出该操作位置相对于目标画面的操作位置,在目标画面的操作位置处执行所述输入操作。
具体地,目的设备采集用户在投屏画面上的操作位置,以点击为例,在目的设备上的投屏画面点击时,会得到所述第八位置,目的设备将该第八位置和第七输入操作发送给源设备,源设备接收到该第八位置和第七输入操作后,通过界面布局信息计算第七输入操作触发的被选中的待投屏画面。用户可以获取本地保存的界面布局信息或从云端设备获取的界面布局信息。通过界面布局信息,可以计算出第八位置点属于目标画面中被选中的待投屏画面的位置,即第九位置,以及第八位置针对待投屏画面的位置偏移,即第四位置偏移。通过被选中的待投屏画面以及待投屏画面中相对于第八位置的相对偏移位置,可以计算第八位置在目标画面中的位置。由于被选中的待投屏画面在编辑成投屏画面时可能有缩放、移动和旋转的行为,这些信息记录在界面布局信息中,通过界面布局信息以及被选中的待投屏画面的位置,以及第八位置针对待投屏画面的位置偏移,能够计算出第八位置在目标画面中的位置。
需要说明的是,在目的设备与源设备使用的设备级的操作不适配时,目的设备需要将自身输入设备的操作转换成与源设备的输入设备适配的操作;或者源设备需要将自身输入设备的操作转换成与目的设备的输入设备适配的操,例如,在目的设备为触摸操作,源设备为鼠标操作时,目的设备还可以将用户的触摸操作转换成源设备适配的鼠标操作。
综上所述,结合附图介绍了本申请提供的投屏显示方法,该方法可以将源设备上目标应用的目标画面截取出一张或多张待投屏画面,并将一张或多张待投屏画面进行重新应用布局生成一张投屏画面,该投屏画面可以显示到一个或多个目的设备。目的设备针对执行对投屏画面上的任一操作,可以将操作结果传回源设备进行执行,保证了源设备和目的设备操作的一致性。该方法投屏画面在多个目的设备进行投屏显示,打破了不同设备间的瓶颈;将目标应用中的目标画面进行截取、并对截取后的图片根据用户需求进行应用布局,从而使得投屏画面可以适应多种电子设备的显示屏幕的尺寸,方便使用,提高了用户体验。
在具体实现过程中,如图9a所示,本申请提供的投屏显示的方法可以基于三个模块的协同配合来实现,具体包括应用编辑器、第一重定向系统、第二重定向系统。
其中,应用编辑器,可以位于源设备、也可以位于目的设备,还可以位于开发设备,应用编辑器包 括如图5a所示的应用编辑窗口,主要负责投屏画面的应用布局。
第一重定向系统,位于源设备或目的设备中,主要负责将源设备上的数据流转到目的设备或接收目的设备流转的数据,例如视频、音频、图像、控制。
第二重定向系统,位于目的设备或源设备中,主要负责接收源设备流转的数据或将目的设备上的数据流转到源设备上。
应理解,当第一重定向系统位于源设备时,第二重定向系统位于目的设备;当第一重定向系统位于目的设备时,第二重定向系统位于源设备。
示例性地,本申请提供的投屏显示的方法还需要应用管理模块的协同配合来实现。应用管理模块位于云端设备,主要负责存储应用编辑器制作出了的界面布局信息和/或外部资源列表。
下面,以第一重定向系统位于源设备,第一设备为源设备为例介绍上述不同模块之间的协同配合。
在启动投屏功能后,源设备截取目标应用中的目标画面,并通过第一重定向系统把该目标画面重定向到源设备中的应用编辑器中的APP栏中。APP栏中显示的第一画面与目标画面一致。用户通过从应用编辑器中的工具栏中选取待投屏画面的形状,根据选中的形状从APP栏显示的第一画面中截取一张或多张待投屏画面,并将该一张或多张待投屏画面传输至应用编辑器中的布局栏中进行显示。通过布局栏中的操作图标对一张或多张待投屏画面进行应用布局,生成一张投屏画面,应用编辑器将生成投屏画面过程中的界面布局信息上传至云端设备进行保存。源设备通过第一重定向系统对投屏画面进行编码并将编码后的投屏画面发送给目的设备,目的设备中的第二重定向系统接收到编码后的投屏画面,对其进行解码后将其传输给目标应用,在目标应用的显示界面上显示所述投屏画面。
示例性地,如图9b所示,本申请提供的投屏显示显示的方法可以基于三个模块的协同配合来实现,具体包括应用管理模块、第一重定向系统、第二重定向系统。第一重定向系统可以包括采集模块、重新绘制模块、编码模块、发送模块、输入注入模块、接收模块、控制模块;第二重定向系统可以包括:接收模块、解码模块、显示模块、输入模块、输入处理模块、发送模块。
以第一重定向系统位于源设备,第一设备为源设备为例介绍上述不同模块之间的协同配合。如图9b所示,第一重定向系统中的采集模块从源设备运行的应用程序中采集目标画面,并将该目标画面传输给重新绘制模块。重新绘制模板可以从云端系统中的应用管理模块中获取界面布局信息和/或参数信息,对目标画面进行编辑,生成投屏画面;或者用户通过操作重新绘制模块对目标画面进行编辑,生成投屏画面,并将生成投屏画面过程中的界面布局信息上传至云端系统的应用管理模块中进行保存。重新绘制模板将生成投屏画面传输给编码模块,编码模块把投屏画面进行编辑,并输送到发送模块。发送模块使用私有的流媒体协议把编好码的数据流发送到目的设备上。目的设备上第二重定向系统中的接收模块接收到数据后,转发到解码模块,显示模块把解码模块解出的投屏画面在显示界面进行显示。
进一步地,用户可以在目的设备端对投屏画面进行操作,并将该操作结果传递到源设备端。第二重定向系统中的输入模块采集到用户在投屏画面上的输入操作后,将该输入操作传输给输入处理模块。输入处理模块计算该输入操作在目标画面上的操作位置,根据该操作位置、从云端设备或本地获取的界面布局信息和参数信息,计算该输入操作在目标画面中所处的目标待投屏画面的位置,以及该输入操作的操作位置相对于目标待投屏画面的位置偏移,根据目标待投屏画面的位置以及位置偏移该输入操作在目标画面中的操作位置,输入处理模块通过发送模块将目标画面中的操作位置和输入操作传输给第一重定向系统。第一重定向系统中的接收模块接收到该目标画面中的操作位置和输入操作后,通过输入注入模块在源设备的目标应用中的目标画面的操作位置处执行所述输入操作。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各 个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图10示出了投屏显示装置的结构示意图,如图10所示,该投屏显示装置1000应用于电子设备,该投屏显示装置1000可以包括:显示单元1100、选取单元1200、编辑单元1300和收发单元1400。
其中,显示单元1100可以用于支持电子设备执行上述S310、S330等,和/或用于本文所描述的技术的其他过程。
选取单元1200可以用于支持电子设备执行上述S320等,和/或用于本文所描述的技术的其他过程。
编辑单元1300可以用于支持电子设备执行上述S340等,和/或用于本文所描述的技术的其他过程。
收发单元1400可以用于支持电子设备执行上述S350等,和/或用于本文所描述的技术的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例提供的电子设备,用于执行上述投屏显示方法,因此可以达到与上述实现方法相同的效果。
在采用集成的单元的情况下,电子设备可以包括处理模块、存储模块和通信模块。其中,处理模块可以用于对电子设备的动作进行控制管理,例如,可以用于支持电子设备执行上述显示单元1100、选取单元1200、编辑单元1300和收发单元1400执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块,可以用于支持电子设备与其他设备的通信。
其中,处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。
在一个实施例中,当处理模块为处理器,存储模块为存储器时,本实施例所涉及的电子设备可以为具有图1a所示结构的设备。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的投屏显示方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的投屏显示方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的投屏显示方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要 选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (28)

  1. 一种投屏显示方法,其中应用于电子设备,所述方法包括:
    显示编辑界面窗口,所述编辑界面窗口包括第一区域和第二区域,所述第一区域中显示第一画面,所述第一画面为源设备上运行的目标应用中的目标画面;
    响应于针对所述第一画面的至少一次第一输入操作,从所述第一画面中选取所述至少一次第一输入操作对应的待投屏画面列表,所述待投屏画面列表包括至少一张待投屏画面;
    在第二区域中显示第二画面,所述第二画面包括所述待投屏画面列表;
    响应于所述第二区域内的至少一次第二输入操作,将所述第二画面编辑成投屏画面;
    发送所述投屏画面,以在目的设备运行的所述第一应用中显示所述投屏画面。
  2. 根据权利要求1所述的方法,其中,所述电子设备为所述源设备或所述目的设备。
  3. 根据权利要求1或2所述的方法,其中,所述编辑界面窗口还包括第三区域,所述第三区域包括至少一个选取形状所对应的形状图标;
    所述响应于针对第一画面的至少一次第一输入操作,从所述第一画面中选取每次所述第一输入操作对应的待投屏画面列表,包括:
    响应于针对所述第三区域中所述形状图标的第三输入操作,确定所述待投屏画面列表中每张待投屏画面的选取形状;
    确定每次所述第一输入操作对应的选取区域;
    在所述第一画面的所述选取区域中以所述选取形状选取所述待投屏画面,得到所述待投屏画面列表。
  4. 根据权利要求1-3任一项所述的方法,其中,所述第二画面还包括外部投屏画面列表,所述外部投屏画面列表包括用户导入的至少一张外部投屏画面。
  5. 根据权利要求4所述的方法,其中,所述方法还包括:
    获取所述待投屏画面列表中每张待投屏画面在所述源设备中的第一信息,所述第一数据信息包括以下至少一项:位置、大小、形状;
    获取所述目的设备的第二信息,所述第二信息包括以下至少一项:界面大小、投屏画面的显示位置、投屏画面的缩放比例、投屏画面的旋转方向;
    获取所述外部投屏画面列表中每张外部投屏画面的第三信息,所述第三信息包括位置和/或大小。
  6. 根据权利要求5所述的方法,其中,所述第二区域包括至少一个界面布局对应的操作图标;
    所述响应于所述第二区域内的至少一次第二输入操作,将所述第二画面编辑成投屏画面,包括:
    获取所述至少一次第二输入操作对应的操作图标;
    根据所述操作图标,确定所述第二画面的界面布局信息,所述操作图标包括以下至少一项:旋转、移动、缩放、删除、添加、层级设置;
    根据所述界面布局信息和参数信息,将所述第二画面编辑成所述投屏画面,所述参数信息包括所述第一信息、所述第二信息、所述第三信息中的至少一项。
  7. 根据权利要求6所述的方法,其中,所述方法还包括:
    向云端设备、所述源设备、所述目的设备中的至少一项发送所述界面布局信息。
  8. 根据权利要求1-7任一项所述的方法,其中,所述电子设备为所述目的设备,在所述目的设备运行的所述第一应用中显示所述投屏画面后,所述方法还包括:
    响应于所述投屏画面的第四输入操作,计算所述第四输入操作的第一位置和第一位置偏移,所述第一位置为第一待投屏画面在所述目标画面的位置,所述第一待投屏画面为所述第四输入操作对应的待投屏画面,所述第一位置偏移为所述第四输入操作相对于所述第一待投屏画面的位置偏移,
    发送第一控制消息,所述第一控制消息包括所述第四输入操作、所述第一位置和所述第一位置偏移。
  9. 根据权利要求1-7任一项所述的方法,其中,所述电子设备为所述源设备,在发送所述投屏画 面后,所述方法还包括:
    响应于所述目标画面的第五输入操作,计算所述第五输入操作的第二位置和第二位置偏移,所述第二位置为第二待投屏画面在所述投屏画面的位置,所述第二待投屏画面为所述第五输入操作对应的待投屏画面,所述第二位置偏移为所述第五输入操作相对于所述第二待投屏画面的位置偏移;
    发送第二控制消息,所述第二控制消息包括所述第五输入操作、所述第二位置和所述第二位置偏移。
  10. 根据权利要求8所述的方法,其中,所述计算第一位置和第一位置偏移,包括:
    获取所述第四输入操作的第三位置,所述第三位置为所述第四输入操作相对于所述投屏画面的位置;
    根据所述第三位置、所述界面布局信息和所述参数信息,计算所述第一位置和所述第一位置偏移。
  11. 根据权利要求9所述的方法,其中,所述计算第二位置和第二位置偏移,包括:
    获取所述第五输入操作的第四位置,所述第二位置为所述第四输入操作相对于所述目标画面的位置;
    根据所述第四位置、所述界面布局信息和所述参数信息,计算所述第二位置和所述第二位置偏移。
  12. 根据权利要求1-7任一项所述的方法,其中,所述电子设备为所述目的设备,在所述目的设备运行的所述第一应用中显示所述投屏画面后,所述方法还包括:
    接收第三控制信息,所述第三控制信息包括第六输入操作和第五位置;
    根据所述第五位置、所述界面布局信息和所述参数信息,计算所述第六输入操作的第六位置和第三位置偏移,所述第六位置为第三待投屏画面在所述投屏画面的位置,所述第三待投屏画面为所述第六输入操作对应的待投屏画面,所述第三位置偏移为所述第六输入操作相对于所述第三待投屏画面的位置偏移;
    根据所述第六位置和所述第三位置偏移,计算第七位置,所述第七位置为所述第六输入操作相对于所述投屏画面的位置;
    在所述第七位置执行所述第六输入操作。
  13. 根据权利要求1-7任一项所述的方法,其中,所述电子设备为所述源设备,在发送所述投屏画面后,所述方法还包括:
    接收第四控制信息,所述第四控制信息包括第七输入操作和第八位置;
    根据所述第八位置、所述界面布局信息和所述参数信息,计算所述第七输入操作的第九位置和第四位置偏移,所述第九位置为第四待投屏画面在所述目标画面的位置,所述第四待投屏画面为所述第七输入操作对应的待投屏画面,所述第四位置偏移为所述第七输入操作相对于所述第四待投屏画面的位置偏移;
    根据所述第九位置和所述第四位置偏移,计算第十位置,所述第十位置为所述第七输入操作相对于所述目标画面的位置;
    在所述第十位置执行所述第七输入操作。
  14. 一种投屏显示装置,其中应用于电子设备,所述装置包括:
    显示单元,用于显示编辑界面窗口,所述编辑界面窗口包括第一区域和第二区域,所述第一区域中显示第一画面,所述第一画面为源设备上运行的目标应用中的目标画面;
    选取单元,用于响应于针对所述第一画面的至少一次第一输入操作,从所述第一画面中选取所述至少一次第一输入操作对应的待投屏画面列表,所述待投屏画面列表包括至少一张待投屏画面;
    所述显示单元,还用于在第二区域中显示第二画面,所述第二画面包括所述待投屏画面列表和/或外部投屏画面列表,所述外部投屏画面列表包括用户导入的至少一张外部投屏画面;
    编辑单元,用于响应于所述第二区域内的至少一次第二输入操作,将所述第二画面编辑成投屏画面;
    收发单元,用于发送所述投屏画面,以在目的设备运行的所述第一应用中显示所述投屏画面。
  15. 根据权利要求14所述的装置,其中,所述电子设备为所述源设备或所述目的设备。
  16. 根据权利要求13或15所述的装置,其中,所述编辑界面窗口还包括第三区域,所述第三区域 包括至少一个选取形状所对应的形状图标;
    所述选取单元,具体用于:响应于针对所述第三区域中所述形状图标的第三输入操作,确定所述待投屏画面列表中每张待投屏画面的选取形状;
    确定每次所述第一输入操作对应的选取区域;
    在所述第一画面的所述选取区域中以所述选取形状选取所述待投屏画面,得到所述待投屏画面列表。
  17. 根据权利要求13-16任一项所述的装置,其中,所述第二画面还包括外部投屏画面列表,所述外部投屏画面列表包括用户导入的至少一张外部投屏画面。
  18. 根据权利要求17所述的装置,其中,所述装置还包括获取单元,
    所述获取单元,用于获取所述待投屏画面列表中每张待投屏画面在所述源设备中的第一信息,所述第一数据信息包括以下至少一项:位置、大小、形状;
    所述获取单元,还用于获取所述目的设备的第二信息,所述第二信息包括以下至少一项:界面大小、投屏画面的显示位置、投屏画面的缩放比例、投屏画面的旋转方向;
    所述获取单元,还用于获取所述外部投屏画面列表中每张外部投屏画面的第三信息,所述第三信息包括位置和/或大小。
  19. 根据权利要求18所述的装置,其中,所述第二区域包括至少一个界面布局对应的操作图标;
    所述编辑单元,具体用于获取所述至少一次第二输入操作对应的操作图标;
    根据所述操作图标,确定所述第二画面的界面布局信息,所述操作图标包括以下至少一项:旋转、移动、缩放、删除、添加、层级设置;
    根据所述界面布局信息和参数信息,将所述第二画面编辑成所述投屏画面,所述参数信息包括所述第一信息、所述第二信息、所述第三信息中的至少一项。
  20. 根据权利要求19所述的装置,其中,所述收发单元还用于:
    向云端设备、所述源设备、所述目的设备中的至少一项发送所述界面布局信息。
  21. 根据权利要求14-20任一项所述的装置,其中,所述电子设备为所述目的设备,在所述目的设备运行的所述第一应用中显示所述投屏画面后,所述装置还包括计算单元;
    所述计算单元,用于响应于所述投屏画面的第四输入操作,计算所述第四输入操作的第一位置和第一位置偏移,所述第一位置为第一待投屏画面在所述目标画面的位置,所述第一待投屏画面为所述第四输入操作对应的待投屏画面,所述第一位置偏移为所述第四输入操作相对于所述第一待投屏画面的位置偏移;
    所述收发单元,还用于发送第一控制消息,所述第一控制消息包括所述第四输入操作、所述第一位置和所述第一位置偏移。
  22. 根据权利要求14-20任一项所述的装置,其中,所述电子设备为所述源设备,在发送所述投屏画面后,
    所述计算单元,用于响应于所述目标画面的第五输入操作,计算所述第五输入操作的第二位置和第二位置偏移,所述第二位置为第二待投屏画面在所述投屏画面的位置,所述第二待投屏画面为所述第五输入操作对应的待投屏画面,所述第二位置偏移为所述第五输入操作相对于所述第二待投屏画面的位置偏移;
    所述收发单元,还用于发送第二控制消息,所述第二控制消息包括所述第五输入操作、所述第二位置和所述第二位置偏移。
  23. 根据权利要求21所述的装置,其中,在计算第一位置和第一位置偏移方面,所述计算单元具体用于:
    获取所述第四输入操作的第三位置,所述第三位置为所述第四输入操作相对于所述投屏画面的位置;
    根据所述第三位置、所述界面布局信息和所述参数信息,计算所述第一位置和所述第一位置偏移。
  24. 根据权利要求22所述的装置,其中,在计算第二位置和第二位置偏移方面,所述计算单元具体用于:
    获取所述第五输入操作的第四位置,所述第二位置为所述第四输入操作相对于所述目标画面的位置;
    根据所述第四位置、所述界面布局信息和所述参数信息,计算所述第二位置和所述第二位置偏移。
  25. 根据权利要求14-20任一项所述的装置,其中,所述电子设备为所述目的设备,在所述目的设备运行的所述第一应用中显示所述投屏画面后,所述装置还包括执行单元;
    所述收发单元,用于接收第三控制信息,所述第三控制信息包括第六输入操作和第五位置;
    所述计算单元,用于根据所述第五位置、所述界面布局信息和所述参数信息,计算所述第六输入操作的第六位置和第三位置偏移,所述第六位置为第三待投屏画面在所述投屏画面的位置,所述第三待投屏画面为所述第六输入操作对应的待投屏画面,所述第三位置偏移为所述第六输入操作相对于所述第三待投屏画面的位置偏移;
    所述计算单元,还用于根据所述第六位置和所述第三位置偏移,计算第七位置,所述第七位置为所述第六输入操作相对于所述投屏画面的位置;
    所述执行单元,用于在所述第七位置执行所述第六输入操作。
  26. 根据权利要求14-20任一项所述的装置,其中,所述电子设备为所述源设备,在发送所述投屏画面后;
    所述收发单元,用于接收第四控制信息,所述第四控制信息包括第七输入操作和第八位置;
    所述计算单元,用于根据所述第八位置、所述界面布局信息和所述参数信息,计算所述第七输入操作的第九位置和第四位置偏移,所述第九位置为第四待投屏画面在所述目标画面的位置,所述第四待投屏画面为所述第七输入操作对应的待投屏画面,所述第四位置偏移为所述第七输入操作相对于所述第四待投屏画面的位置偏移;
    所述计算单元,用于根据所述第九位置和所述第四位置偏移,计算第十位置,所述第十位置为所述第七输入操作相对于所述目标画面的位置;
    所述执行单元,用于在所述第十位置执行所述第七输入操作。
  27. 一种电子设备,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-13任一项所述的方法中的步骤的指令。
  28. 一种计算机可读存储介质,包括存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-13任一项所述的方法。
PCT/CN2021/116478 2020-11-16 2021-09-03 投屏显示方法及相关产品 WO2022100237A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011284012.3 2020-11-16
CN202011284012.3A CN112286477B (zh) 2020-11-16 2020-11-16 投屏显示方法及相关产品

Publications (1)

Publication Number Publication Date
WO2022100237A1 true WO2022100237A1 (zh) 2022-05-19

Family

ID=74399059

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/116478 WO2022100237A1 (zh) 2020-11-16 2021-09-03 投屏显示方法及相关产品

Country Status (2)

Country Link
CN (1) CN112286477B (zh)
WO (1) WO2022100237A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078337A1 (zh) * 2022-10-09 2024-04-18 华为技术有限公司 一种显示屏选择方法及电子设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286477B (zh) * 2020-11-16 2023-12-08 Oppo广东移动通信有限公司 投屏显示方法及相关产品
CN115150502A (zh) * 2021-03-31 2022-10-04 华为技术有限公司 一种应用小部件的显示方法及设备
CN112988101B (zh) * 2021-04-20 2023-07-21 西安诺瓦星云科技股份有限公司 图像的处理方法及装置、非易失性存储介质、处理器
CN115964106B (zh) * 2021-04-20 2024-02-13 华为技术有限公司 图形界面显示方法、电子设备、介质以及程序产品
CN115253285A (zh) * 2021-04-30 2022-11-01 华为技术有限公司 显示方法及相关装置
CN113805827B (zh) * 2021-09-14 2024-05-07 北京百度网讯科技有限公司 一种投屏展示方法、装置、电子设备及存储介质
CN113918262A (zh) * 2021-10-27 2022-01-11 深圳市宝泽科技有限公司 一种应用于投屏中的底部壁纸显示的方法及系统
CN114089940B (zh) * 2021-11-18 2023-11-17 佛吉亚歌乐电子(丰城)有限公司 一种投屏方法、装置、设备及存储介质
CN117632061A (zh) * 2022-08-15 2024-03-01 华为技术有限公司 投屏方法、电子设备及系统
CN117956219A (zh) * 2022-10-18 2024-04-30 华为技术有限公司 多屏多设备交互方法、电子设备及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152649A1 (ko) * 2014-04-02 2015-10-08 디에스글로벌 (주) 복합 기능을 제공하기 위한 휴대 기기
CN110995923A (zh) * 2019-11-22 2020-04-10 维沃移动通信(杭州)有限公司 一种投屏控制方法及电子设备
CN111443884A (zh) * 2020-04-23 2020-07-24 华为技术有限公司 投屏方法、装置和电子设备
CN112286477A (zh) * 2020-11-16 2021-01-29 Oppo广东移动通信有限公司 投屏显示方法及相关产品

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109981878B (zh) * 2017-12-28 2021-09-14 华为终端有限公司 一种图标管理的方法及装置
CN110381195A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏显示方法及电子设备
CN111324327B (zh) * 2020-02-20 2022-03-25 华为技术有限公司 投屏方法及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152649A1 (ko) * 2014-04-02 2015-10-08 디에스글로벌 (주) 복합 기능을 제공하기 위한 휴대 기기
CN110995923A (zh) * 2019-11-22 2020-04-10 维沃移动通信(杭州)有限公司 一种投屏控制方法及电子设备
CN111443884A (zh) * 2020-04-23 2020-07-24 华为技术有限公司 投屏方法、装置和电子设备
CN112286477A (zh) * 2020-11-16 2021-01-29 Oppo广东移动通信有限公司 投屏显示方法及相关产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078337A1 (zh) * 2022-10-09 2024-04-18 华为技术有限公司 一种显示屏选择方法及电子设备

Also Published As

Publication number Publication date
CN112286477B (zh) 2023-12-08
CN112286477A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
WO2022100237A1 (zh) 投屏显示方法及相关产品
WO2022022495A1 (zh) 一种跨设备的对象拖拽方法及设备
US20220342850A1 (en) Data transmission method and related device
WO2022100239A1 (zh) 设备协作方法、装置、系统、电子设备和存储介质
CN112558825A (zh) 一种信息处理方法及电子设备
JP2023514631A (ja) インタフェースレイアウト方法、装置、及び、システム
US10299110B2 (en) Information transmission method and system, device, and computer readable recording medium thereof
CN112527174B (zh) 一种信息处理方法及电子设备
WO2022121775A1 (zh) 一种投屏方法及设备
CN114356198A (zh) 数据的传输方法及装置
WO2022105445A1 (zh) 基于浏览器的应用投屏方法及相关装置
JP2023503679A (ja) マルチウィンドウ表示方法、電子デバイス及びシステム
CN112527222A (zh) 一种信息处理方法及电子设备
WO2022105759A1 (zh) 视频处理方法、装置及存储介质
WO2020238759A1 (zh) 一种界面显示方法和电子设备
WO2022033342A1 (zh) 数据传输方法和设备
WO2022088974A1 (zh) 一种遥控方法、电子设备及系统
WO2022028494A1 (zh) 一种多设备数据协作的方法及电子设备
CN115016697A (zh) 投屏方法、计算机设备、可读存储介质和程序产品
WO2021052488A1 (zh) 一种信息处理方法及电子设备
CN114510186A (zh) 一种跨设备控制方法及设备
WO2022194005A1 (zh) 一种跨设备同步显示的控制方法及系统
WO2022105716A1 (zh) 基于分布式控制的相机控制方法及终端设备
CN113079332B (zh) 移动终端及其录屏方法
WO2022121751A1 (zh) 相机控制方法、装置和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21890765

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21890765

Country of ref document: EP

Kind code of ref document: A1