WO2024000487A1 - 用于投屏的终端、系统及方法、存储介质、电子设备 - Google Patents

用于投屏的终端、系统及方法、存储介质、电子设备 Download PDF

Info

Publication number
WO2024000487A1
WO2024000487A1 PCT/CN2022/103050 CN2022103050W WO2024000487A1 WO 2024000487 A1 WO2024000487 A1 WO 2024000487A1 CN 2022103050 W CN2022103050 W CN 2022103050W WO 2024000487 A1 WO2024000487 A1 WO 2024000487A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
terminal
display
display interface
display screen
Prior art date
Application number
PCT/CN2022/103050
Other languages
English (en)
French (fr)
Inventor
汪然
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Priority to CN202280002086.4A priority Critical patent/CN117642718A/zh
Priority to PCT/CN2022/103050 priority patent/WO2024000487A1/zh
Publication of WO2024000487A1 publication Critical patent/WO2024000487A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开属于显示技术领域,涉及一种用于投屏的终端、系统及方法、存储介质、电子设备。该方法包括:生成第一显示界面,控制第一显示屏显示第一显示界面;创建虚拟显示屏;创建第二显示界面,并控制虚拟显示屏显示第二显示界面;将与虚拟显示屏对应的第二显示界面投屏至第二终端,以使第二终端显示第二显示界面。在本公开中,创建虚拟显示屏,并控制虚拟显示屏显示第二显示界面,控制第一显示屏显示第一显示界面,以在两个不同的显示屏中分别显示不同的显示界面,提高了用户的观看体验度。

Description

用于投屏的终端、系统及方法、存储介质、电子设备 技术领域
本公开涉及显示技术领域,尤其涉及一种用于投屏的第一终端、系统及方法、计算机可读存储介质、电子设备。
背景技术
随着显示技术领域的发展,出现了大尺寸终端。
在相关技术中,通常在大尺寸终端中只显示一个显示界面,这使得大尺寸终端没有得到有效的利用,除此之外,当需要更换在大尺寸终端中播放的内容时,需要中断大尺寸终端内容的显示,导致用户的观看体验度降低。
鉴于此,本领域亟需开发一种新的投屏控制方法及装置。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种投屏控制终端、系统及方法、计算机可读存储介质及电子设备,进而至少在一定程度上克服由于相关技术导致的用户观看体验度低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本发明实施例的第一个方面,提供了一种用于投屏的第一终端,所述第一终端包括第一处理器和第一显示屏,所述第一终端与第二终端通信连接,所述第一处理器被配置为:生成第一显示界面,控制所述第一显示屏显示所述第一显示界面;创建虚拟显示屏;
创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面;将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端,以使第二终端显示所述第二显示界面。
在本发明的一种示例性实施例中,所述创建所述虚拟显示屏之后,所述第一处理器被配置为:为所述虚拟显示屏分配第一屏幕标识,其中,所述第一屏幕标识与第二屏幕标识不同,所述第二屏幕标识为所述第一处理器分配给所述第一显示屏的屏幕标识。
在本发明的一种示例性实施例中,所述创建虚拟显示屏,所述第一处理器被配置为:获取所述第二终端发送的与所述第二显示屏对应的屏幕分辨率,并根据所述屏幕分辨率确定虚拟显示屏的目标分辨率;基于所述目标分辨率,创建所述虚拟显示屏。
在本发明的一种示例性实施例中,所述控制所述虚拟显示屏显示所述第二显示界面,所述第一处理器被配置为:获取所述第二终端发送的终端类型信息,并确定与所述终端类型信息对应的横竖屏模式;按照所述横竖屏模式,在所述虚拟显示屏中显示第二显示界面。
在本发明的一种示例性实施例中,所述控制所述虚拟显示屏显示所述第二显示界面, 所述第一处理器被配置为:创建悬浮窗口;
以所述悬浮窗口为载体,将在所述虚拟显示屏中显示的所述第二显示界面显示在所述悬浮窗口中。
在本发明的一种示例性实施例中,所述以所述悬浮窗口为载体,将在所述虚拟显示屏中显示的所述第二显示界面显示在所述悬浮窗口中,所述第一处理器被配置为:确定与所述虚拟显示屏对应的第一屏幕标识,并确定出与所述第一屏幕标识对应的第一存储标识;从与所述第一存储标识对应的第一存储区域中获取屏幕数据,并根据所述屏幕数据,在所述悬浮窗口中显示所述虚拟显示屏。
在本发明的一种示例性实施例中,所述第一处理器被配置为:根据所述终端类型信息,在多个所述第二显示界面中确定出一个目标显示界面;其中,多个所述第二显示界面被预先存储,多个所述第二显示界面中的图标大小是不同的。
在本发明的一种示例性实施例中,所述第二终端显示所述第二显示界面之后,所述第一处理器被配置为:若获取到与所述虚拟显示屏对应的隐藏/显示指令,将所述悬浮窗口隐藏/显示;和/或若获取到与所述虚拟显示屏对应的移动指令,获取与所述移动指令对应的移动信息;基于所述移动信息,对所述悬浮窗口进行移动;和/或若获取到与虚拟显示屏对应的放大/缩小指令,则确定出与所述放大/缩小指令对应的调整尺寸;按照所述调整尺寸,对所述悬浮窗口的所述窗口尺寸信息进行调整。
在本发明的一种示例性实施例中,所述将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端,所述第一处理器被配置为:获取投屏指令;若所述投屏指令中携带着所述第一屏幕标识,则确定出与所述第一屏幕标识对应的第一存储标识;从与所述第一存储标识对应的第一存储区域中获取第一录屏数据,并将所述第一录屏数据发送至所述第二终端,以将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端。
在本发明的一种示例性实施例中,所述将所述第一录屏数据发送至所述第二终端,以将与所述虚拟显示屏对应的所述第二应用界面投屏至所述第二终端,所述第一处理器被配置为:对所述第一录屏数据进行编码,得到与所述虚拟显示屏对应的视频流;将所述视频流发送至所述第二终端,以将所述第二显示界面投屏至所述第二终端。
在本发明的一种示例性实施例中,所述第二终端显示所述第二显示界面之后,所述第一处理器被配置为:创建与所述虚拟显示屏对应的第一虚拟输入设备;接收所述第二终端发送与所述虚拟显示屏对应的第一触控信息;基于所述第一虚拟输入设备,模拟出与所述第一触控信息对应的第一触控事件,以将所述第一触控事件发送至所述虚拟显示屏中;根据所述第一触控事件控制所述第二显示界面。
在本发明的一种示例性实施例中,所述第二终端的个数为多个,所述第一处理器被配置为:若所述第二终端的个数为多个,则在多个所述第二终端中确定出第三终端以及第四终端;将与所述第一显示屏对应的所述第一显示界面投屏至所述第三终端,以创建所述第三终端与所述第一显示界面之间的第一控制关系;将与所述虚拟显示屏对应的所述第二显 示界面投屏至所述第四终端,以创建所述第四终端与所述第二显示界面之间的第二控制关系。
在本发明的一种示例性实施例中,所述生成第一显示界面,控制所述第一显示屏显示所述第一显示界面,所述第一处理器被配置为:确定与所述第一应用对应的第一显示界面;获取与所述第一显示屏对应的第一屏幕标识,并确定出与所述第一屏幕标识对应的第一存储标识;将与所述第一显示界面对应的第一界面数据存储至所述第一存储区域,以控制所述第一显示屏显示所述第一显示界面;其中,所述第一存储区域与所述第一存储标识对应。
在本发明的一种示例性实施例中,所述创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面,所述第一处理器被配置为:确定与所述第一应用对应的第二显示界面;获取与所述虚拟显示屏对应的第二屏幕标识,并确定出与所述第二屏幕标识对应的第二存储标识;将与所述第二显示界面对应的第二界面数据存储至所述第二存储区域,以控制所述虚拟显示屏显示所述第二显示界面;其中,所述第二存储区域与所述第二存储标识对应。
在本发明的一种示例性实施例中,所述创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面,所述第一处理器被配置为:确定与第二应用对应的第二显示界面;获取与所述虚拟显示屏对应的第二屏幕标识,并确定出与所述第二屏幕标识对应的第二存储标识;将与所述第二显示界面对应的第二界面数据存储至所述第二存储区域,以控制所述虚拟显示屏显示所述第二显示界面;其中,所述第二存储区域与所述第二存储标识对应。
在本发明的一种示例性实施例中,所述创建虚拟显示屏,所述第一处理器被配置为:响应作用于所述第一显示屏的屏幕创建操作,创建虚拟显示屏。
在本发明的一种示例性实施例中,所述创建虚拟显示屏,所述第一处理器被配置为:接收第二终端发送的屏幕创建指令,并基于所述屏幕创建指令,创建虚拟显示屏。
在本发明的一种示例性实施例中,所述第一处理器被配置为:响应作用于所述第一终端的投屏触发操作,获取与所述投屏触发操作对应的投屏指令;若所述投屏指令中携带着的所述屏幕标识与所述第一屏幕标识一致,则确定出与所述第一屏幕标识对应的第一存储标识;从与所述第一存储标识对应的第一存储区域中获取第一录屏数据,将所述第一录屏数据发送至所述第二终端,以将与所述第一显示屏对应的所述第一显示界面投屏至所述第二终端;若所述投屏指令中携带着的所述屏幕标识与所述第二屏幕标识一致,则确定出与所述第二屏幕标识对应的第二存储标识;从与所述第二存储标识对应的第二存储区域中获取第二录屏数据,将所述第二录屏数据发送至所述第二终端,以将与所述第虚拟显示屏对应的所述第二显示界面投屏至所述第二终端。
在本发明的一种示例性实施例中,所述第一处理器被配置为:
接收所述第二终端发送的投屏指令;若所述投屏指令中携带着的所述屏幕标识与所述第一屏幕标识一致,则确定出与所述第一屏幕标识对应的第一存储标识;从与所述第一存储标识对应的第一存储区域中获取第一录屏数据,将所述第一录屏数据发送至所述第二终 端,以将与所述第一显示屏对应的所述第一显示界面投屏至所述第二终端;若所述投屏指令中携带着的所述屏幕标识与所述第二屏幕标识一致,则确定出与所述第二屏幕标识对应的第二存储标识;从与所述第二存储标识对应的第二存储区域中获取第二录屏数据,将所述第二录屏数据发送至所述第二终端,以将与所述第虚拟显示屏对应的所述第二显示界面投屏至所述第二终端。
在本发明的一种示例性实施例中,所述将与所述第一显示屏对应的所述第一显示界面投屏至所述第二终端之后,所述第一处理器被配置为:创建与所述第一显示屏对应的第二虚拟输入设备;接收所述第二终端发送与所述第一显示屏对应的第二触控信息;基于所述第二虚拟输入设备,模拟出与所述第二触控信息对应的第二触控事件,以将所述第二触控事件发送至所述虚拟显示屏中;根据所述第二触控事件控制所述第二显示界面。
根据本发明实施例的第二个方面,所述第二终端包括第二处理器和第二显示屏,所述第二终端与第一终端通信连接,所述第二处理器被配置为:接收投屏至所述第二终端的第二显示界面,并将所述第二显示界面显示;其中,所述第二显示界面显示在虚拟显示屏中,所述虚拟显示屏由所述第一处理器创建,所述第一处理器还生成第一显示界面,并控制所述第一显示屏显示在所述第一显示界面。
在本发明的一种示例性实施例中,所述第二处理器被配置为:向所述第一终端发送屏幕创建指令,以使与所述第一终端对应的所述第一处理器创建所述虚拟显示屏。
在本发明的一种示例性实施例中,所述第二处理器被配置为:将与所述第二终端对应的第一地址信息发送至所有潜在第一终端,以接收所有所述潜在第一终端发送的第二地址信息以及终端标识;将所述终端标识显示,响应作用于所述终端标识上的选择操作,将与所述选择操作对应的所述潜在第一终端确定为所述第一终端,以创建所述第二终端与所述第一终端之间的通信连接。
在本发明的一种示例性实施例中,所述接收投屏至所述第二终端的第二显示界面,所述第二处理器被配置为:向所述第一终端发送与所述虚拟显示屏对应的投屏指令,以接收投屏至所述第二终端的第二显示界面。
在本发明的一种示例性实施例中,所述将所述第二显示界面显示之后,所述第二处理器被配置为:响应作用于所述第二显示屏上的触控操作,将与所述触控操作对应的触控信息发送至所述第一终端,以使所述第一终端基于所述触控信息对所述虚拟显示屏进行控制。
在本发明的一种示例性实施例中,所述触控信息包括触控坐标;所述将与所述触控操作对应的触控信息发送至所述第一终端,所述第二处理器被配置为:接收所述第一终端发送的与所述第一显示屏对应的被控屏幕分辨率;对所述主控屏幕分辨率和所述被控屏幕分辨率进行计算,以得到屏幕转换比例;其中,所述主控屏幕分辨率与所述第二显示屏对应;利用所述屏幕转换比例,对所述触控坐标进行转换得到目标坐标,以将所述目标坐标发送至所述第一终端。
在本发明的一种示例性实施例中,所述将所述第二显示界面显示,所述第二处理器被 配置为:接收所述第一终端发送的与所述第二显示界面对应的视频流,对所述视频流进行解码得到录屏数据;
基于所述录屏数据,显示所述第二显示界面。
根据本发明实施例的第三个方面,所述系统包括第一终端和第二终端,所述第一终端和所述第二终端通信连接,所述第一终端包括第一处理器和第一显示屏,所述第二终端包括第二处理器和第二显示屏,包括:所述第一处理器,被配置为生成第一显示界面,控制所述第一显示屏显示所述第一显示界面;创建虚拟显示屏;创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面;将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端,以使第二终端显示所述第二显示界面;所述第二处理器,被配置为接收投屏至所述第二终端的第二显示界面,并控制所述第二显示屏显示所述第二显示界面。
在本发明的一种示例性实施例中,所述创建所述虚拟显示屏之后,包括:所述第一处理器,被配置为为所述虚拟显示屏分配第二屏幕标识,其中,所述第二屏幕标识与第一屏幕标识不同,所述第一屏幕标识为所述第一处理器分配给所述第一显示屏的屏幕标识。
在本发明的一种示例性实施例中,所述创建悬浮窗口,包括:
所述第一处理器,被配置为获取所述第二终端发送的与所述第二显示屏对应的屏幕分辨率,并根据所述屏幕分辨率确定虚拟显示屏的目标分辨率;基于所述目标分辨率,创建所述虚拟显示屏。
在本发明的一种示例性实施例中,所述控制所述虚拟显示屏显示所述第二显示界面,包括:所述第一处理器,被配置为获取所述第二终端发送的终端类型信息,并确定与所述终端类型信息对应的横竖屏模式;按照所述横竖屏模式,在所述虚拟显示屏中显示第二显示界。
在本发明的一种示例性实施例中,所述控制所述虚拟显示屏显示所述第二显示界面,包括:所述第一处理器,被配置为创建悬浮窗口;以所述悬浮窗口为载体,将在所述虚拟显示屏中显示的所述第二显示界面显示在所述悬浮窗口中。
在本发明的一种示例性实施例中,所述以所述悬浮窗口为载体,将所述虚拟显示屏显示在所述悬浮窗口中,包括:所述第一处理器,被配置为确定与所述虚拟显示屏对应的第一屏幕标识,并确定出与所述第一屏幕标识对应的第一存储标识;从与所述第一存储标识对应的第一存储区域中获取屏幕数据,并根据所述屏幕数据,将显示在虚拟显示屏中的第二显示界面显示在悬浮窗口中。
在本发明的一种示例性实施例中,包括:所述第一处理器,被配置为根据所述终端类型信息,在多个所述第二显示界面中确定出一个目标显示界面;在所述虚拟显示屏中显示所述目标显示界面。
在本发明的一种示例性实施例中,所述第二终端显示所述第二显示界面之后,包括:所述第一处理器,被配置为若获取到与所述虚拟显示屏对应的隐藏/显示指令,将所述悬浮窗口隐藏/显示;和/或若获取到与所述虚拟显示屏对应的移动指令,获取与所述移动指令对 应的移动信息;基于所述移动信息,对所述悬浮窗口进行移动;和/或若获取到与虚拟显示屏对应的放大/缩小指令,则确定出与所述放大/缩小指令对应的调整尺寸;按照所述调整尺寸,对所述悬浮窗口的所述窗口尺寸信息进行调整。
在本发明的一种示例性实施例中,所述将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端,包括:所述第一处理器,被配置为获取投屏指令;若所述投屏指令中携带着所述存储标识,则从与所述存储标识对应的存储中获取录屏数据,并将所述录屏数据发送至所述第二终端,以将与所述虚拟显示屏对应的所述第二应用界面投屏至所述第二终端。
在本发明的一种示例性实施例中,所述将所述录屏数据发送至所述第二终端,以将与所述虚拟显示屏对应的所述第二应用界面投屏至所述第二终端,包括:所述第一处理器,被配置为对所述录屏数据进行编码,得到与所述虚拟显示屏对应的视频流;将所述视频流发送至所述第二终端,以将所述第二显示界面投屏至所述第二终端。
在本发明的一种示例性实施例中,所述第二终端显示所述第二显示界面之后,包括:所述第一处理器,被配置为创建与所述虚拟显示屏对应的第一虚拟输入设备;接收所述第二终端发送与所述虚拟显示屏对应的第一触控信息,基于所述第一虚拟输入设备,模拟出与所述第一触控信息对应的第一触控事件,以将所述第一触控事件发送至所述虚拟显示屏中;根据所述第一触控事件控制所述第二显示界面。
在本发明的一种示例性实施例中,所述第二终端的个数为多个,包括:所述第一处理器,被配置为若所述第二终端的个数为多个,则在多个所述第二终端中确定出第三终端以及第四终端;将与所述第一显示屏对应的所述第一显示界面投屏至所述第三终端,以创建所述第三终端与所述第一显示界面之间的第一控制关系;将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第四终端,以创建所述第四终端与所述第二显示界面之间的第二控制关系。
在本发明的一种示例性实施例中,所述生成第一显示界面,控制所述第一显示屏显示所述第一显示界面,包括:所述第一处理器,被配置为确定与所述第一应用对应的第一显示界面;获取与所述第一显示屏对应的第一屏幕标识,并确定出与所述第一屏幕标识对应的第一存储标识;将与所述第一显示界面对应的第一界面数据存储至所述第一存储区域,以控制所述第一显示屏显示所述第一显示界面;其中,所述第一存储区域与所述第一存储标识对应。
在本发明的一种示例性实施例中,所述创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面,包括:所述第一处理器,被配置为确定与所述第一应用对应的第二显示界面;获取与所述虚拟显示屏对应的第二屏幕标识,并确定出与所述第二屏幕标识对应的第二存储标识;将与所述第二显示界面对应的第二界面数据存储至所述第二存储区域,以控制所述虚拟显示屏显示所述第二显示界面;其中,所述第二存储区域与所述第二存储标识对应。
在本发明的一种示例性实施例中,所述创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面,包括:所述第一处理器,被配置为确定与第二应用对应的第二显示界面;获取与所述虚拟显示屏对应的第二屏幕标识,并确定出与所述第二屏幕标识对应的第二存储标识;将与所述第二显示界面对应的第二界面数据存储至所述第二存储区域,以控制所述虚拟显示屏显示所述第二显示界面;其中,所述第二存储区域与所述第二存储标识对应。
在本发明的一种示例性实施例中,所述创建虚拟显示屏,包括:
所述第一处理器,被配置为:响应作用于所述第一显示屏的屏幕创建操作,创建虚拟显示屏。
在本发明的一种示例性实施例中,所述创建虚拟显示屏,包括:
所述第一处理器,被配置为接收第二终端发送的屏幕创建指令,并基于所述屏幕创建指令,创建虚拟显示屏。
在本发明的一种示例性实施例中,包括:所述第一处理器,被配置为响应作用于所述第一终端的投屏触发操作,获取与所述投屏触发操作对应的投屏指令;若所述投屏指令中携带着的所述屏幕标识与所述第一屏幕标识一致,则确定出与所述第一屏幕标识对应的第一存储标识;从与所述第一存储标识对应的第一存储区域中获取第一录屏数据,将所述第一录屏数据发送至所述第二终端,以将与所述第一显示屏对应的所述第一显示界面投屏至所述第二终端;若所述投屏指令中携带着的所述屏幕标识与所述第二屏幕标识一致,则确定出与所述第二屏幕标识对应的第二存储标识;从与所述第二存储标识对应的第二存储区域中获取第二录屏数据,将所述第二录屏数据发送至所述第二终端,以将与所述第虚拟显示屏对应的所述第二显示界面投屏至所述第二终端。
在本发明的一种示例性实施例中,包括:所述第一处理器,被配置为接收所述第二终端发送的投屏指令;若所述投屏指令中携带着的所述屏幕标识与所述第一屏幕标识一致,则确定出与所述第一屏幕标识对应的第一存储标识;从与所述第一存储标识对应的第一存储区域中获取第一录屏数据,将所述第一录屏数据发送至所述第二终端,以将与所述第一显示屏对应的所述第一显示界面投屏至所述第二终端;若所述投屏指令中携带着的所述屏幕标识与所述第二屏幕标识一致,则确定出与所述第二屏幕标识对应的第二存储标识;从与所述第二存储标识对应的第二存储区域中获取第二录屏数据,将所述第二录屏数据发送至所述第二终端,以将与所述第虚拟显示屏对应的所述第二显示界面投屏至所述第二终端。
在本发明的一种示例性实施例中,所述将与所述第一显示屏对应的所述第一显示界面投屏至所述第二终端之后,包括:所述第一处理器,被配置为创建与所述第一显示屏对应的第二虚拟输入设备;接收所述第二终端发送与所述第一显示屏对应的第二触控信息;基于所述第二虚拟输入设备,模拟出与所述第二触控信息对应的第二触控事件,以将所述第二触控事件发送至所述虚拟显示屏中;根据所述第二触控事件控制所述第二显示界面。
根据本发明实施例的第四个方面,应用于第一终端,所述第一终端包括第一显示屏, 所述第一终端与所述第二终端通信连接,所述方法包括:生成第一显示界面,控制所述第一显示屏显示所述第一显示界面;创建虚拟显示屏;创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面;将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端,以使第二终端显示所述第二显示界面。
根据本发明实施例的第五个方面,应用于第二终端,所述第二终端包括第二显示屏,所述第二终端与所述第一终端通信连接,所述方法包括:接收投屏至所述第二终端的第二显示界面,并将所述第二显示界面显示;其中,所述第二显示界面显示在虚拟显示屏中,所述虚拟显示屏由所述第一终端创建,所述第一终端还生成第一显示界面,并控制所述第一显示屏显示所述第一显示界面。
根据本发明实施例的第六个方面,所述方法用于投屏控制系统,所述投屏控制系统包括第一终端和第二终端,所述第一终端和所述第二终端通信连接,所述第一终端包括第一显示屏,所述第二终端包括第二显示屏,包括:所述第一终端,被配置为生成第一显示界面,控制所述第一显示屏显示所述第一显示界面;创建虚拟显示屏;创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面;将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端,以使第二终端显示所述第二显示界面;所述第二终端,被配置为接收投屏至所述第二终端的第二显示界面,并控制所述第二显示屏显示所述第二显示界面。
根据本发明实施例的第七个方面,提供一种电子设备,包括:处理器和存储器;其中,存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现上述任意示例性实施例的投屏控制方法。
根据本发明实施例的第八个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意示例性实施例中的投屏控制方法。
由上述技术方案可知,本发明示例性实施例中的投屏控制方法、投屏控制装置、计算机存储介质及电子设备至少具备以下优点和积极效果:
在本公开的示例性实施例提供的方法及装置中,一方面,控制第一显示屏显示第一显示界面,创建虚拟显示屏,并控制虚拟显示屏显示第二显示界面。在第一终端中存在第一显示屏和虚拟显示屏,提高了对第一终端屏幕的利用率;另一方面,将与虚拟显示屏对应的第二显示界面投屏至第二终端,当对第一终端中显示的内容进行更换时,用户可以在第二终端中看到虚拟显示屏中显示的第二显示界面,不会中断对界面内容的显示,优化了用户的观看体验度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例, 并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出本公开实施例中用于投屏的第一终端的流程示意图;
图2示意性示出本公开实施例的用于投屏的第一终端中创建虚拟显示屏之后的流程示意图;
图3示意性示出本公开实施例的用于投屏的第一终端中创建虚拟显示屏之后的流程示意图;
图4示意性示出本公开实施例的用于投屏的第一终端中创建悬浮窗口的流程示意图;
图5示意性示出本公开实施例的用于投屏的第一终端中控制虚拟显示屏显示第二显示界面的流程示意图;
图6示意性示出本公开实施例的用于投屏的第一终端中在虚拟显示屏中显示目标显示界面的流程示意图;
图7示意性示出本公开实施例的用于投屏的第一终端中控制第二终端显示第二显示界面之后的流程示意图;
图8示意性示出本公开实施例的用于投屏的第一终端中将与虚拟显示屏对应的第二显示界面投屏至第二终端的流程示意图;
图9示意性示出本公开实施例的用于投屏的第一终端中将与虚拟显示屏对应的第二显示界面投屏至第二终端的流程示意图;
图10示意性示出本公开实施例的用于投屏的第一终端中对第一录屏数据进行处理的流程示意图;
图11示意性示出本公开实施例的用于投屏的第一终端中第二终端显示第二显示界面之后的流程示意图;
图12示意性示出本公开实施例的用于投屏的第一终端中在创建第二终端与虚拟显示屏之间的控制关系的流程示意图;
图13示意性示出本公开实施例的用于投屏的第一终端中控制第一显示屏显示第一显示界面的流程示意图;
图14示意性示出本公开实施例的用于投屏的第一终端中控制虚拟显示屏显示第二显示界面的流程示意图;
图15示意性示出本公开实施例的用于投屏的第一终端中控制虚拟显示屏显示第二显示界面的流程示意图;
图16示意性示出本公开实施例的用于投屏的第二终端中将与第一显示屏对应的第一显示界面投屏至第二终端的流程示意图;
图17示意性示出本公开实施例的用于投屏的第二终端中根据第二触控事件控制第二显示界面的流程示意图;
图18示意性示出本公开实施例的用于投屏的第二终端中确定第一终端的流程示意图;
图19示意性示出本公开实施例的用于投屏的第二终端中在所有潜在第一终端中确定出第一终端的交互示意图;
图20示意性示出本公开实施例的用于投屏的第二终端中第一终端以及第二终端的框架图;
图21示意性示出本公开实施例的用于投屏的第二终端中将与触控操作对应的触控信息发送至第一终端的流程示意图;
图22示意性示出本公开实施例的用于投屏的第二终端中将第二显示界面显示的流程示意图;
图23示意性示出本公开实施例的用于投屏的第二终端中对视频流进行解码的过程;
图24示意性示出本公开实施例中投屏控制方法的流程示意图;
图25示意性示出本公开实施例中一种用于投屏控制方法的电子设备;
图26示意性示出本公开实施例中一种用于投屏控制方法的计算机非瞬态可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等;用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”和“第二”等仅作为标记使用,不是对其对象的数量限制。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。
针对相关技术中存在的问题,本公开提出了一种用于投屏的第一终端。图1示出了第一处理器将第二显示界面投屏至第二终端的流程示意图,如图1所示,第一处理器将第二显示界面投屏至第二终端至少包括以下步骤:
步骤S110.生成第一显示界面,控制第一显示屏显示第一显示界面。
步骤S120.创建虚拟显示屏。
步骤S130.创建第二显示界面,并控制虚拟显示屏显示第二显示界面。
步骤S140.将与虚拟显示屏对应的第二显示界面投屏至第二终端,以使第二终端显示第二显示界面。
在本公开的示例性实施例提供的方法及装置中,一方面,控制第一显示屏显示第一显示界面,创建虚拟显示屏,并控制虚拟显示屏显示第二显示界面。在第一终端中存在第一显示屏和虚拟显示屏,提高了对第一终端屏幕的利用率;另一方面,将与虚拟显示屏对应的第二显示界面投屏至第二终端,当对第一终端中显示的内容进行更换时,用户可以在第二终端中看到虚拟显示屏中显示的第二显示界面,不会中断对界面内容的显示,优化了用户的观看体验度。
下面对投屏控制方法的各个步骤进行详细说明。
在步骤S110中,生成第一显示界面,控制第一显示屏显示第一显示界面。
在本公开的示例性实施例中,第一终端指的是被控制的终端。通常而言,第一终端可以是具有大尺寸屏幕的终端。第二终端指的是控制第一终端的终端,通常而言,第二终端可以是移动终端,具体地,第二终端可以是手机终端,可以是平板终端,本示例性实施例对此不做特殊限定。
在第一终端中包括第一处理器以及第一显示屏,在第二终端中包括第二处理器和第二显示屏。第一显示界面指的是显示在第一显示屏中的一个界面,具体地,第一显示界面包含一个activity(活动),活动指的是一个可视化的用户界面,该用户界面具体由很多个view(视图)叠加而成,并且,在用户界面中发放置有UI(用户界面)组件,供用户交互。
假设,此时用户打开一个应用软件,所看到的界面正是一个活动,当点击该界面上的一个超链接时,会从当前界面跳转至另一个界面,即跳转至一个新的活动。
第一显示界面可以是用户需要显示在第一显示屏中的任意一个界面,本示例性实施例对此不做特殊限定。
举例而言,生成与A应用对应的管理界面,即生成第一显示界面,并将与A应用对应的管理界面显示在第一显示屏中。
在本示例性实施例中,控制第一显示屏显示第一显示界面,这为后续在不同的显示屏中显示不同的显示界面奠定了基础。
在步骤S120中,创建虚拟显示屏。
在本公开的示例性实施例中,虚拟显示屏指的是利用第一处理器,创建出的区别于第一显示屏的另外一个屏幕。值得说明的是,此时创建出的虚拟显示屏,用户是无法看到的。并且,在创建虚拟显示屏的同时,第一处理器会为虚拟显示屏分配屏幕标识B以及与屏幕标识B对应的存储标识b。不仅如此,在创建出虚拟显示屏之前,第一处理器还会为第一显示屏分配屏幕标识A以及与屏幕标识对应的存储标识b。
存储标识用于标记不同的存储区域,通过将不同的屏幕数据存储至不同的存储区域中,就可以实现将不同的显示界面分别显示在第一显示屏和虚拟显示屏中。
举例而言,若第一终端为安卓系统,可以利用DisplayManager组件(屏幕管理组件)来创建虚拟显示屏。
在可选的实施例中,创建虚拟显示屏,第一处理器被配置为:
响应作用于第一显示屏的屏幕创建操作,创建虚拟显示屏。
其中,屏幕创建操作指的是创建虚拟显示屏的操作,该操作可以是用户作用于第一显示屏的一种操作,具体地,屏幕创建操作可是点击操作,可以是双击操作,还可以是长按操作,本示例性实施例对此不做特殊限定。
举例而言,响应作用于第一显示屏中应用B的双击操作,利用函数SurfaceControl.creatDisplay()来创建虚拟显示屏。
在本示例性实施例中,屏幕创建操作可以是作用于第一显示屏上的操作。用户可以通过触控第一显示屏,实现对虚拟显示屏的创建,增加了创建虚拟显示屏的灵活度。
在可选的实施例中,创建虚拟显示屏,第一处理器被配置为:接收第二终端发送的屏幕创建指令,并基于屏幕创建指令,创建虚拟显示屏。
其中,屏幕创建指令也可以是第二终端发送至第一终端中的。
举例而言,用户作用于第二终端的创建控件上点击操作,此时将与该操作对应的屏幕创建指令发送至第一终端。第一终端在接收到屏幕创建指令之后,创建出虚拟显示屏。
在本示例性实施例中,屏幕创建指令可以是第二终端发送至第一终端中的,不仅实现了对虚拟显示屏的创建,还增加了创建虚拟显示屏的灵活度。
在可选的实施例中,图2示出了用于投屏的第一终端中创建虚拟显示屏之后的流程示意图,如图2所示,该流程至少包括以下步骤:在步骤S210中,创建悬浮窗口。
其中,若不创建悬浮窗口,显示在虚拟显示屏中的第二显示界面是不会被用户观看到的。基于此,为了用户可以观看到显示在虚拟显示屏中的第二显示界面,需要创建悬浮窗口。
悬浮窗口指的是显示在第一终端中的一个窗口,并且,悬浮窗口是虚拟显示屏的载体,即虚拟显示屏依托悬浮窗口显示在第一终端中。
举例而言,若第一终端的系统为安卓系统,则可以通过安卓系统中的窗口管理服务,来创建悬浮窗口。
在步骤S220中,以悬浮窗口为载体,将在虚拟显示屏中显示的第二显示界面显示在悬浮窗口中。
其中,第一显示界面其实是由多个视图合成的,悬浮窗可以是与第一显示界面对应的悬浮视图。当创建虚拟显示屏之后,第一处理器会为虚拟显示屏分配对应的屏幕标识以及与屏幕标识对应的存储标识。存在与虚拟显示屏对应的栈,在栈中存在与存储标识对应的存储区域,存储区域中存储着屏幕数据,将这些存储在存储区域中的屏幕数据发送至悬浮窗口,就可以使得用户看到显示在悬浮窗口中的虚拟显示屏中的内容。
具体地,以悬浮窗口为载体,创建悬浮窗口的过程如下:利用surfaceflinger对于第二 显示界面对应的视图进行合成,得到合成结果;将合成结果发送至目标栈中(目标栈与虚拟显示屏对应),此时,在目标栈中与第一存储标识对应的第一存储区域中存储着与虚拟显示屏对应的显示数据。
存在与第一显示界面对应的悬浮视图(即悬浮窗口),将合成结果(利用surfaceflinger对于第二显示界面对应的视图进行合成所得到的结果)放置在悬浮视图中,得到更新后的悬浮视图。基于此,利用surfaceflinger对更新后的悬浮视图以及其他视图(与第一显示界面对应的,除去悬浮视图之外的视图)进行合成得到另一个合成结果,将另一个合成结果发送至目标栈,并存储在目标栈中与第二存储标识对应的第二存储区域中。基于此,用户可以看到显示在第一显示屏上的第一显示界面,用户还可以看到显示在虚拟显示屏上的第二显示界面。
举例而言,将虚拟显示屏放置在悬浮窗口中,以使所述悬浮窗口作为虚拟显示屏在第一终端中的载体。
在本示例性实施例中,以悬浮窗口作为载体,将虚拟显示屏显示在悬浮窗口中,以便后续通过调节悬浮窗口,来实现对虚拟显示屏的隐藏/显示、移动等操作。
在可选的实施例中,图3示出了用于投屏的第一终端中将在虚拟显示屏中显示的第二显示界面显示在悬浮窗口中的流程示意图,如图3所示,该流程至少包括以下步骤:在步骤S310中,确定与虚拟显示屏对应的第一屏幕标识,并确定出与第一屏幕标识对应的第一存储标识。
其中,第一屏幕标识指的是第一处理器分配给虚拟显示屏的标识,值得说明的是,第一处理器还分配给了第一显示屏一个屏幕标识,并且,与第一显示屏对应的屏幕标识区别于与虚拟显示屏对应的第一屏幕标识。
第一存储标识指的是存储屏幕数据的标识,并且,第一存储标识与第一屏幕标识是对应的,具体地,一个显示屏对应于一个栈,例如,存在与第一显示屏对应的栈,也存在与虚拟显示屏对应的栈。在每个栈中存在不同的存储区域,不同的存储区域中存储着不同的数据,虚拟显示屏中显示什么样的显示界面,取决于与第一屏幕标识对应的栈中的第一存储区域中存储着什么样的屏幕数据,其中,第一存储区域与第一存储标识对应,第一存储标识与分配给虚拟显示屏的屏幕标识对应。
举例而言,确定与虚拟显示屏对应的第一屏幕标识为Display2,确定出与Display2对应的第一存储标识为3。
在步骤S320中,从与第一存储标识对应的第一存储区域中获取屏幕数据,将显示在虚拟显示屏中的第二显示界面显示在悬浮窗口中。
其中,第一存储区域为与第一存储标识对应的区域。
举例而言,根据存储标识3,从surface(存储屏幕数据的对象)中获取屏幕数据,并且,该屏幕数据与第二显示界面对应,基于此,可以在虚拟显示屏中显示出第二显示界面。
在本示例性实施例中,从与第一存储标识对应的第一存储区域中获取屏幕数据,并根 据屏幕数据,在悬浮窗口中显示虚拟显示屏,由于存储区域中可能存储着与多个存储标识对应的屏幕数据,因此,通过第一存储标识,可以从存储区域中精准的获取与第一存储标识对应的屏幕数据,进而,将显示在虚拟显示屏中的第二显示界面显示在虚拟显示屏中。
在可选的实施例中,创建虚拟显示屏之后,第一处理器被配置为:为虚拟显示屏分配第一屏幕标识,其中,第一屏幕标识与第二屏幕标识不同,第二屏幕标识为第一处理器分配给第一显示屏的屏幕标识。
其中,第一屏幕标识指的是用于区分第一显示屏和虚拟显示屏的标识,具体地,第一屏幕标识可以是数字,可以是字符串,可以是字母,本示例性实施例对此不做特殊限定。
之所以需要为虚拟显示屏分配第一屏幕标识,是因为当创建出虚拟显示屏后,在第一终端中存在了两个显示屏(即第一显示屏和虚拟显示屏),为了区分第一显示屏和虚拟显示屏,将会为为虚拟显示屏分配第一屏幕标识,为第一显示屏分配第二屏幕标识。
举例而言,第一处理器创建出虚拟显示屏之后,会为虚拟显示屏分配第一屏幕标识1,以便与分配给第一显示屏的第二屏幕标识2区分。
在本示例性实施例中,为虚拟显示屏分配第一屏幕标识,并且,第一屏幕标识与第二屏幕标识不同。这为后续区分虚拟显示屏以及第一显示屏奠定了基础,为后续第二终端控制虚拟显示屏提供了便利。
在可选的实施例中,图4示出了用于投屏的第一终端中创建悬浮窗口的流程示意图,如图4所示,该流程至少包括以下步骤:在步骤S410中,获取第二终端发送的与第二显示屏对应的屏幕分辨率,并根据屏幕分辨率确定虚拟显示屏的目标分辨率。
其中,第二显示屏的屏幕分辨率指的是第二显示屏的屏幕所能显示的像素的多少,目标分辨率指的是虚拟显示屏所能显示的像素的多少。
通常而言,由于第二终端为移动终端,第一终端为大尺寸终端,因此,目标分辨率可以与移动终端的屏幕分辨率一致。具体地,若第二终端为手机终端,则可以使目标分辨率与手机终端的屏幕分辨率一致;若第二终端为平板终端,则可以使目标分辨率平板终端的屏幕分辨率一致。
举例而言,第二终端发送的与第二显示屏的屏幕分辨率为1920×1080,基于此,目标分辨率可以与屏幕分辨率一致,即目标分辨率也为1920×1080。
在步骤S420中,基于目标分辨率,创建虚拟显示屏。
其中,根据目标分辨率创建出虚拟显示屏。
举例而言,创建虚拟显示屏,并且,虚拟显示屏的分辨率为目标分辨率1920×1080。
在本示例性实施例中,基于目标分辨率创建虚拟显示屏,并且,目标分辨率与屏幕分辨率对应,以使显示在第一终端的虚拟显示屏的分辨率适配于第二终端的第二显示屏的分辨率,优化了用户的后续控制体验度。
在步骤S130中,创建第二显示界面,并控制虚拟显示屏显示第二显示界面。
在本示例性实施例中,第二显示界面区别与第一显示界面。一方面,若第一显示界面 是应用A的管理界面,则第二显示界面可以是相同应用(即应用A)的文件界面,可以是应用A的设置界面,还可以是应用A的任何一个与第一显示界面存在区别的界面,本示例性实施例对此不做特殊限定;另一方面,若第一显示界面是应用A的管理界面,第二显示界面还可以是应用B(即非应用A)的管理界面,还可以是应用B的其他任何一个界面,本示例性实施例对此不做特殊限定;再一方面,第一应用界面和第二应用界面可以是任何存在区别的两个界面,不限定与某几个应用相关。
值得说明的是,通过将与第二显示界面对应的屏幕数据存储在存储区域中,就可以控制虚拟显示屏显示第二显示界面。其中,存储区域的存储标识与虚拟显示屏的屏幕标识对应。并且,此时将第二显示界面显示在虚拟显示屏的显示过程并不是真正的显示,因此,用户是无法在第一终端上看到第二显示界面的。
举例而言,创建与应用B对应的第二显示界面,并将第二显示界面显示在虚拟显示屏中。
在可选的实施例中,图5示出了用于投屏的第一终端中控制虚拟显示屏显示第二显示界面的流程示意图,如图5所示,该流程至少包括以下步骤:在步骤S510中,获取第二终端发送的终端类型信息,并确定与终端类型信息对应的横竖屏模式。
其中,终端类型信息指的是描述终端类型的信息,具体地,由于第二终端为移动终端,因此,终端类型信息可以是手机,可以是平板,本示例性实施例对此不做特殊限定。
横竖屏模式指的是显示第二显示界面的方式,具体地,横竖屏模式可以是横屏模式,可以是竖屏模式,本示例性实施例对此不作特殊限定。
举例而言,若获取第二终端发送的终端类型信息为平板,则确定出与平板对应的横竖屏模式为横屏模式;若获取第二终端发送的终端类型信息为手机,则确定出的与手机对应的横竖屏模式为竖屏模式。
在步骤S520中,按照横竖屏模式,在虚拟显示屏中显示第二显示界面。
其中,按照横竖屏模式,在虚拟显示屏中显示第二显示界面。
举例而言,若横竖屏模式为横屏模式,则以横屏的方式在虚拟显示屏中显示第二显示界面。
在本示例性实施例中,基于横竖屏模式,在虚拟显示屏中显示第二显示界面,并且,横竖屏模式与终端类型信息对应,确保第一终端显示第二显示界面的横竖屏模式与第二终端后续显示第二显示界面的横竖屏模式一致,提升了用户的观看体验度。
在步骤S140中,将与虚拟显示屏对应的第二显示界面投屏至第二终端,以使第二终端显示第二显示界面。
其中,将显示在虚拟显示屏中的第二显示界面投屏至第二终端,使得在第二终端也显示第二显示界面。
举例而言,将显示在虚拟显示屏中的与B应用对应的管理界面投屏至第二终端中,以使与B应用对应的管理界面显示在第二终端中。
在可选的实施例中,图6示出了用于投屏的第一终端方法中在虚拟显示屏中显示目标显示界面的流程示意图,如图6所示,该方法至少包括以下步骤:在步骤S610中,据终端类型信息,在多个第二显示界面中确定出一个目标显示界面;其中,多个第二显示界面被预先存储,多个第二显示界面中的图标大小是不同的。
其中,图标大小指的是显示在第二显示界面的图标所具有的大小。值得说明的是,由于第二终端的终端类型是多种多样的,且尺寸不一,因此,通常美术设计人员,针对于同一个显示界面,会设计出适配于不同终端类型的第二终端的界面图。这些适配于不同终端类型的第二终端的界面图即为多个第二显示界面。除此之外,多个图标大小不同的第二显示界面通常会被预先存储。
举例而言,确定出两个与管理界面对应的第二显示界面,具体地,这两个第二显示界面分别为界面X-1和界面X-2,其中,界面X-1适配于移动终端,界面X-2适配于平板终端。
目标显示界面为多个第二显示界面中的一个,并且,目标显示界面是根据终端类型信息确定出的,即多个第二显示界面中适配于终端类型信息的那个界面。
举例而言,由于终端类型信息为平板,因此,目标显示界面为界面X-2。
在步骤S620中,在虚拟显示屏中显示目标显示界面。
其中,确定出目标显示界面之后,在虚拟显示屏中显示该目标显示界面。
举例而言,在虚拟显示屏中显示界面X-2。
在本示例性实施例中,在虚拟显示屏中显示目标显示界面,由于目标显示界面是根据终端类型信息,在所有第二显示界面中确定出的,因此提高了目标显示界面中图标与第二终端的终端类型信息的适配度,优化了用户的观看体验度。
在可选的实施例中,图7示出了用于投屏的第一终端中控制第二终端显示第二显示界面之后的流程示意图,如图7所示,该流程至少包括以下步骤:在步骤S710中,若获取到与虚拟显示屏对应的隐藏/显示指令,将悬浮窗口隐藏/显示。
其中,隐藏/显示指令中包括隐藏虚拟显示屏指令或显示虚拟显示屏的指令。值得说明的是,隐藏/显示指令可以是第二终端发送至第一终端中的,也可以是用户作用于第一显示屏中某一操作后,第一终端中的第一处理器获取的,本示例性实施例对此不做特殊限定。
若获取到与虚拟显示屏对应的隐藏指令,则将悬浮窗口隐藏,进而隐藏虚拟显示屏,此时用户无法在的第一终端中看见第二显示界面;若获取到与虚拟显示屏对应的显示指令,则将悬浮窗口显示,进而显示虚拟显示屏,此时用户可以在第一终端中看到第二显示界面。
举例而言,若获取到与虚拟显示屏对应的显示指令,则将悬浮窗口显示出来,此时用户可以在第一终端中看到显示在悬浮窗口中的第二显示界面。
在步骤S720中,若获取到与虚拟显示屏对应的移动指令,获取与移动指令对应的移动信息。
其中,可以只获取到移动指令,也可以除了获取到显示/隐藏指令之外,还同时获取到 移动指令。
移动指令指的是移动悬浮窗口在第一终端的显示位置的指令,具体地,移动指令可以是第二终端发送至第一终端中的,也可以是用户作用于悬浮窗口之上一种触控操作的,该触控操作可以是拖拽悬浮窗口的操作。
移动信息可以是移动指令中携带着的移动方向以及移动距离,移动信息还可以是与移动指令对应的一切信息,本示例性实施例对此不做特殊限定。
举例而言,若接收到第二终端发送的与虚拟显示屏对应的移动指令,获取与移动指令对应的移动方向,并获取与移动指令对应的移动距离。
在步骤S730中,基于移动信息,对悬浮窗口进行移动。
其中,根据移动信息,对悬浮窗口进行移动,以实现对虚拟显示屏的移动。
举例而言,获取的与移动指令对应的移动信息包括移动距离5像素以及移动方向向上,则将悬浮窗口向上移动5像素。
在步骤S740中,若获取到与虚拟显示屏对应的放大/缩小指令,则确定出与放大/缩小指令对应的调整尺寸。
其中,可以只获取到放大/缩小指令,也可以除了获取到显示/隐藏指令以及移动指令之外,还同时获取到放大/缩小指令。
放大/缩小指令可以是对虚拟显示屏进行放大的指令或对虚拟显示屏进行缩小的指令。若放大/缩小指令是对虚拟显示屏进行放大的指令,则调整尺寸指的是需要将悬浮窗口扩大的尺寸,对应的,若放大/缩小指令是对虚拟显示屏进行缩小的指令,则调整尺寸指的是需要将悬浮窗口缩小的尺寸。
举例而言,若放大/缩小指令是对虚拟显示屏进行放大的指令,则调整尺寸指的是需要将悬浮窗口扩大的尺寸z。
在步骤S750中,按照调整尺寸,对悬浮窗口的窗口尺寸信息进行调整。
其中,按照调整尺寸,对悬浮窗口的窗口尺寸信息进行调整,以实现对虚拟显示屏的放大或缩小。值得说明的是,悬浮窗口的尺寸信息指的是悬浮窗口的绝对尺寸。
举例而言,调整尺寸指的是需要将悬浮窗口扩大的尺寸z,则将悬浮窗口的窗口尺寸信息扩大z,以放大虚拟显示屏。
在本示例性实施例中,若获取到与虚拟显示屏对应的隐藏/显示指令,将悬浮窗口隐藏/显示;若获取到与虚拟显示屏对应的移动指令,则基于与移动指令对应的移动信息,对悬浮窗口进行移动;若获取到与虚拟显示屏对应的放大/缩小指令,则对悬浮窗口的窗口尺寸信息进行调整,以便于用户根据不同的场景对虚拟显示屏进行控制。
在可选的实施例中,图8示出了用于投屏第一终端中将与虚拟显示屏对应的第二显示界面投屏至第二终端的流程示意图,如图8所示,该流程至少包括以下步骤:在步骤S810中,获取投屏指令。
其中,投屏指令指的是将第二显示界面投屏至第二终端的指令,具体地,投屏指令可 以是第二终端发送至第一终端中的,也可以是用户作用于第一终端中某个操作时所产生的指令,本示例性实施例对此不做特殊限定。
举例而言,获取第二终端发送的投屏指令。
在步骤S820中,若投屏指令中携带着第一屏幕标识,则确定与第一屏幕标识对应的第一存储标识。
其中,若与投屏指令中携带着第一屏幕标识,则可以根据第一屏幕标识,确定出与之对应的第一存储标识。
举例而言,投屏指令中携带着第一屏幕标识1,则此可以得到与第一屏幕标识1对应的第一存储标识01。
在步骤S830中,从与第一存储标识对应的第一存储区域中获取第一录屏数据,并将第一录屏数据发送至第二终端,以将与虚拟显示屏对应的第二显示界面投屏至第二终端。
其中,第一录屏数据指的是与第一屏幕标识对应的虚拟显示屏上的屏幕数据。将第一录屏数据发送至第二终端之后,就实现了将与虚拟显示屏对应的第二显示界面投屏至第二终端的过程。
举例而言,确定出与第一存储标识01对应的第一存储区域,并将存储在第一存储区域中的第一录屏数据发送至第二终端,以实现将第二显示屏投屏至第二终端。
在本示例性实施例中,根据投屏指令中携带着的第一屏幕标识,将对应的第一录屏数据发送至第二终端,即实现了将第二显示界面投屏至第二终端,有助于后续通过第二终端,对虚拟显示屏进行控制,避免了现有技术中,当更换虚拟显示屏中显示的内容时,需要对虚拟显示屏中显示的内容进行中断的情况发生,优化了用户的体验度。
在可选的实施例中,图9示出了用投屏的第一终端中将与虚拟显示屏对应的第二显示界面投屏至第二终端的流程示意图,如图9所示,该流程至少包括以下步骤:在步骤S910中,对第一录屏数据进行编码,得到与虚拟显示屏对应的视频流。
其中,与第一显示屏对应的第一录屏数据以及与虚拟显示屏对应的录屏数据通常会存储在同一个对象中。通过存储标识,可以只获取与虚拟显示屏对应的第一录屏数据。
举例而言,图10示意性示出了对第一录屏数据进行处理的流程示意图,如图10所示,其中,对象1010为存储着录屏数据的对象,录屏数据包括与虚拟显示屏对应的第一录屏数据1020以及与第一显示屏对应的录屏数据,基于第一屏幕标识,可以从对象1010中获取到的与虚拟显示屏对应的第一录屏数据1020。
在获取到与虚拟显示屏对应的第一录屏数据1020之后,对第一女录屏数据中进行编码,可以得到视频流1030,该视频流1030与虚拟显示屏对应。
举例而言,如图所示,对第一录屏数据中进行编码,可以得到视频流1030,该视频流1030与虚拟显示屏对应。
在步骤S920中,将视频流发送至第二终端,以将第二显示界面投屏至第二终端。
其中,将与虚拟显示屏对应的视频流发送至第二终端,即可以将第二显示界面投屏至 第二终端。具体地,可以通过H264(视频的编码层的标准格式)将视频里流发送至第二终端,还可以通过别的格式将视频流发送至第二终端,本示例性实施例对此不做特殊限定。
举例而言,将图10所示的视频流1030发送至第二终端,即实现了将第二显示界面投屏至第二终端的过程。
在本示例性实施例中,将视频流发送至第二终端,以将第二显示界面投屏至第二终端,有助于后续利用第二终端,实现对第一终端中虚拟显示屏的控制。
在可选的实施例中,图11示出了应用于投屏的第一终端中第二终端显示第二显示界面之后的流程示意图,如图11所示,该方法至少包括以下步骤:在步骤S1110中,创建与虚拟显示屏对应的目标第一虚拟输入设备。
其中,由于虚拟显示屏为第一终端中的第二块屏幕,即使已经为虚拟显示屏分配了第一屏幕标识,但是,第一处理器仍然默认会将接收到的触控信息发送至第一显示屏。
为了可以将触控信息发送至虚拟显示屏,以实现对虚拟显示屏的控制,就需要创建与虚拟显示屏对应的第一虚拟输入设备。
举例而言,创建与虚拟显示屏对应的第一虚拟输入设备X-2。
在步骤S1120中,接收第二终端发送与虚拟显示屏对应的第一触控信息。
其中,当用户通过第二终端控制虚拟显示屏时,会作用于第二终端触控操作,第一触控信息就为此时与触控操作对应的信息。第二终端在获取到第一触控信息之后,会将第一触控信息发送至第一终端。
举例而言,接收第二终端发送的与虚拟显示屏对应的第一触控信息。
在步骤S1130中,基于第一虚拟输入设备,模拟出与第一触控信息对应的第一触控事件,以将第一触控事件发送至虚拟显示屏中。
其中,第一触控事件指的是根据触控信息,模拟出的与触控操作对应的事件。值得说明的是,第一触控事件是由第一虚拟输入设备模拟出的。
举例而言,通过第一虚拟输入设备,模拟出与第一触控信息对应的第一触控事件,具体地,模拟出的第一触控事件为输入事件。基于此,将输入事件发送至虚拟显示屏中。
在步骤S1140中,根据第一触控事件控制第二显示界面。
其中,根据第一触控事件,控制第二显示界面。
此时,当获取到第一触控信息时,可以基于第一虚拟输入设备,模拟出与第一触控信息对应的第一触控事件,进而根据第一触控事件实现对虚拟显示屏的控制。
举例而言,第一触控事件为输入事件,进而在第二显示界面输入对应的内容。
在本示例性实施例中,一方面,创建第一虚拟输入设备,以避免第一触控信息只作用于第一显示界面的情况发生;另一方面,模拟出与第一触控信息对应的第一触控事件,根据第一触控事件控制第二显示界面,实现了利用第二终端控制第一终端的过程。
在可选的实施例中,图12示出了用于投屏的第一终端中在创建第二终端与虚拟显示屏之间的控制关系的流程示意图,第二终端的个数为多个,如图12所示,该流程至少包括以 下步骤:在步骤S1210中,若第二终端的个数为多个,则在多个第二终端中确定出第三终端以及第四终端。
其中,若与第一终端处于通信连接的第二终端的个数为多个,则可以在多个第二终端出确定出两个终端,这两个终端分别为第三终端和第四终端。
之所以需要确定出两个终端,是为了让其中一个终端控制第一显示界面,另一个终端控制第二显示界面,进而,增加对于第一显示屏以及虚拟显示屏控制的灵活度。
举例而言,若与第一终端处于通信连接的第二终端的个数为三个,具体地,这三个第二终端分别为终端X-4、终端X-5以及终端X-6。则可以将终端X-4确定为第三终端,将终端X-5确定为第四终端。
在步骤S1220中,将与第一显示屏对应的第一显示界面投屏至第三终端,以创建第三终端与第一显示界面之间的第一控制关系。
其中,在确定出第三终端以及第四终端之后,为了方便第三终端对于第一显示界面的控制,可以将第一显示界面投屏至第三终端,进而创建出第三终端与第一显示界面之间的第一控制关系,以保证后续可以通过第三终端对第一显示界面进行控制。
举例而言,将第一显示界面投屏至第三终端X-4,进而,可以通过第三终端X-4来控制第一显示界面。
在步骤S1230中,将与虚拟显示屏对应的第二显示界面投屏至第四终端,以创建第四终端与第二显示界面之间的第二控制关系。
其中,将第二显示界面投屏至第四终端,进而创建出第二显示界面与第四终端之间的第二控制关系,以保证可以通过第四终端控制第二显示界面。
举例而言,将第二显示界面投屏至第四终端X-5,进而创建出第四终端X-5与第二显示界面之间的第二控制关系,进而后续可以利用第四终端X-5来控制第二显示界面。
在本示例性实施例中,若第二终端的个数为多个,在多个第二终端中确定第三终端以及第四终端,并且,将第一显示界面投屏至第三终端,将第二显示界面投屏至第四终端,增加了控制第一显示界面以及第二显示界面的灵活度。
在可选的实施例中,图13示出了用于投屏的第一终端中控制第一显示屏显示第一显示界面的流程示意图,如图13所示,该流程至少包括以下步骤:在步骤S1310中,确定与第一应用对应的第一显示界面。
其中,第一应用可以是第一终端通过本地下载得到的应用,具体地,第一应用可以是视频会议应用,可以是通讯应用,可以是任何一种用户需要使用的应用,本示例性实施例对此不做特殊限定。
第一显示界面指的是与第一应用对应的一种界面,例如,第一应用为视频会议应用,则第一界面可是与第一应用对应的应用主界面,可以是与第一应用对应的管理界面,还可以是与第一应用对应的会议界面,本示例性实施例对此不做特殊限定。
举例而言,第一应用为通讯应用,确定出的与第一应用对应的第一显示界面为通讯录 界面。
在步骤S1320中,获取与第一显示屏对应的第一屏幕标识,并确定出与第一屏幕标识对应的第一存储标识。
其中,第一处理器会为创建的每个屏幕分配对应的屏幕标识,即会为第一显示屏分配屏幕标识,也会为虚拟显示屏分配屏幕标识。第一屏幕标识指的就是第一处理器分配给虚拟显示屏的屏幕标识。
第一存储标识指的是与第一屏幕标识对应的一种标识,并且,第一存储标识是用于区分不同的存储区域的,不同的存储区域中可以存储不同的屏幕数据。不同的屏幕数据对应于不同的显示界面,基于此,为了在不同的显示屏中显示不同的显示界面,可以将与不同的显示界面对应的屏幕数据存储在不同的存储区域中。
举例而言,获取的与第一显示屏对应的第一屏幕标识为Display1,并且,确定出的与第一屏幕标识对应的第一存储标识为01。
在步骤S1330中,将与第一显示界面对应的第一界面数据存储至第一存储区域,以控制第一显示屏显示第一显示界面;其中,第一存储区域与第一存储标识对应。
其中,第一存储区域即为与第一存储标识对应的存储区域,第一界面数据为与第一显示界面对应的屏幕数据,基于此,将第一界面数据存储至第一存储区域后,即会在第一显示屏中显示第一显示界面。
举例而言,将与第一显示界面对应的第一数据存储至第一存储区域中,其中,第一存储区域与第一存储标识01对应。基于此,即可以控制第一显示屏显示第一显示界面。
在本示例性实施例中,将第一界面数据存储至第一存储区域,不仅控制了第一显示屏显示第一显示界面,而且,通过在对应的存储区域中存储对应的界面数据,为后续在不同的显示屏中显示不同的显示界面奠定了基础。
在可选的实施例中,图14示出了用于投屏的第一终端中控制虚拟显示屏显示第二显示界面的流程示意图,如图14所示,该流程至少包括以下步骤:在步骤S1410中,确定与第一应用对应的第二显示界面。
其中,第二显示界面区别于第一显示界面,并且,第二显示界面也与第一应用对应。
举例而言,由于第一应用为通讯应用,并且确定出的与第一应用对应的第一显示界面为通讯录界面,则第二应用界面可以是与通讯应用对应的设置界面。
在步骤S1420中,获取与虚拟显示屏对应的第二屏幕标识,并确定出与第二屏幕标识对应的第二存储标识。
其中,第二屏幕标识这的是与虚拟显示屏对应的屏幕标识,并且,同样存在与第二屏幕标识对应的第二存储标识,用于存储显示在虚拟显示屏上的界面的屏幕数据。
举例而言,获取与虚拟显示屏对应的第二屏幕标识为Display2,确定出的与第二屏幕标识对应的第二存储标识为02。
在步骤S1430中,将与第二显示界面对应的第二界面数据存储至第二存储区域,以控 制虚拟显示屏显示第二显示界面;其中,第二存储区域与第二存储标识对应。
其中,第二界面数据即为与第二显示界面对应的屏幕数据,第二存储区域即为与第二存储标识对应的存储区域,将第二界面数据存储至第二存储区域,可以控制虚拟显示屏显示第二显示界面。
举例而言,将第二界面数据存储至第二存储区域中,即在虚拟显示屏中显示第二显示界面。
在本示例性实施例中,将第二显示界面对应的第二存储数据存储至第二存储区域,实现了在虚拟显示屏中显示第二显示界面,并且,由于第二显示界面与第一应用对应,进而实现了双屏异显,使得用户可以在第一终端中同时看到属于同一个应用的两个显示界面,优化了用户的体验度。
在可选的实施例中,图15示出了用于投屏的第一终端中控制虚拟显示屏显示第二显示界面的流程示意图,如图15所示,该流程至少包括以下步骤:在步骤S1510中,确定与第二应用对应的第二显示界面。
其中,第二显示界面还可以是与第二应用对应的显示界面。第二应用区别于第一应用,可以是第一终端上除了第一应用之外的任何一个应用。
举例而言,由于第一应用为视频会议应用,因此,第二应用可以是图片展示应用。
在步骤S1520中,获取与虚拟显示屏对应的第二屏幕标识,并确定出与第二屏幕标识对应的第二存储标识。
其中,第二屏幕标识指的是与虚拟显示屏对应的标识,第二存储标识指的是与第二屏幕标识对应的,用于区分存储区域的标识。
举例而言,第二屏幕标识为Display2,与第二屏幕标识对应的第二存储标识为02。
在步骤S1530中,将与第二显示界面对应的第二界面数据存储至第二存储区域,以控制虚拟显示屏显示第二显示界面;其中,第二存储区域与第二存储标识对应。
其中,此时,将与第二显示界面对应的第二界面数据存储至第二存储区域,即可以将与第二应用对应的显示界面显示在虚拟显示屏中。
举例而言,将第二界面数据存储在于第二存储标识02对应的存储区域中,与此控制虚拟显示屏显示第二显示界面。
在本示例性实施例中,将第二显示界面对应的第二存储数据存储至第二存储区域,实现了在虚拟显示屏中显示第二显示界面,并且,由于第二显示界面与第二应用对应,进而在第一终端中显示出了双应用的显示界面,使得用户可以在第一终端中同时看到属于不同应用的两个显示界面,优化了用户的体验度。
在可选的实施例中,图16示出了用于投屏的第一终端中将与第一显示屏对应的第一显示界面投屏至第二终端的流程示意图,如图16所示,该流程至少包括以下步骤:在步骤S1610中,若投屏指令中携带着的屏幕标识与第二屏幕标识一致,则确定出与第二屏幕标识对应的第二存储标识。
其中,若投屏指令中携带着的屏幕标识与第二屏幕标识一致,则意味着此时需要投屏的不再是虚拟显示屏,而是第一显示屏。
基于此,确定出与第二屏幕标识对应的第二存储标识。
举例而言,若投屏指令中携带着的屏幕标识与第二屏幕标识2一致,则确定出与第二屏幕标识2对应的第二存储标识02。
在步骤S1620中,从与第二存储标识对应的第二存储区域中获取第二录屏数据,将第二录屏数据发送至第二终端,以将与第一显示屏对应的第一显示界面投屏至第二终端。
其中,第二存储区域指的是存储区域中存储着第二录屏数据的区域,第二录屏数据即与第一显示屏对应的屏幕数据。在获取到第二录屏数据后,将第二录屏数据发送至第二终端,以实现对第一显示屏的投屏过程。
举例而言,从与第二存储标识02对应的第二存储区域中获取第二录屏数据,并将第二录屏数据发送至第二终端,即将显示在第一显示屏的第一显示界面投屏至第二终端。
在本示例性实施例中,根据投屏指令中携带着的第二屏幕标识,将对应的第二录屏数据发送至第二终端,即实现了将第一显示界面投屏至第二终端,有助于后续通过第二终端,对第一显示屏进行控制,避免了现有技术中,当更换第一显示屏中显示的内容时,需要对第一显示屏中显示的内容进行中断的情况发生,优化了用户的体验度。
在可选的实施例中,图17示出了用于投屏的第一终端中根据第二触控事件控制第二显示界面的流程示意图,如图17所示,该流程至少包括以下步骤:在步骤S1710中,创建与第一显示屏对应的第二虚拟输入设备。
其中,第二虚拟输入设备为第一处理器创建出的与第一显示屏对应的虚拟输入设备。
举例而言,创建出与第一显示屏对应的第二虚拟输入设备X-3。
在步骤S1720中,接收第二终端发送与第一显示屏对应的第二触控信息。
其中,当用户通过第二终端控制第一显示屏时,会作用于第二终端触控操作,第二触控信息就为此时与触控操作对应的信息。第二终端在获取到第二触控信息之后,会将第二触控信息发送至第一终端。
举例而言,接收第二终端发送的与第一显示屏对应的第二触控信息。
在步骤S1730中,基于第二虚拟输入设备,模拟出与第二触控信息对应的第二触控事件,以将第二触控事件发送至虚拟显示屏中。
其中,第二触控事件指的是根据第二触控信息,模拟出的与触控操作对应的事件。值得说明的是,第二触控事件是由第二虚拟输入设备模拟出的。
举例而言,通过第二虚拟输入设备,模拟出与第二触控信息对应的第二触控事件,具体地,模拟出的第二触控事件为点击事件。基于此,将点击事件发送至虚拟显示屏中。
在步骤S1740中,根据第二触控事件控制第二显示界面。
其中,根据第二触控事件可以控制第二显示界面。
举例而言,当获取到第二触控信息时,可以基于第二虚拟输入设备,模拟出与第二触 控信息对应的第二触控事件,进而根据第二触控事件实现对第一显示屏的控制。
举例而言,第二触控事件为点击事件,进而控制第一显示屏触发点击事件。
在本示例性实施例中,一方面,创建第二虚拟输入设备,并通过第二虚拟输入设备创建第二触控事件,以根据第二触控事件控制第二显示界面,实现了利用第二终端控制第一终端的过程。
本公开提出了一种用于投屏的第二终端。第二终端包括第二处理器和第二显示屏,第二终端与第一终端通信连接,第一终端包括第一处理器和第一显示屏,第二处理器被配置为:接收投屏至第二终端的第二显示界面,并将第二显示界面显示;其中,第二显示界面显示在虚拟显示屏中,虚拟显示屏由第一处理器创建,第一处理器还生成第一显示界面,并控制第一显示屏显示在第一显示界面。
其中,第二终端为与第一终端通信连接的终端,通常而言,第二终端为移动终端,具体地,第二终端可以是手机终端,可以是平板终端,还可有是任何一种移动终端,本示例性实施例对此不做特殊限定。
第二终端中包括第二处理器和第二显示屏,第二处理器接收投屏至第二终端的第二显示界面后,将第二显示界面显示在第二显示屏中。值得说明的是,第二显示界面是显示在虚拟显示屏中的界面,虚拟显示屏是第一终端在第一显示屏的基础上,又创建的一个显示屏。
举例而言,接收投屏至第二终端的第二显示界面,具体地,第二显示界面可以是应用B的管理界面,进而在第二显示屏中显示应用B的管理界面,有助于后续通过第二终端对第一终端中的第二显示界面进行控制。
在可选的实施例中,第二处理器被配置为:向第一终端发送屏幕创建指令,以使与第一终端对应的第一处理器创建虚拟显示屏。
其中,屏幕创建指令可以是由第二终端发送至第一终端的,并且,当第一终端接收到第二终端发送的屏幕创建指令之后,第一处理器会在第一终端创建出虚拟显示屏。
举例而言,当用户启动第二终端后,第二终端可以向第一终端发送屏幕创建指令。并且,在第一终端接收到屏幕创建指令之后,会在第一终端中创建出虚拟显示屏。
在本示例性实施例中,屏幕创建指令也可以是第二终端发送至第一终端中的,实现了由第二终端控制虚拟显示屏创建的过程。
在可选的实施例中,图18示出了用于投屏的第二终端中确定第一终端的流程示意图,如图18所示,该流程至少包括以下步骤:在步骤S1810中,将与第二终端对应的第一地址信息发送至所有潜在第一终端,以接收所有潜在第一终端发送的第二地址信息以及终端标识。
其中,第一地址信息指的是与第二终端对应的地址信息,具体地,第二地址信息可以是与第二终端对应的互联网协议地址。潜在第一终端指的是可能与第二终端建立通信连接的终端,通常而言,第一地址信息可以基于互联网数据传输协议广播发送至所有潜在的第 一终端。
具体地,互联网数据传输协议可以是基于UDP(User Datagram Protocol,数据报协议)的数据传输协议(UDP-based Data Transfer Protocol,简称UDT)。UDT可以支持高速广域网上的海量数据传输,并且UDT中引入了新的拥塞机制和数据可靠性控制机制,因此,使用UDT传输第一地址信息和第二地址信息,可以提高传输的速度。
除此之外,互联网数据传输协议还可以是其他任何一种数据传输协议,本示例性实施例对此不做特殊限定。
第二地址信息为与潜在第一终端对应的地址信息,具体地,第二地址信息可以是与潜在第一终端对应的互联网协议地址,还可以是任何一种与第一终端对应的地址信息,本示例性实施例对此不做特殊限定。终端标识指的是与潜在第一终端对应的,描述终端的一种标识,具体地,终端标识可以是数字,可以是字母,还可以字符串,本示例性实施例对此不做特殊限定。
举例而言,将第二终端的第一地址信息发送至潜在第一终端X-7、潜在第一终端X-8以及潜在第一终端X-9中。基于此,接收潜在第一终端X-7发送的第二地址信息以及终端标识1,接收潜在第一终端X-8发送的第二地址信息以及终端标识2,接收潜在第一终端X-9发送的第二地址信息以及终端标识3。
在步骤S1820中,将终端标识显示,响应作用于终端标识上的选择操作,将与选择操作对应的潜在第一终端确定为第一终端,以创建第二终端与第一终端之间的通信连接。
其中,将终端标识显示,以供用户选择。当用户作用于终端标识上选择操作时,将与该选择操作对应的潜在第一终端确定为第一终端,进而,创建第一终端与第二终端之间的通信连接。
举例而言,图19示意性示出了在所有潜在第一终端中确定出第一终端的交互示意图,如图19所示,其中,终端1910为第二终端,终端1911为潜在第一终端X-7,终端1912为潜在第一终端X-8,终端1913为潜在第一终端X-9。
首先,终端1910通过互联网数据传输协议将第一地址信息发送至潜在第一终端X-7、潜在第一终端X-8以及潜在第一终端X-9中。然后,潜在第一终端X-7将第二地址信息与终端标识1发送至第二终端1910,潜在第一终端X-8将第二地址信息与终端标识2发送至第二终端1910,潜在第一终端X-9将第二地址信息与终端标识3发送至第二终端1910。最后,用户在所有潜在第一终端中选择出第一终端,具体地,用户对显示出的终端标识进行选择,具体地,用户作用于终端标识3上选择操作,进而确定终端1913为第一终端,基于此,创建第二终端1910与第一终端1913之间的通信连接。
在本示例性实施中,将终端标识显示,并将与选择操作对应的潜在第一终端确定为第一终端,增加了确定第一终端的灵活度。
在可选的实施例中,接收投屏至第二终端的第二显示界面,第二处理器被配置为:向第一终端发送与虚拟显示屏对应的投屏指令,以接收投屏至第二终端的第二显示界面。
其中,投屏指令也可以是由第二终端发送至第一终端的。当第一终端接收到第二终端发送的投屏指令时,将虚拟显示屏中显示的第二显示界面投屏至第二终端。
举例而言,第二终端向第一终端发送投屏指令时,第一终端开始向第二终端投屏与虚拟显示屏对应的第二显示界面,此时,第二终端开始接收第二显示界面,以保证后续在第二显示屏中显示第二显示界面。
在本示例性实施例中,投屏指令可以是第二终端发送至第一终端的,增加了投屏指令生成的灵活度。
在可选的实施例中,将第二显示界面显示之后,第二处理器被配置为:响应作用于第二显示屏上的触控操作,将与触控操作对应的触控信息发送至第一终端,以使第一终端基于触控信息对虚拟显示屏进行控制。
其中,触控操作指的是用户作用于第二显示屏的操作,具体地,触控操作可以是点击操作,可以是双击操作,也可以是长按操作,还可以是任何一种触控操作,本示例性实施例对此不做特殊限定。
举例而言,图20示意性示出了第一终端以及第二终端的框架图,如图20所示,其中,结构2010为第二终端的系统层级结构,结构1820为第一终端的系统层级结构。
在结构2010中存在层2011Driver(驱动)层、层2012HAL(与驱动交互硬件抽象)层、层2013 Native层(本地框架层)、层2014SystemService(系统服务层)以及层2015 APK(应用函数包)。
其中,通过Native层中的libinputflinger.so(虚拟按键)来捕获触控操作,并将捕获到的触控操作通过层2014传输至层2015中,层2015在接收到触控操作之后,通过互联网数据传输协议将触控操作发送至第一终端中。之所以需要将触控操作通过层2014传输至层2015中,是因为层2014用于将底层2013传输的数据转换为层2015可以直接使用的数据。
在结构2020中存在层2021Driver uniput device(虚拟输入设备)、层2022 Deamon(精灵虚拟光驱)、层1823SurfaceFlinger(画面合成层)以及层2024 VirtualDisplay(虚拟显示屏)。其中,层2023用于合成不同的显示界面,光驱2022用于接收通过互联网数据传输协议发送至第一终端中的触控操作,并在层2021中根据与触控操作对应的触控信息,模拟出触控事件,除此之外,层2021还通过inputFlinger框架将触控事件发送至层2023中。层2023用于接收触控事件,并将触控事件发送至虚拟显示屏所在的层2024中,以实现对虚拟显示屏的控制。
在本示例性实施例中,将与触控操作对应的触控信息发送至第一终端,以使第一终端基于触控信息对虚拟显示屏进行控制,保证了可以通过第二终端对第一终端中的虚拟显示屏进行控制的过程。
在可选的实施例中,图21示出了用于投屏的第二终端中将与触控操作对应的触控信息发送至第一终端的流程示意图,触控信息包括触控坐标,如图21所示,该方法至少包括以下步骤:在步骤S2110中,接收第一终端发送的与第一显示屏对应的被控屏幕分辨率。
其中,在用户作用于第二显示界面上触控操作时,会获取与触控操作对应的触控坐标。触控坐标指的是第二显示屏中的一个坐标,并且,该坐标与触控操作所作用的位置有关。
在建立起第一终端和第二终端之间的通信连接之后,第二终端会接收到与第一显示屏对应的被控屏幕分辨率,被控屏幕分辨率指的是第一显示屏的屏幕分辨率。屏幕分辨率指的是屏幕横纵方向上的像素点数。
举例而言,接收第一终端发送的与第一显示屏对应的被控屏幕分辨率(Wb,Hb)。
在步骤S2120中,对主控屏幕分辨率和被控屏幕分辨率进行计算,以得到屏幕转换比例;其中,主控屏幕分辨率与第二显示屏对应。
其中,主控屏幕分辨率指的是第二显示屏的屏幕分辨率,基于此,可以是对主控屏幕分辨率以及被控屏幕分辨率进行除法运算,以得到屏幕转换比例。
举例而言,对主控屏幕分辨率(Wa,Ha)和被控屏幕分辨率(Wb,Hb)进行除法运算,得到屏幕转换比例(Wc,Hc),其中,Wc=Wb/Wa,Hc=Hb/Ha。
在步骤S2130中,利用屏幕转换比例,对触控坐标进行转换得到目标坐标,以将目标坐标发送至第一终端。
其中,由于第一终端和第二终端存在分辨率不匹配的问题,因此,利用屏幕转换比例,对触控坐标进行转换,才可以准确的通过第二终端控制第一终端。
举例而言,触控坐标为(Xa,Ya),利用屏幕转换比例(Wc,Hc)对触控坐标进行转换得到目标坐标(Xb,Yb),其中,Xb=Xa×Wc,Yb=Ya×Hc。并且,在得到目标坐标之后,将目标坐标发送至第一终端,以实现对第一终端的控制。
在本示例性实施例中,利用屏幕转换比例,对触控坐标进行转换,得到目标坐标,避免了由于第一终端与第二终端之间存在分辨率不匹配的问题,导致第二终端无法对第一终端进行准确控制的情况发生,增加了第二终端对第一终端控制的准确度。
在可选的实施例中,图22示出了用于投屏的第二终端中将第二显示界面显示的流程示意图,如图22所示,该方法至少包括以下步骤:在步骤S2210中,接收第一终端发送的与第二显示界面对应的视频流,对视频流进行解码得到录屏数据。
其中,在第二终端显示第二显示界面的过程中,首先接收第一终端发送的与第二显示界面的视频流,然后,需要对视频流进行解码,得到视频流中每一帧的录屏数据。
举例而言,图23示意性示出了对视频流进行解码的过程,如图23所述,其中,视频流2310为第一终端发送的与第二显示界面对应的视频流,具体地,第二终端是基于H264(视频的编码层的标准格式)接收到第一终端发送的与第二显示界面对应的视频流,数据2320为对视频流进行解码后得到的与每一帧对应的录屏数据,界面2330为基于录屏数据,显示出的第二显示界面。
在步骤S2220中,基于录屏数据,显示第二显示界面。
其中,得到录屏数据之后,利用录屏数据,就可以在第二显示屏中显示出第二显示界面。
举例而言,得到录屏数据后,基于录屏数据,在第二显示屏中显示第二显示界面。
在本示例性实施例中,对视频流进行解码得到录屏数据,基于录屏数据,显示第二显示界面,保证了第二显示界面的显示,为后续利用第二终端控制第一终端奠定了基础。
本公开还提供了一种投屏控制系统,系统包括第一终端和第二终端,第一终端和第二终端通信连接,第一终端包括第一处理器和第一显示屏,第二终端包括第二处理器和第二显示屏,包括:第一处理器,被配置为生成第一显示界面,控制第一显示屏显示第一显示界面;创建虚拟显示屏;创建第二显示界面,并控制虚拟显示屏显示第二显示界面;将与虚拟显示屏对应的第二显示界面投屏至第二终端,以使第二终端显示第二显示界面;第二处理器,被配置为接收投屏至第二终端的第二显示界面,并控制所述第二显示屏显示所述第二显示界面。
其中,系统中包括的第一终端与投屏控制方法中提到的第一终端一致,系统中包括的第二终端与投屏控制方法中提到的第二终端一致。对应的,第一处理器以及第一显示屏也与投屏控制方法提到的第一处理器以及第一显示屏一致,第二处理器与第二显示屏也与投屏控制方法提到的第二处理器以及第二显示屏一致。
第一处理器的处理过程与投屏控制方法第一处理器的处理过程相同,第二处理器的处理过程与投屏控制方法第二处理器的处理过程相同,此处不再赘述。
在本公开的示例性实施例提供的系统中,一方面,控制第一显示屏显示第一显示界面,创建虚拟显示屏,并控制虚拟显示屏显示第二显示界面。在第一终端中存在第一显示屏和虚拟显示屏,提高了对第一终端屏幕的利用率;另一方面,将与虚拟显示屏对应的第二显示界面投屏至第二终端,当对第一终端中显示的内容进行更换时,用户可以在第二终端中看到虚拟显示屏中显示的第二显示界面,不会中断对界面内容的显示,优化了用户的观看体验度。
在可选的实施例中,创建虚拟显示屏,包括:第一处理器,被配置为创建悬浮窗口;以悬浮窗口为载体,将在虚拟显示屏中显示的第二显示界面显示在悬浮窗口中。
其中,创建虚拟显示屏的过程与步骤S210和步骤S220一致。
在本示例性实施例中,以悬浮窗口作为载体,将虚拟显示屏显示在悬浮窗口中,以便后续通过调节悬浮窗口,来实现对虚拟显示屏的隐藏/显示、移动等操作。
在可选的实施例中,以悬浮窗口为载体,将虚拟显示屏显示在悬浮窗口中,包括:第一处理器,被配置为确定与虚拟显示屏对应的第一屏幕标识,并确定出与第一屏幕标识对应的第一存储标识;从与第一存储标识对应的第一存储区域中获取屏幕数据,并根据屏幕数据,将显示在虚拟显示屏中的第二显示界面显示在悬浮窗口中。
其中,以悬浮窗口为载体,将虚拟显示屏显示在悬浮窗口的过程与步骤S310和步骤S320一致。
在可选的实施例中,从与存储标识对应的存储区域中获取屏幕数据,并根据屏幕数据,在悬浮窗口中显示虚拟显示屏,通过存储标识,可以从存储区域中获取显示在虚拟显示屏 中的准确区域。
在可选的实施例中,创建虚拟显示屏之后,包括:第一处理器,被配置为虚拟显示屏分配第一屏幕标识,其中,第一屏幕标识与第二屏幕标识不同,第二屏幕标识为第一处理器分配给第一显示屏的屏幕标识。
其中,第一屏幕标识以及第二屏幕标识与前述提到的内容一致,此处不再赘述。
在本示例性实施例中,为虚拟显示屏分配第一屏幕标识,并且,第一屏幕标识与第二屏幕标识不同。这为后续区分虚拟显示屏以及第一显示屏奠定了基础,为后续第二终端控制虚拟显示屏提供了便利。
在可选的实施例中,创建悬浮窗口,包括:第一处理器,被配置为获取第二终端发送的与第二显示屏对应的屏幕分辨率,并根据屏幕分辨率确定虚拟显示屏的目标分辨率;基于目标分辨率,创建虚拟显示屏。
其中,创建悬浮窗口的过程与步骤S410以及步骤S420一致。
在本示例性实施例中,基于目标分辨率创建悬浮窗口,并且,目标分辨率与屏幕分辨率对应,以使显示在第一终端的虚拟显示屏的分辨率适配于第二终端的第二显示屏的分辨率,优化了用户的后续控制体验度。
在可选的实施例中,控制虚拟显示屏显示第二显示界面,包括:第一处理器,被配置为获取第二终端发送的终端类型信息,并确定与终端类型信息对应的横竖屏模式;按照横竖屏模式,在虚拟显示屏中显示第二显示界面。
其中,控制虚拟显示屏显示第二显示界面的过程与步骤S510、步骤S520一致。
在本示例性实施例中,基于横竖屏模式,在虚拟显示屏中显示第二显示界面,并且,横竖屏模式与终端类型信息对应,确保第一终端显示第二显示界面的横竖屏模式与第二终端后续显示第二显示界面的横竖屏模式一致,提升了用户的观看体验度。
在可选的实施例中,包括:第一处理器,被配置为根据终端类型信息,在多个第二显示界面中确定出一个目标显示界面;其中,多个第二显示界面中的图标大小是不同的;在虚拟显示屏中显示目标显示界面。
其中,在虚拟显示屏中显示目标显示界面的过程与步骤S610以及步骤S620一致。
在本示例性实施例中,在虚拟显示屏中显示目标显示界面,由于目标显示界面是根据终端类型信息,在所有第二显示界面中确定出的,因此提高了目标显示界面中图标与第二终端的终端类型信息的适配度,优化了用户的观看体验度。
在可选的实施例中,第二终端显示第二显示界面之后,包括:第一处理器,被配置为若获取到与虚拟显示屏对应的隐藏/显示指令,将悬浮窗口隐藏/显示;若获取到与虚拟显示屏对应的移动指令,获取与移动指令对应的移动信息;基于移动信息,对悬浮窗口进行移动;若获取到与虚拟显示屏对应的放大/缩小指令,则确定出与放大/缩小指令对应的调整尺寸;按照调整尺寸,对悬浮窗口的窗口尺寸信息进行调整。
其中,第二终端显示第二显示界面之后的过程与步骤S710、步骤S720、步骤S730、 步骤S740以及步骤S750一致。
在本示例性实施例中,若获取到与虚拟显示屏对应的隐藏/显示指令,将悬浮窗口隐藏/显示;若获取到与虚拟显示屏对应的移动指令,则基于与移动指令对应的移动信息,对悬浮窗口进行移动;若获取到与虚拟显示屏对应的放大/缩小指令,则对悬浮窗口的窗口尺寸信息进行调整,以便于用户根据不同的场景对虚拟显示屏进行控制。
在可选的实施例中,将与虚拟显示屏对应的第二显示界面投屏至第二终端,包括:第一处理器,被配置为获取投屏指令;若投屏指令中携带着第一屏幕标识,则确定出与第一屏幕标识对应的第一存储标识;从与第一存储标识对应的第一存储区域中获取第一录屏数据,并将第一录屏数据发送至第二终端,以将与虚拟显示屏对应的第二显示界面投屏至第二终端。
其中,将与虚拟显示屏对应的第二显示界面投屏至第二终端的过程与步骤S810、步骤S820以及步骤S830一致。
在本示例性实施例中,根据投屏指令中携带着的存储标识,将对应的录屏数据发送至第二终端,即实现了将第二显示界面投屏至第二终端,有助于后续通过第二终端,对虚拟显示屏进行控制,避免了现有技术中,当更换虚拟显示屏中显示的内容时,需要对虚拟显示屏中显示的内容进行中断的情况发生,优化了用户的体验度。
在可选的实施例中,将录屏数据发送至第二终端,以将与虚拟显示屏对应的第二应用界面投屏至第二终端,包括:第一处理器,被配置为对第一录屏数据进行编码,得到与虚拟显示屏对应的视频流;将视频流发送至第二终端,以将第二显示界面投屏至第二终端。
其中,将与虚拟显示屏对应的第二显示界面投屏至第二终端的过程与步骤S910以及步骤S920一致。
在本示例性实施例中,将视频流发送至第二终端,以将第二显示界面投屏至第二终端,有助于后续利用第二终端,实现对第一终端中虚拟显示屏的控制。
在可选的实施例中,第二终端显示第二显示界面之后,包括:第一处理器,被配置为创建与虚拟显示屏对应的第一虚拟输入设备;接收第二终端发送与虚拟显示屏对应的第一触控信息,基于第一虚拟输入设备,模拟出与第一触控信息对应的第一触控事件,以将第一触控事件发送至虚拟显示屏中;根据第一触控事件控制第二显示界面。
其中,第二终端显示第二显示界面之后的过程与步骤S1110、步骤S1120、步骤S1130以及步骤S1140一致。
在本示例性实施例中,一方面,创建目标虚拟输入设备,以避免触控信息只作用于第一显示界面的情况发生;另一方面,模拟出与触控信息对应的触控事件,根据触控事件控制第二显示界面,实现了利用第二终端控制第一终端的过程。
在可选的实施例中,第二终端的个数为多个,包括:第一处理器,被配置为若第二终端的个数为多个,则在多个第二终端中确定出第三终端以及第四终端;将与第一显示屏对应的第一显示界面投屏至第三终端,以创建第三终端与第一显示界面之间的第一控制关系; 将与虚拟显示屏对应的第二显示界面投屏至第四终端,以创建第四终端与第二显示界面之间的第二控制关系。
其中,创建第二终端与虚拟显示屏之间的控制关系与步骤S1210、步骤S1220以及步骤S1230一致。
在本示例性实施例中,若第二终端的个数为多个,在多个第二终端中确定第三终端以及第四终端,并且,将第一显示界面投屏至第三终端,将第二显示界面投屏至第四终端,增加了控制第一显示界面以及第二显示界面的灵活度。
在可选的实施例中,生成第一显示界面,控制第一显示屏显示第一显示界面,包括:第一处理器,被配置为确定与第一应用对应的第一显示界面;获取与第一显示屏对应的第一屏幕标识,并确定出与第一屏幕标识对应的第一存储标识;将与第一显示界面对应的第一界面数据存储至第一存储区域,以控制第一显示屏显示第一显示界面;其中,第一存储区域与第一存储标识对应。
其中,控制第一显示屏显示第一显示界面的过程与步骤S1310、步骤S1320以及步骤S1330一致。
在本示例性实施例中,将第一界面数据存储至第一存储区域,不仅控制了第一显示屏显示第一显示界面,而且,通过在对应的存储区域中存储对应的界面数据,为后续在不同的显示屏中显示不同的显示界面奠定了基础。
在可选的实施例中,创建第二显示界面,并控制虚拟显示屏显示第二显示界面,包括:第一处理器,被配置为确定与第一应用对应的第二显示界面;获取与虚拟显示屏对应的第二屏幕标识,并确定出与第二屏幕标识对应的第二存储标识;将与第二显示界面对应的第二界面数据存储至第二存储区域,以控制虚拟显示屏显示第二显示界面;其中,第二存储区域与第二存储标识对应。
其中,控制虚拟显示屏显示第二显示界面的过程与步骤S1410、步骤S1420以及步骤S1430一致。
在本示例性实施例中,将第二显示界面对应的第二存储数据存储至第二存储区域,实现了在虚拟显示屏中显示第二显示界面,并且,由于第二显示界面与第一应用对应,进而实现了双屏异显,使得用户可以在第一终端中同时看到属于同一个应用的两个显示界面,优化了用户的体验度。
在可选的实施例中,创建第二显示界面,并控制虚拟显示屏显示第二显示界面,包括:第一处理器,被配置为确定与第二应用对应的第二显示界面;获取与虚拟显示屏对应的第二屏幕标识,并确定出与第二屏幕标识对应的第二存储标识;将与第二显示界面对应的第二界面数据存储至第二存储区域,以控制虚拟显示屏显示第二显示界面;其中,第二存储区域与第二存储标识对应。
其中,控制虚拟显示屏显示第二显示界面的过程与步骤S1510、步骤S1520以及步骤S1530一致。
在本示例性实施例中,将第二显示界面对应的第二存储数据存储至第二存储区域,实现了在虚拟显示屏中显示第二显示界面,并且,由于第二显示界面与第二应用对应,进而在第一终端中显示出了双应用的显示界面,使得用户可以在第一终端中同时看到属于不同应用的两个显示界面,优化了用户的体验度。
在可选的实施例中,所述创建虚拟显示屏,包括:
所述第一处理器,被配置为:响应作用于所述第一显示屏的屏幕创建操作,创建虚拟显示屏。
其中,屏幕创建操作指的是创建虚拟显示屏的操作,该操作可以是用户作用于第一显示屏的一种操作,具体地,屏幕创建操作可是点击操作,可以是双击操作,还可以是长按操作,本示例性实施例对此不做特殊限定。
举例而言,响应作用于第一显示屏中应用B的双击操作,利用函数SurfaceControl.creatDisplay()来创建虚拟显示屏。
在本示例性实施例中,屏幕创建操作可以是作用于第一显示屏上的操作。用户可以通过触控第一显示屏,实现对虚拟显示屏的创建,增加了创建虚拟显示屏的灵活度。
在可选的实施例中,创建虚拟显示屏,包括:第一处理器,被配置为接收第二终端发送的屏幕创建指令,并基于屏幕创建指令,创建虚拟显示屏。
其中,屏幕创建指令也可以是第二终端发送至第一终端中的。
举例而言,用户作用于第二终端的创建控件上点击操作,此时将与该操作对应的屏幕创建指令发送至第一终端。第一终端在接收到屏幕创建指令之后,创建出虚拟显示屏。
在本示例性实施例中,屏幕创建指令可以是第二终端发送至第一终端中的,不仅实现了对虚拟显示屏的创建,还增加了创建虚拟显示屏的灵活度。
在可选的实施例中,包括:第一处理器,被配置为若投屏指令中携带着的屏幕标识与第二屏幕标识一致,则确定出与第二屏幕标识对应的第二存储标识;从与第二存储标识对应的第二存储区域中获取第二录屏数据,将第二录屏数据发送至第二终端,以将与第一显示屏对应的第一显示界面投屏至第二终端。
其中,上述过程与步骤S1610以及步骤S1620一致,此处不再赘述。
在本示例性实施例中,根据投屏指令中携带着的第二屏幕标识,将对应的第二录屏数据发送至第二终端,即实现了将第一显示界面投屏至第二终端,有助于后续通过第二终端,对第一显示屏进行控制,避免了现有技术中,当更换第一显示屏中显示的内容时,需要对第一显示屏中显示的内容进行中断的情况发生,优化了用户的体验度。
本公开提出了一种投屏控制方法。图24示出了投屏控制方法的流程示意图,如图24所示,投屏控制方法至少包括以下步骤:
步骤S2410.生成第一显示界面,控制第一显示屏显示第一显示界面。
步骤S2420.创建虚拟显示屏。
步骤S2430.创建第二显示界面,并控制虚拟显示屏显示第二显示界面。
步骤S2440.将与虚拟显示屏对应的第二显示界面投屏至第二终端,以使第二终端显示第二显示界面。
在本公开的示例性实施例提供的方法及装置中,一方面,控制第一显示屏显示第一显示界面,创建虚拟显示屏,并控制虚拟显示屏显示第二显示界面。在第一终端中存在第一显示屏和虚拟显示屏,提高了对第一终端屏幕的利用率;另一方面,将与虚拟显示屏对应的第二显示界面投屏至第二终端,当对第一终端中显示的内容进行更换时,用户可以在第二终端中看到虚拟显示屏中显示的第二显示界面,不会中断对界面内容的显示,优化了用户的观看体验度。
其中,步骤S2410与步骤S110对应,步骤S2420与步骤S120对应,步骤S2430与步骤S130对应,步骤S2440与步骤S140对应。基于此,对应的解释部分已在前述部分指出,故不再赘述。
本公开提出了一种投屏控制方法。应用于第二终端,第二终端包括第二显示屏,第二终端与第一终端通信连接,方法包括:接收投屏至第二终端的第二显示界面,并将第二显示界面显示;其中,第二显示界面显示在虚拟显示屏中,虚拟显示屏由第一终端创建,第一终端还生成第一显示界面,并控制第一显示屏显示第一显示界面。
其中,第二终端为与第一终端通信连接的终端,通常而言,第二终端为移动终端,具体地,第二终端可以是手机终端,可以是平板终端,还可有是任何一种移动终端,本示例性实施例对此不做特殊限定。
第二终端中包括第二处理器和第二显示屏,第二处理器接收投屏至第二终端的第二显示界面后,将第二显示界面显示在第二显示屏中。值得说明的是,第二显示界面是显示在虚拟显示屏中的界面,虚拟显示屏是第一终端在第一显示屏的基础上,又创建的一个显示屏。
举例而言,接收投屏至第二终端的第二显示界面,具体地,第二显示界面可以是应用B的管理界面,进而在第二显示屏中显示应用B的管理界面,有助于后续通过第二终端对第一终端中的第二显示界面进行控制。
在本公开的示例性实施例提供的方法及装置中,接收投屏至第二终端的第二显示界面,为后续利用第二终端控制第一终端奠定了基础。
本公开提出了一种投屏控制方法。方法用于投屏控制系统,投屏控制系统包括第一终端和第二终端,第一终端和第二终端通信连接,第一终端包括第一显示屏,第二终端包括第二显示屏,包括:第一终端,被配置为生成第一显示界面,控制第一显示屏显示第一显示界面;创建虚拟显示屏;创建第二显示界面,并控制虚拟显示屏显示第二显示界面;将与虚拟显示屏对应的第二显示界面投屏至第二终端,以使第二终端显示第二显示界面;第二终端,被配置为接收投屏至第二终端的第二显示界面,并控制第二显示屏显示第二显示界面。
其中,上述过程与步骤S110、步骤S120、步骤S130、步骤S140以及第二处理器关于 如何显示第二显示界面的过程相同,不再赘述。
在本示例性实施例中,一方面,控制第一显示屏显示第一显示界面,创建虚拟显示屏,并控制虚拟显示屏显示第二显示界面。在第一终端中存在第一显示屏和虚拟显示屏,提高了对第一终端屏幕的利用率;另一方面,将与虚拟显示屏对应的第二显示界面投屏至第二终端,当对第一终端中显示的内容进行更换时,用户可以在第二终端中看到虚拟显示屏中显示的第二显示界面,不会中断对界面内容的显示,优化了用户的观看体验度。
下面结合一应用场景对本公开实施例中投屏控制方法做出详细说明。
第一终端为会议室中的大尺寸终端X-12,第二终端为公式职员手中的手机。此时,在大尺寸终端X-12中显示视频会议界面,并且,创建出虚拟显示屏。创建出会议记录界面,并将会议记录界面显示在第二显示界面中,并将会议记录界面投屏至手机中,以在手机中也显示出会议记录界面。
在本应用场景中,一方面,控制第一显示屏显示第一显示界面,创建虚拟显示屏,并控制虚拟显示屏显示第二显示界面。在第一终端中存在第一显示屏和虚拟显示屏,提高了对第一终端屏幕的利用率;另一方面,将与虚拟显示屏对应的第二显示界面投屏至第二终端,当对第一终端中显示的内容进行更换时,用户可以在第二终端中看到虚拟显示屏中显示的第二显示界面,不会中断对界面内容的显示,优化了用户的观看体验度。
下面参照图25来描述根据本发明的这种实施例的电子设备2500。图25显示的电子设备2500仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图25所示,电子设备2500以通用计算设备的形式表现。电子设备2500的组件可以包括但不限于:上述至少一个处理单元2510、上述至少一个存储单元2520、连接不同系统组件(包括存储单元2520和处理单元2510)的总线2530、显示单元2540。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元2510执行,使得所述处理单元2510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
存储单元2520可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)2521和/或高速缓存存储单元2522,还可以进一步包括只读存储单元(ROM)2523。
存储单元2520还可以包括具有一组(至少一个)程序模块2525的程序/使用工具2524,这样的程序模块2525包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包含网络环境的现实。
总线2530可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备2500也可以与一个或多个外部设备2570(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备2500交互的设备通信,和/或与使得该电子设备2500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调 制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口2550进行。并且,电子设备2500还可以通过网络适配器2560与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器2560通过总线2530与电子设备2500的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备2500使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图26所示,描述了根据本发明的实施例的用于实现上述方法的程序产品2600,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求出。

Claims (50)

  1. 一种用于投屏的第一终端,其特征在于,所述第一终端包括第一处理器和第一显示屏,所述第一终端与第二终端通信连接,所述第一处理器被配置为:
    生成第一显示界面,控制所述第一显示屏显示所述第一显示界面;
    创建虚拟显示屏;
    创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面;
    将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端,以使第二终端显示所述第二显示界面。
  2. 根据权利要求1所述的用于投屏的第一终端,其特征在于,所述创建所述虚拟显示屏之后,所述第一处理器被配置为:
    为所述虚拟显示屏分配第一屏幕标识,其中,所述第一屏幕标识与第二屏幕标识不同,所述第二屏幕标识为所述第一处理器分配给所述第一显示屏的屏幕标识。
  3. 根据权利要求1所述的用于投屏的第一终端,其特征在于,所述创建虚拟显示屏,所述第一处理器被配置为:
    获取所述第二终端发送的与所述第二显示屏对应的屏幕分辨率,并根据所述屏幕分辨率确定虚拟显示屏的目标分辨率;
    基于所述目标分辨率,创建所述虚拟显示屏。
  4. 根据权利要求1所述的用于投屏的第一终端,其特征在于,所述控制所述虚拟显示屏显示所述第二显示界面,所述第一处理器被配置为:
    获取所述第二终端发送的终端类型信息,并确定与所述终端类型信息对应的横竖屏模式;
    按照所述横竖屏模式,在所述虚拟显示屏中显示第二显示界面。
  5. 根据权利要求1所述的用于投屏的第一终端,其特征在于,所述控制所述虚拟显示屏显示所述第二显示界面,所述第一处理器被配置为:
    创建悬浮窗口;
    以所述悬浮窗口为载体,将在所述虚拟显示屏中显示的所述第二显示界面显示在所述悬浮窗口中。
  6. 根据权利要求5所述的用于投屏的第一终端,其特征在于,所述以所述悬浮窗口为载体,将在所述虚拟显示屏中显示的所述第二显示界面显示在所述悬浮窗口中,所述第一处理器被配置为:
    确定与所述虚拟显示屏对应的第一屏幕标识,并确定出与所述第一屏幕标识对应的第一存储标识;
    从与所述第一存储标识对应的第一存储区域中获取屏幕数据,并根据所述屏幕数据,将显示在所述虚拟显示屏中的所述第二显示界面显示在所述悬浮窗 口中。
  7. 根据权利要求4所述的用于投屏的第一终端,其特征在于,所述第一处理器被配置为:
    据所述终端类型信息,在多个所述第二显示界面中确定出一个目标显示界面;其中,多个所述第二显示界面被预先存储,多个所述第二显示界面中的图标大小是不同的;
    在所述虚拟显示屏中显示所述目标显示界面。
  8. 根据权利要求5所述的用于投屏的第一终端,其特征在于,所述第二终端显示所述第二显示界面之后,所述第一处理器被配置为:
    若获取到与所述虚拟显示屏对应的隐藏/显示指令,将所述悬浮窗口隐藏/显示;和/或
    若获取到与所述虚拟显示屏对应的移动指令,获取与所述移动指令对应的移动信息;
    基于所述移动信息,对所述悬浮窗口进行移动;和/或
    若获取到与虚拟显示屏对应的放大/缩小指令,则确定出与所述放大/缩小指令对应的调整尺寸;
    按照所述调整尺寸,对所述悬浮窗口的所述窗口尺寸信息进行调整。
  9. 根据权利要求6所述的用于投屏的第一终端,其特征在于,所述将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端,所述第一处理器被配置为:
    获取投屏指令;
    若所述投屏指令中携带着所述第一屏幕标识,则确定出与所述第一屏幕标识对应的第一存储标识;
    从与所述第一存储标识对应的第一存储区域中获取第一录屏数据,并将所述第一录屏数据发送至所述第二终端,以将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端。
  10. 根据权利要求9所述的用于投屏的第一终端,其特征在于,所述将所述第一录屏数据发送至所述第二终端,以将与所述虚拟显示屏对应的所述第二应用界面投屏至所述第二终端,所述第一处理器被配置为:
    对所述第一录屏数据进行编码,得到与所述虚拟显示屏对应的视频流;
    将所述视频流发送至所述第二终端,以将所述第二显示界面投屏至所述第二终端。
  11. 根据权利要求1所述的用于投屏的第一终端,其特征在于,所述第二终端显示所述第二显示界面之后,所述第一处理器被配置为:
    创建与所述虚拟显示屏对应的第一虚拟输入设备;
    接收所述第二终端发送与所述虚拟显示屏对应的第一触控信息;
    基于所述第一虚拟输入设备,模拟出与所述第一触控信息对应的第一触控事件,以将所述第一触控事件发送至所述虚拟显示屏中;
    根据所述第一触控事件控制所述第二显示界面。
  12. 根据权利要求1所述的用于投屏的第一终端,其特征在于,所述第二终端的个数为多个,所述第一处理器被配置为:
    若所述第二终端的个数为多个,则在多个所述第二终端中确定出第三终端以及第四终端;
    将与所述第一显示屏对应的所述第一显示界面投屏至所述第三终端,以创建所述第三终端与所述第一显示界面之间的第一控制关系;
    将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第四终端,以创建所述第四终端与所述第二显示界面之间的第二控制关系。
  13. 根据权利要求1所述的用于投屏的第一终端,其特征在于,所述生成第一显示界面,控制所述第一显示屏显示所述第一显示界面,所述第一处理器被配置为:
    确定与所述第一应用对应的第一显示界面;
    获取与所述第一显示屏对应的第一屏幕标识,并确定出与所述第一屏幕标识对应的第一存储标识;
    将与所述第一显示界面对应的第一界面数据存储至所述第一存储区域,以控制所述第一显示屏显示所述第一显示界面;其中,所述第一存储区域与所述第一存储标识对应。
  14. 根据权利要求13所述的用于投屏的第一终端,其特征在于,所述创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面,所述第一处理器被配置为:
    确定与所述第一应用对应的第二显示界面;
    获取与所述虚拟显示屏对应的第二屏幕标识,并确定出与所述第二屏幕标识对应的第二存储标识;
    将与所述第二显示界面对应的第二界面数据存储至所述第二存储区域,以控制所述虚拟显示屏显示所述第二显示界面;其中,所述第二存储区域与所述第二存储标识对应。
  15. 根据权利要求13所述的用于投屏的第一终端,其特征在于,所述创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面,所述第一处理器被配置为:
    确定与第二应用对应的第二显示界面;
    获取与所述虚拟显示屏对应的第二屏幕标识,并确定出与所述第二屏幕标 识对应的第二存储标识;
    将与所述第二显示界面对应的第二界面数据存储至所述第二存储区域,以控制所述虚拟显示屏显示所述第二显示界面;其中,所述第二存储区域与所述第二存储标识对应。
  16. 根据权利要求1所述的用于投屏的第一终端,其特征在于,所述创建虚拟显示屏,所述第一处理器被配置为:
    响应作用于所述第一显示屏的屏幕创建操作,创建虚拟显示屏。
  17. 根据权利要求1所述的用于投屏的第一终端,其特征在于,所述创建虚拟显示屏,所述第一处理器被配置为:
    接收第二终端发送的屏幕创建指令,并基于所述屏幕创建指令,创建虚拟显示屏。
  18. 根据权利要求9所述的用于投屏的第一终端,其特征在于,所述第一处理器被配置为:
    若所述投屏指令中携带着的所述屏幕标识与所述第二屏幕标识一致,则确定出与所述第二屏幕标识对应的第二存储标识;
    从与所述第二存储标识对应的第二存储区域中获取第二录屏数据,将所述第二录屏数据发送至所述第二终端,以将与所述第一显示屏对应的所述第一显示界面投屏至所述第二终端。
  19. 根据权利要求18所述的用于投屏的第一终端,其特征在于,所述将与所述第一显示屏对应的所述第一显示界面投屏至所述第二终端之后,所述第一处理器被配置为:
    创建与所述第一显示屏对应的第二虚拟输入设备;
    接收所述第二终端发送与所述第一显示屏对应的第二触控信息;
    基于所述第二虚拟输入设备,模拟出与所述第二触控信息对应的第二触控事件,以将所述第二触控事件发送至所述虚拟显示屏中;
    根据所述第二触控事件控制所述第二显示界面。
  20. 一种用于投屏的第二终端,其特征在于,所述第二终端包括第二处理器和第二显示屏,所述第二终端与第一终端通信连接,所述第二处理器被配置为:
    接收投屏至所述第二终端的第二显示界面,并将所述第二显示界面显示;其中,所述第二显示界面显示在虚拟显示屏中,所述虚拟显示屏由所述第一处理器创建,所述第一处理器还生成第一显示界面,并控制所述第一显示屏显示在所述第一显示界面。
  21. 根据权利要求20所述的用于投屏的第二终端,其特征在于,所述第二处理器被配置为:
    向所述第一终端发送屏幕创建指令,以使与所述第一终端对应的所述第一处理器创建所述虚拟显示屏。
  22. 根据权利要求20所述的用于投屏的第二终端,其特征在于,所述第二处理器被配置为:
    将与所述第二终端对应的第一地址信息发送至所有潜在第一终端,以接收所有所述潜在第一终端发送的第二地址信息以及终端标识;
    将所述终端标识显示,响应作用于所述终端标识上的选择操作,将与所述选择操作对应的所述潜在第一终端确定为所述第一终端,以创建所述第二终端与所述第一终端之间的通信连接。
  23. 根据权利要求22所述的用于投屏的第二终端,其特征在于,所述接收投屏至所述第二终端的第二显示界面,所述第二处理器被配置为:
    向所述第一终端发送与所述虚拟显示屏对应的投屏指令,以接收投屏至所述第二终端的第二显示界面。
  24. 根据权利要求20所述的用于投屏的第二终端,其特征在于,所述将所述第二显示界面显示之后,所述第二处理器被配置为:
    响应作用于所述第二显示屏上的触控操作,将与所述触控操作对应的触控信息发送至所述第一终端,以使所述第一终端基于所述触控信息对所述虚拟显示屏进行控制。
  25. 根据权利要求24所述的用于投屏的第二终端,其特征在于,所述触控信息包括触控坐标;
    所述将与所述触控操作对应的触控信息发送至所述第一终端,所述第二处理器被配置为:
    接收所述第一终端发送的与所述第一显示屏对应的被控屏幕分辨率;
    对所述主控屏幕分辨率和所述被控屏幕分辨率进行计算,以得到屏幕转换比例;其中,所述主控屏幕分辨率与所述第二显示屏对应;
    利用所述屏幕转换比例,对所述触控坐标进行转换得到目标坐标,以将所述目标坐标发送至所述第一终端。
  26. 根据权利要求20所述的用于投屏的第二终端,其特征在于,所述将所述第二显示界面显示,所述第二处理器被配置为:
    接收所述第一终端发送的与所述第二显示界面对应的视频流,对所述视频流进行解码得到录屏数据;
    基于所述录屏数据,显示所述第二显示界面。
  27. 一种投屏控制系统,其特征在于,所述系统包括第一终端和第二终端,所述第一终端和所述第二终端通信连接,所述第一终端包括第一处理器和第一显示屏,所述第二终端包括第二处理器和第二显示屏,包括:
    所述第一处理器,被配置为生成第一显示界面,控制所述第一显示屏显示所述第一显示界面;创建虚拟显示屏;创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面;将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端,以使第二终端显示所述第二显示界面;
    所述第二处理器,被配置为接收投屏至所述第二终端的第二显示界面,并控制所述第二显示屏显示所述第二显示界面。
  28. 根据权利要求27所述的投屏控制系统,其特征在于,所述创建所述虚拟显示屏之后,包括:
    所述第一处理器,被配置为为所述虚拟显示屏分配第一屏幕标识,其中,所述第一屏幕标识与第二屏幕标识不同,所述第二屏幕标识为所述第一处理器分配给所述第一显示屏的屏幕标识。
  29. 根据权利要求27所述的投屏控制系统,其特征在于,所述创建虚拟显示屏,包括:
    所述第一处理器,被配置为获取所述第二终端发送的与所述第二显示屏对应的屏幕分辨率,并根据所述屏幕分辨率确定虚拟显示屏的目标分辨率;基于所述目标分辨率,创建所述虚拟显示屏。
  30. 根据权利要求27所述的投屏控制系统,其特征在于,所述控制所述虚拟显示屏显示所述第二显示界面,包括:
    所述第一处理器,被配置为获取所述第二终端发送的终端类型信息,并确定与所述终端类型信息对应的横竖屏模式;按照所述横竖屏模式,在所述虚拟显示屏中显示第二显示界。
  31. 根据权利要求27所述的投屏控制系统,其特征在于,所述控制所述虚拟显示屏显示所述第二显示界面,包括:
    所述第一处理器,被配置为创建悬浮窗口;以所述悬浮窗口为载体,将在所述虚拟显示屏中显示的所述第二显示界面显示在所述悬浮窗口中。
  32. 根据权利要求31所述的投屏控制系统,其特征在于,所述以所述悬浮窗口为载体,将所述虚拟显示屏显示在所述悬浮窗口中,包括:
    所述第一处理器,被配置为确定与所述虚拟显示屏对应的第一屏幕标识,并确定出与所述第一屏幕标识对应的第一存储标识;从与所述第一存储标识对应的第一存储区域中获取屏幕数据,并根据所述屏幕数据,将显示在虚拟显示屏中的第二显示界面显示在悬浮窗口中。
  33. 根据权利要求30所述的投屏控制系统,其特征在于,包括:
    所述第一处理器,被配置为根据所述终端类型信息,在多个所述第二显示界面中确定出一个目标显示界面;其中,多个所述第二显示界面被预先存储,多个所述第二显示界面中的图标大小是不同的;在所述虚拟显示屏中显示所述 目标显示界面。
  34. 根据权利要求31所述的投屏控制系统,其特征在于,所述第二终端显示所述第二显示界面之后,包括:
    所述第一处理器,被配置为若获取到与所述虚拟显示屏对应的隐藏/显示指令,将所述悬浮窗口隐藏/显示;和/或若获取到与所述虚拟显示屏对应的移动指令,获取与所述移动指令对应的移动信息;基于所述移动信息,对所述悬浮窗口进行移动;和/或若获取到与虚拟显示屏对应的放大/缩小指令,则确定出与所述放大/缩小指令对应的调整尺寸;按照所述调整尺寸,对所述悬浮窗口的所述窗口尺寸信息进行调整。
  35. 根据权利要求32所述的投屏控制系统,其特征在于,所述将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端,包括:
    所述第一处理器,被配置为获取投屏指令;若所述投屏指令中携带着所述第一屏幕标识,则确定出与所述第一屏幕标识对应的第一存储标识;从与所述第一存储标识对应的第一存储区域中获取第一录屏数据,并将所述第一录屏数据发送至所述第二终端,以将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端。
  36. 根据权利要求35所述的投屏控制系统,其特征在于,所述将所述录屏数据发送至所述第二终端,以将与所述虚拟显示屏对应的所述第二应用界面投屏至所述第二终端,包括:
    所述第一处理器,被配置为对所述第一录屏数据进行编码,得到与所述虚拟显示屏对应的视频流;将所述视频流发送至所述第二终端,以将所述第二显示界面投屏至所述第二终端。
  37. 根据权利要求27所述的投屏控制系统,其特征在于,所述第二终端显示所述第二显示界面之后,包括:
    所述第一处理器,被配置为创建与所述虚拟显示屏对应的第一虚拟输入设备;接收所述第二终端发送与所述虚拟显示屏对应的第一触控信息,基于所述第一虚拟输入设备,模拟出与所述第一触控信息对应的第一触控事件,以将所述第一触控事件发送至所述虚拟显示屏中;根据所述第一触控事件控制所述第二显示界面。
  38. 根据权利要求27所述的投屏控制系统,其特征在于,所述第二终端的个数为多个,包括:
    所述第一处理器,被配置为若所述第二终端的个数为多个,则在多个所述第二终端中确定出第三终端以及第四终端;将与所述第一显示屏对应的所述第一显示界面投屏至所述第三终端,以创建所述第三终端与所述第一显示界面之间的第一控制关系;将与所述虚拟显示屏对应的所述第二显示界面投屏至所述 第四终端,以创建所述第四终端与所述第二显示界面之间的第二控制关系。
  39. 根据权利要求27所述的投屏控制系统,其特征在于,所述生成第一显示界面,控制所述第一显示屏显示所述第一显示界面,包括:
    所述第一处理器,被配置为确定与所述第一应用对应的第一显示界面;获取与所述第一显示屏对应的第一屏幕标识,并确定出与所述第一屏幕标识对应的第一存储标识;将与所述第一显示界面对应的第一界面数据存储至所述第一存储区域,以控制所述第一显示屏显示所述第一显示界面;其中,所述第一存储区域与所述第一存储标识对应。
  40. 根据权利要求39所述的投屏控制系统,其特征在于,所述创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面,包括:
    所述第一处理器,被配置为确定与所述第一应用对应的第二显示界面;获取与所述虚拟显示屏对应的第二屏幕标识,并确定出与所述第二屏幕标识对应的第二存储标识;将与所述第二显示界面对应的第二界面数据存储至所述第二存储区域,以控制所述虚拟显示屏显示所述第二显示界面;其中,所述第二存储区域与所述第二存储标识对应。
  41. 根据权利要求39所述的投屏控制系统,其特征在于,所述创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面,包括:
    所述第一处理器,被配置为确定与第二应用对应的第二显示界面;获取与所述虚拟显示屏对应的第二屏幕标识,并确定出与所述第二屏幕标识对应的第二存储标识;将与所述第二显示界面对应的第二界面数据存储至所述第二存储区域,以控制所述虚拟显示屏显示所述第二显示界面;其中,所述第二存储区域与所述第二存储标识对应。
  42. 根据权利要求28所述的投屏控制系统,其特征在于,所述创建虚拟显示屏,包括:
    所述第一处理器,被配置为:响应作用于所述第一显示屏的屏幕创建操作,创建虚拟显示屏。
  43. 根据权利要求28所述的投屏控制系统,其特征在于,所述创建虚拟显示屏,包括:
    所述第一处理器,被配置为接收第二终端发送的屏幕创建指令,并基于所述屏幕创建指令,创建虚拟显示屏。
  44. 根据权利要求35所述的投屏控制系统,其特征在于,包括:
    所述第一处理器,被配置为若所述投屏指令中携带着的所述屏幕标识与所述第二屏幕标识一致,则确定出与所述第二屏幕标识对应的第二存储标识;从与所述第二存储标识对应的第二存储区域中获取第二录屏数据,将所述第二录屏数据发送至所述第二终端,以将与所述第一显示屏对应的所述第一显示界面 投屏至所述第二终端。
  45. 根据权利要求44所述的投屏控制系统,其特征在于,所述将与所述第一显示屏对应的所述第一显示界面投屏至所述第二终端之后,包括:
    所述第一处理器,被配置为创建与所述第一显示屏对应的第二虚拟输入设备;接收所述第二终端发送与所述第一显示屏对应的第二触控信息;基于所述第二虚拟输入设备,模拟出与所述第二触控信息对应的第二触控事件,以将所述第二触控事件发送至所述虚拟显示屏中;根据所述第二触控事件控制所述第二显示界面。
  46. 一种投屏控制方法,其特征在于,应用于第一终端,所述第一终端包括第一显示屏,所述第一终端与所述第二终端通信连接,所述方法包括:
    生成第一显示界面,控制所述第一显示屏显示所述第一显示界面;
    创建虚拟显示屏;
    创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面;
    将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端,以使第二终端显示所述第二显示界面。
  47. 一种投屏控制方法,其特征在于,应用于第二终端,所述第二终端包括第二显示屏,所述第二终端与所述第一终端通信连接,所述方法包括:
    接收投屏至所述第二终端的第二显示界面,并将所述第二显示界面显示;其中,所述第二显示界面显示在虚拟显示屏中,所述虚拟显示屏由所述第一终端创建,所述第一终端还生成第一显示界面,并控制所述第一显示屏显示所述第一显示界面。
  48. 一种投屏控制方法,其特征在于,所述方法用于投屏控制系统,所述投屏控制系统包括第一终端和第二终端,所述第一终端和所述第二终端通信连接,所述第一终端包括第一显示屏,所述第二终端包括第二显示屏,包括:
    所述第一终端,被配置为生成第一显示界面,控制所述第一显示屏显示所述第一显示界面;创建虚拟显示屏;创建第二显示界面,并控制所述虚拟显示屏显示所述第二显示界面;将与所述虚拟显示屏对应的所述第二显示界面投屏至所述第二终端,以使第二终端显示所述第二显示界面;
    所述第二终端,被配置为接收投屏至所述第二终端的第二显示界面,并控制所述第二显示屏显示所述第二显示界面。
  49. 一种电子设备,其特征在于,包括:
    处理器;
    存储器,用于存储所述处理器的可执行指令;
    其中,所述处理器被配置为经由执行所述可执行指令来执行权利要求46-48中的任意一项所述的投屏控制方法。
  50. 一种计算机可读存储介质,其上存储计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求46-48中的任意一项所述的投屏控制方法。
PCT/CN2022/103050 2022-06-30 2022-06-30 用于投屏的终端、系统及方法、存储介质、电子设备 WO2024000487A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280002086.4A CN117642718A (zh) 2022-06-30 2022-06-30 用于投屏的终端、系统及方法、存储介质、电子设备
PCT/CN2022/103050 WO2024000487A1 (zh) 2022-06-30 2022-06-30 用于投屏的终端、系统及方法、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/103050 WO2024000487A1 (zh) 2022-06-30 2022-06-30 用于投屏的终端、系统及方法、存储介质、电子设备

Publications (1)

Publication Number Publication Date
WO2024000487A1 true WO2024000487A1 (zh) 2024-01-04

Family

ID=89383778

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/103050 WO2024000487A1 (zh) 2022-06-30 2022-06-30 用于投屏的终端、系统及方法、存储介质、电子设备

Country Status (2)

Country Link
CN (1) CN117642718A (zh)
WO (1) WO2024000487A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227820A1 (en) * 2018-01-24 2019-07-25 Vmware, Inc. Cross-device mulit-monitor setup for remote desktops via image scanning
CN111045772A (zh) * 2019-12-02 2020-04-21 维沃移动通信有限公司 一种应用分享方法、电子设备及计算机可读存储介质
CN111432070A (zh) * 2020-03-17 2020-07-17 北京百度网讯科技有限公司 应用投屏控制方法、装置、设备和介质
CN112202967A (zh) * 2020-09-01 2021-01-08 武汉卡比特信息有限公司 基于手机互联的分屏显示方法
CN112905289A (zh) * 2021-03-10 2021-06-04 Oppo广东移动通信有限公司 应用画面的显示方法、装置、终端、投屏系统及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227820A1 (en) * 2018-01-24 2019-07-25 Vmware, Inc. Cross-device mulit-monitor setup for remote desktops via image scanning
CN111045772A (zh) * 2019-12-02 2020-04-21 维沃移动通信有限公司 一种应用分享方法、电子设备及计算机可读存储介质
CN111432070A (zh) * 2020-03-17 2020-07-17 北京百度网讯科技有限公司 应用投屏控制方法、装置、设备和介质
CN112202967A (zh) * 2020-09-01 2021-01-08 武汉卡比特信息有限公司 基于手机互联的分屏显示方法
CN112905289A (zh) * 2021-03-10 2021-06-04 Oppo广东移动通信有限公司 应用画面的显示方法、装置、终端、投屏系统及介质

Also Published As

Publication number Publication date
CN117642718A (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
WO2021135160A1 (zh) 游戏直播控制方法及装置、计算机存储介质、电子设备
US20220398059A1 (en) Multi-window display method, electronic device, and system
JP6460228B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP5681191B2 (ja) コンピュータ周辺機器上にアプリケーションインターフェイス部を提供する方法および装置
US20120005630A1 (en) Highly Responsive Screen Output Device, Screen Output System, and Screen Output Method
WO2020211437A1 (zh) 传屏方法和多屏互动装置、系统
US20230017791A1 (en) Display method and display apparatus for operation prompt information of input control
US20230333803A1 (en) Enhanced Screen Sharing Method and System, and Electronic Device
US20150029196A1 (en) Distribution management apparatus
US20140089812A1 (en) System, terminal apparatus, and image processing method
JP5754117B2 (ja) 外部入力装置、表示データ作成方法、プログラム
CN111984167B (zh) 一种快捷命名的方法及显示设备
WO2024000487A1 (zh) 用于投屏的终端、系统及方法、存储介质、电子设备
CN112650418B (zh) 一种显示设备
WO2022121778A1 (zh) 声音信息处理方法及装置、计算机存储介质、电子设备
CN115562532A (zh) 鼠标输入数据处理方法及装置、存储介质、电子设备
CN112947783B (zh) 一种显示设备
JP2001197461A (ja) マルチメディア情報操作ウインドウの共有操作方法
CN112732120A (zh) 一种显示设备
CN113419650A (zh) 一种数据移动方法、装置、存储介质及电子设备
JP2008040347A (ja) 画像表示装置、画像表示方法および画像表示プログラム
CN111949150A (zh) 控制外设切换方法、装置、存储介质及电子设备
CN111782606A (zh) 显示设备、服务器和文件管理方法
CN114281284B (zh) 显示设备和图像显示方法
JP6606251B2 (ja) 送信側コンピュータ、受信側コンピュータ、及びそれらにより実行される方法、並びにコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22948590

Country of ref document: EP

Kind code of ref document: A1