WO2023283941A1 - 一种投屏图像的处理方法和装置 - Google Patents

Abstract

本申请提供了一种投屏图像的处理方法和装置，该方法包括：第一电子设备从第二电子设备接收第一投屏图像；响应于用户的操作，绘制报点数据；且基于报点数据，绘制操作轨迹；然后将操作轨迹与第一投屏图像合成，得到合成后的图像；最后显示合成后的图像。由此，通过在第一电子设备上部署手写应用，使第一电子设备在有新的操作发生时能够绘制相应的操作轨迹，新的操作轨迹的显示延迟不依赖于第二电子设备与第一电子设备之间的传输时延，从而减小操作轨迹的显示延迟。

Description

一种投屏图像的处理方法和装置 技术领域

本申请涉及计算机技术领域，更为具体地，涉及一种投屏图像的处理方法和装置。

背景技术

随着科技的发展以及智能带屏终端的出现，投屏技术被广泛应用。通常情况下，投屏技术通过有线投屏端口或无线投屏端口将一个电子设备上的显示画面传送到另一个电子设备。

一种情况下，用户可以通过手指、手写笔或鼠标等在电子设备进行操作，电子设备根据这些操作生成的数据可以被称为报点数据。第一电子设备根据用户在的操作生成的报点数据需要通过有线投屏端口或无线投屏端口传输到第二电子设备，由第二电子设备完成对报点数据的轨迹的绘制并合成，然后再传送到第一电子设备。因此，手写绘制的轨迹的显示延迟较大，用户体验差。

发明内容

本申请提供了一种投屏图像的处理方法，以期减小操作轨迹的显示延迟。

第一方面，本申请提供了一种投屏图像的处理方法，包括：从第二电子设备接收第一投屏图像；响应于用户的操作，生成报点数据；基于所述报点数据，绘制操作轨迹；将所述操作轨迹与所述第一投屏图像合成，得到合成后的图像；显示所述合成后的图像。

基于上述技术内容，通过在第一电子设备上部署手写应用，手写应用可以基于新接收到的操作，在本地绘制操作轨迹。如此一来，即便第二电子设备绘制的最新的投屏图像(也即，包含了基于新的操作而绘制的操作轨迹的图像)还未到达第一电子设备，第一电子设备也可以直接基于新接收到的操作，绘制最新的操作轨迹，并将该操作轨迹与此前从第二电子设备接收到的投屏图像(如第一投屏图像)合成，进而在第一电子设备显示。因此，第一电子设备在有新的操作发生时，新的操作轨迹的显示延迟不依赖于第二电子设备与第一电子设备之间的传输时延，从而减小操作轨迹的显示延迟。

应理解，第一电子设备可以以帧为单位来绘制操作轨迹，以得到一帧图像。第一电子设备可以每隔一段时间生成一帧图像，每一帧图像包含最近一段时间绘制的操作轨迹。与该操作轨迹对应的一段时间的时长可以大于第一电子设备与第二电子设备之间的双向传输时延与第二电子设备本地对接收到的报点数据进行处理的时延之和。

可选地，该方法还包括：向所述第二电子设备发送所述操作轨迹，所述操作轨迹用于在所述第二电子设备与一个或多个图层的图像合成，所述一个或多个图层的图像被所述第二电子设备用于合成所述第一投屏图像。

基于上述技术内容，由于操作轨迹可以由第一电子设备绘制，因此，第二电子设备上 要显示操作轨迹，可以由第一电子设备将已绘制的操作轨迹发送给第二电子设备。

可选地，该方法还包括：向所述第二电子设备发送所述报点数据，所述报点数据用于所述第二电子设备绘制所述操作轨迹，所述操作轨迹用于在所述第二电子设备与一个或多个图层的图像合成，所述一个或多个图层的图像被所述第二电子设备用于合成所述第一投屏图像。

应理解，第二电子设备基于报点数据绘制的操作轨迹和第一电子设备基于报点数据绘制的操作轨迹是相同的。

基于上述技术内容，第二电子设备上要显示操作轨迹，可以由第一电子设备直接将报点数据发送给第二电子设备，由第二电子设备绘制并显示操作轨迹。

应理解，对于第一电子设备来说，投屏图像可以承载于投屏图层中。对于第二电子设备来说，投屏图像是由包括应用图层在内的一个或多个图层合成后发送给第一电子设备的图像。上述的投屏图像包括第一投屏图像或第二投屏图像。

进一步可选地，该方法还包括：从所述第二电子设备接收第二投屏图像，所述第二投屏图像是基于所述一个或多个图层的图像和所述操作轨迹合成得到的；显示所述第二投屏图像，以更新所述合成后的图像。

应理解，所述操作轨迹可以是第一电子设备绘制并发送给第二电子设备的操作轨迹，也可以是第二电子设备根据报点数据自行绘制的操作轨迹，本申请对此不作限定。如前所述，由于第一电子设备和第二电子设备可以基于报点数据绘制得到相同的操作轨迹，故无论是基于第一电子设备绘制的操作轨迹与第二电子设备本地的一个或多个图层的图像合成，还是基于第二电子设备绘制的操作轨迹与第二电子设备本地的一个或多个图层的图像合成，所得的第二投屏图像也是相同的。第二电子设备可以将新生成的第二投屏图像发送给第一电子设备，以便于更新第一电子设备的投屏图像。第一电子设备基于所述第二投屏图像，更新本地显示的图像可以是指，将第一投屏图像替换为第二投屏图像，以用于显示，或用于与最新的操作轨迹合成新的图像。

下文中为方便区分和说明，将第一电子设备基于报点数据绘制的轨迹记为第一操作轨迹，第二电子设备基于报点数据绘制的轨迹记为第二操作轨迹。

第一电子设备本地显示的图像的更新可包括如下两种实现方式，下文将对这两种实现方式做详细说明。

在第一种可能的实现方式中，如前所述，第一电子设备可以在接收到新的用户操作时，自行绘制第一操作轨迹，并与来自第二电子设备的第一投屏图像合成，得到合成的图像，以此来减小操作轨迹的显示延迟。另一方面，第一电子设备可以将第一操作轨迹或第一操作轨迹的报点数据发送至第二电子设备。第二电子设备可以获取到新的操作轨迹(如第一操作轨迹，或基于报点数据绘制的第二操作轨迹)后，可以将该新的操作轨迹与第二电子设备本地一个或多个图层的图像合成，得到合成后的图像后再发送给第一电子设备。这里，第二电子设备本地一个或多个图层的图像可以是指用于合成第二投屏图像的图层。基于新的操作轨迹第二电子设备本地的一个或多个图层的图像合成后的图像是新的投屏图像，即第二投屏图像，可用于更新第一电子设备中显示的图像。

一种可能的情况是，在第一电子设备将第一操作轨迹的报点数据发送给第二电子设备之后，用户在第一电子设备又产生了新的操作，也即第一电子设备可以基于新的操作绘制 新的操作轨迹。

如前所述，第一电子设备可以每隔一段时间生成一帧图像，每一帧图像可以包含最近一段时间绘制的操作轨迹。因此，上述新绘制的操作轨迹可以理解为是基于最近一段时间内的操作绘制的轨迹，是第一操作轨迹的又一个示例。应理解，用于生成前后两帧图像的时段可能存在重叠。因此，前后两帧图像中的第一操作轨迹也可能存在重叠或近似重叠。为方便区分上一帧图像中的第一操作轨迹和下一帧图像中的第一操作轨迹，下文将上一帧图像中的第一操作轨迹记为操作轨迹1，下一帧图像中的操作轨迹记为操作轨迹2。

第二电子设备可以基于接收到的报点数据绘制第二操作轨迹。应理解，该第二操作轨迹可以是第二电子设备基于接收到的最近一段时间内的报点数据和之前接收到的报点数据共同绘制得到，也可以将根据接收到的最近一段时间内的报点数据绘制的操作轨迹与之前绘制的操作轨迹进行合成得到。第二电子设备可以将该第二操作轨迹与本地一个或多个图层的图像合成第二投屏图像并发送给第一电子设备。

第一电子设备可以基于操作轨迹2和第二投屏图像进行合成。由此可以将最新的操作轨迹显示在最新合成的图像上。该图像上的操作轨迹可能一部分来自第二投屏图像，一部分来自操作轨迹2。

或者，第一电子设备可以将操作轨迹2与操作轨迹1进行合成后，再与第二投屏图像合成。由此，可以将最新的操作轨迹显示在最新合成的图像上，并且该图像上的操作轨迹全部来自第一电子设备本地绘制的操作轨迹。

如此，可以实现对第一电子设备本地显示的图像的更新。

在第二种可能的实现方式中，第一电子设备可以在接收到新的用户操作时，自行绘制操作轨迹，并与来自第二电子设备的第一投屏图像合成，得到合成的图像。第一电子设备可以基于每一次新的用户操作，绘制操作轨迹，并将新绘制的操作轨迹与上一次合成的图像合成，得到更新的图像。如此，可以实现对第一电子设备本地显示的图像的更新。第二电子设备可以基于接收到的操作轨迹刷新本地保存的图像数据。由于该操作轨迹是第一电子设备本地绘制的，第二电子设备无需再将该操作轨迹发送给第一电子设备。

第二方面，本申请提供了一种投屏图像的处理方法，包括：向第一电子设备发送第一投屏图像；接收来自第一电子设备的操作轨迹，所述操作轨迹是基于用户在所述第一电子设备的操作绘制的；将所述操作轨迹与一个或多个图层的图像进行同步，所述一个或多个图层的图像用于合成所述第一投屏图像。

基于上述技术内容，第二电子设备接收来自第一电子设备的操作轨迹(即，上述的第一操作轨迹)，能够将操作轨迹在本地进行同步，以便本地对第一操作轨迹进行进一步处理，例如以便和第二电子设备本地用于投屏的图像(如上述第一投屏图像)合成，得到新的投屏图像(如上述第二投屏图像)，并将该新的投屏图像发送至第一电子设备，用于对第一电子设备显示的图像的更新。同时也便于在第二电子设备上显示最新的操作轨迹。

结合第二方面，在第二方面的某些可能的实现方式中，该方法还包括：将所述操作轨迹与一个或多个图层的图像合成，得到第二投屏图像；显示所述第二投屏图像。

应理解，基于第一操作轨迹和用于合成第一投屏图像的本地的一个或多个图层的图像，可以合成第二投屏图像。此过程可以是同步的一例。

结合第二方面，在第二方面的某些可能的实现方式中，该方法还包括：向所述第一电子设备发送所述第二投屏图像。

可以理解，第二电子设备向第一电子设备发送的合成后的图像是第二电子设备最新合成的投屏图像，即第二投屏图像。第二电子设备将第二投屏图像发送给第一电子设备后，第一电子设备便可以基于最新接收到的第二投屏图像，更新第一电子设备本地显示的图像。比如，第一电子设备可基于新的操作，将新绘制的操作轨迹(即上述操作轨迹2)与第二投屏图像合成，得到合成后的图像用于显示；又比如，第一电子设备在未产生新的操作的情况下，将本地的操作轨迹(此时本地的操作轨迹没有数据)与第二投屏图像合成，最终显示第二投屏图像。

结合第二方面，在第二方面的某些可能的实现方式中，该方法还包括：向所述第一电子设备发送所述第二投屏图像。

第三方面，本申请提供了一种投屏图像的处理装置，包括用于实现第一方面、第二方面或第一方面和第二方面任一种可能实现方式中的方法的模块或单元。应理解，各个模块或单元可通过执行计算机程序来实现相应的功能。

第四方面，本申请提供了一种投屏图像的处理装置，包括处理器，所述处理器用于执行第一方面、第二方面或第一方面和第二方面任一种可能实现方式中所述的投屏图像的处理方法。

所述装置还可以包括存储器，用于存储指令和数据。所述存储器与所述处理器耦合，所述处理器执行所述存储器中存储的指令时，可以实现上述各方面中描述的方法。所述装置还可以包括通信接口，所述通信接口用于该装置与其它设备进行通信，示例性地，通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。

第五方面，本申请提供了一种芯片系统，该芯片系统包括至少一个处理器，用于支持实现上述第一方面、第二方面或第一方面和第二方面任一种可能实现方式中所涉及的功能，例如，例如接收或处理上述方法中所涉及的数据和/或信息。

在一种可能的设计中，所述芯片系统还包括存储器，所述存储器用于保存程序指令和数据，存储器位于处理器之内或处理器之外。

该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

第六方面，本申请提供了一种计算机可读存储介质，包括计算机程序，当其在计算机上运行时，使得计算机实现第一方面、第二方面或第一方面和第二方面任一种可能实现方式中的方法。

第七方面，本申请提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当所述计算机程序被运行时，使得计算机执行第一方面、第二方面或第一方面和第二方面任一种可能实现方式中的方法。

应当理解的是，本申请的第三方面至第七方面与本申请的第一方面和第二方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为本申请实施例提供的一种电子设备的示意性框图；

图2为适用于本申请实施例提供的方法的一种电子设备的软件与硬件的结构示意 性框图；

图3为适用于本申请实施例提供的投屏图像的处理方法的投屏系统的示意图；

图4为无线投屏的一种可能的处理流程示意图；

图5为无线投屏的时延示意图；

图6和图7为本申请实施例提供的投屏图像的处理方法的流程示意图；

图8为无线投屏的另一时延示意图；

图9为本申请实施例提供的投屏图像的处理装置900的示意性框图；

图10为本申请实施例提供的投屏图像的处理装置1000的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。为了便于理解本申请实施例，首先对本申请涉及的应用场景做简单的介绍。

随着科技的发展以及智能带屏终端的出现，无线投屏技术被广泛应用。无线投屏技术通过无线通信技术将一个电子设备上的显示画面传送到另一个电子设备上显示。其中，传送该显示画面的终端设备可以称为第二电子设备，接收到该显示画面并显示的终端设备可以称为第一电子设备。

其中，第一电子设备可以为支持用户采用手写输入且带有较大显示屏的电子设备，例如可以为：电视机、智慧屏等电子设备。本申请实施例对终端设备和显示端设备的具体类型不作任何限定。第二电子设备为支持投屏的电子设备，例如可以为手机、平板电脑、车载设备、笔记本电脑、个人计算机(personal computer，PC)、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、等电子设备。

应理解，本申请实施例中的第一电子设备和第二电子设备均为带显示屏的电子设备，可以为相同类型的电子设备，也可以为不同类型的电子设备，第一电子设备和第二电子设备的具体结构均可以从参考下文图1和图2所示的电子设备100的结构，两者可以采用比图1和图2中所示结构更多或者更少的组成部分，本申请实施例对此不作限定。还应理解，本申请实施例中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

还应理解，本申请实施例中的投屏图像是由第二电子设备通过有线投屏端口或无线投屏端口传输至第一电子设备，进而通过第一电子设备的显示屏显示的图像。对于第一电子设备来说，投屏图像可以承载于投屏图层中。对于第二电子设备来说，投屏图像可以承载于包括应用图层在内的一个或多个图层中。第二电子设备可以在对该一个或多个图层合成为投屏图像后，投屏至第一电子设备。具体地，该第二电子设备中的一个或者多个图层例如可以为手写应用窗口的图层以及当前投屏的界面中其他图标或应用的图层，总体可以看作是用于投屏的显示界面包含的图层。在下文中，对第二电子设备侧的执行过程进行描述时，投屏图像即对应于本地一个或多个图层的图像。

此外，本申请实施例中所述的方法可以支持Linux、安卓(Android)、鸿蒙操作系统(Harmony operating system，Harmony OS)、Mac、iOS、Windows和物联网操作系统(如LiteOS)等操作环境。本申请实施例对此不作任何限定。

示例性地，图1示出了电子设备100的结构示意图。如图1所示，该电子设备100 可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，鼠标191，指示器192，摄像头193，显示屏194，用户标识模块(subscriber identification module，SIM)卡接口195，触控电路196(touch panel integrated circuit，TP IC)以及无线保真(wireless fidelity，Wi-Fi)电路197(Wi-Fi integrated circuit，Wi-Fi IC)等。

可以理解的是，本申请示意的结构并不构成对电子设备100的具体限定。在另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、存储器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器及神经网络处理器(neural-network processing unit，NPU)等中的一个或多个。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，应用处理器通过音频模块170(如扬声器170A等)输出声音信号，或通过显示屏194显示图像或视频。

控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。在一些实施例中，控制器可以对触控电路196采集的信号进行进一步处理。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

处理器110可以通过执行指令，执行不同的操作，以实现不同的功能。该指令例如可以是设备出厂前预先保存在存储器中的指令，也可以是用户在使用过程中安装新的应用(application，APP)之后从APP中读取到的指令，本申请实施例对此不作任何限定。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口、集成电路内置音频(inter-integrated circuit sound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobile industry processor interface，MIPI)、通用输入输出(general-purpose input/output，GPIO)接口、SIM接口和/或USB接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。 处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(display serial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本申请示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施 例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，WLAN)(如Wi-Fi网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

无线通信模块160可用于实现主机端和显示端之间的数据传输，比如，主机端通过WiFi空口向显示端发送投屏图像，显示端通过WiFi空口向主机端发送报点数据，等。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple  access，TD-SCDMA)，长期演进(long term evolution，LTE)，第五代(5th generation，5G)通信系统，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(BeiDou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100可以通过GPU、显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194，也可以称为屏幕，可用于显示图像、视频等。显示屏194可包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)、柔性发光二极管(flex light-emitting diode，FLED)，迷你LED(Mini LED)、微Led(Micro LED)、微OLED(Micro-OLED)、量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括一个或多个显示屏194。

应理解，显示屏194还可以包括更多的组件。例如，背光板、显示集成电路(integrated circuit，IC)等。其中，背光板可用于提供光源，显示面板基于背光板提供的光源而发光。显示集成电路可用于绘制、合成图像，并可用于控制液晶层的液晶透光或不透光。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括一个或多个摄像头193。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动 态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持一个或多个SIM卡接口。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

触控电路196可以用于采集用户通过触摸显示屏194产生的信号。

可以理解的是，本申请示意的结构并不构成对电子设备100的具体限定。在另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

电子设备100的软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构。本申请以分层架构的Android系统为例，示例性说明电子设备100的软件结构。其中，本申请对电子设备的操作系统的类型不做限定。例如，Android系统、鸿蒙OS等。

图2是适用于本申请实施例提供的方法的一种电子设备的软件与硬件的结构框图。如图2所示，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层、应用程序框架层、安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。如图2所示，应用程序层可以包括手写应用(例如包括画笔应用)、相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、游戏、购物、出行、即时通信(如短信息、微信等)、智能家居、设备控制等应用程序。本申请实施例包含但不限于此。

其中，手写应用集成了手写图层工具的软件服务程序包和手写窗口的管理服务，手写窗口管理包括手写文件管理、手写数据管理、手写应用窗口缩放等功能。画笔应用可以实现手写应用的一部分功能，为手写工具集提供手写图层工具的软件服务程序包，包括笔刷、画布等功能。手写应用可以看作是一个能够生成用于承载操作轨迹的手写图层的应用。

在本申请的实施例中，第一电子设备可部署画笔应用或手写应用，第二电子设备可部署手写应用。

应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示，应用程序框架层可以包括输入管理服务(input manager service，IMS)、显示策略服务、电源管理服务(power manager service，PMS)、显示管理服务(display manager service，DMS)、活动管理服务、资源管理服务、内容提供服务、视图系统、电话管理服务、通知管理服务、窗口管理服务、进程管理服务、绘制服务、无线投屏服务、反向交互服务、显示框架等。本申请实施例对此不作任何限制。

输入管理服务可用于为输入数据找到相应的应用程序，使相应的应用程序对输入数据进行处理。

在一些实施例中，无线投屏服务可以和Wi-Fi驱动、Wi-Fi IC共同完成手写数据以及投屏图像的传输。反向交互服务与无线投屏服务作用相同，此处不再赘述。

显示框架可以用于调用显示IC绘制、合成图像，并可控制显示屏显示图像。

窗口管理服务可用于管理窗口程序。窗口管理服务可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供服务可用于存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

资源管理服务为应用程序提供各种资源，比如本地化字符串、图标、图片、布局文件、视频文件等等。

通知管理服务使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

绘制服务可用于绘制界面，示例性地，绘制服务可将应用布局和资源转换为内核层的显示服务能够识别的格式。绘制服务可将绘制的界面发送给内核层的显示服务，进而实现绘制的界面的显示。

安卓运行时可以包括核心库和虚拟机。安卓运行时负责Android系统的调度和管理。

核心库可以包含两部分：一部分是java语言需要调用的功能函数，另一部分是Android系统的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理、堆栈管理、线程管理、安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：状态监测服务、表面管理器(surface manager)、媒体库(media libraries)、三维图形处理库(例如，OpenGLES)、二维(2 dimensions，2D)图形引擎(例如，SGL)等。

状态监测服务用于根据内核层上报的监测数据确定手机的具体朝向、柔性屏幕的物理状态等。表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和三维(3dimensions，3D)图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如，MPEG4、H.264、MP3、AAC、AMR、JPG、PNG等。三维图形处理库用于实现三维图形绘图、图像渲染、合成和图层处理等。2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含输入子系统、电源管理服务、传感器服务(也可以称，传感器驱动)、显示服务(也可以称，显示驱动)、摄像头驱动、音频驱动、Wi-Fi驱动(Wi-Fi driver)等。本申请实施例对此不做任何限制。

其中，输入子系统包括驱动层、输入子系统核心和事件处理层，用于管理不同类型、不同原理、不同的输入信息的输入设备。输入设备例如可以为键盘、鼠标、触摸屏、手柄、手写或者是一些体感输入设备等。

驱动层用于将底层的硬件输入转化为统一事件形式，向输入子系统核心(input core)汇报。驱动层可以包括触控驱动(touch panel driver，TP Driver)。在一些实施例中，触控驱动用于接收来自触控电路的信号，并将其转化为相应的输出信号，输入至系统输入管理服务进一步处理。

Wi-Fi驱动用于驱动Wi-Fi IC进入工作状态。

应用程序框架层以下的系统库和内核层等可称为底层系统。底层系统中包括用于提供显示服务的底层显示系统，例如，底层显示系统包括内核层中的显示驱动以及系统库中的表面管理器等。

底层系统之下为硬件，硬件可以为软件运行提供基础。如图2所示，该电子设备的硬件可以包括但不限于，开机键、传感器、显示屏、指纹、摄像头等。

本申请所涉及的投屏是指某个电子设备上的媒体数据(如音频、视频、图片等)传输至另外的电子设备上呈现，实现多个电子设备之间同步显示相同媒体数据的效果。本申请所涉及的投屏可以包括有线投屏和无线投屏。其中，有线投屏可以通过高清多媒体接口(high definition multimedia interface，HDMI)建立多个电子设备之间的连接，并通过HDMI传输线传输媒体数据。无线投屏可以通过例如Mira cast等无线投屏协议建立多个电子设备之间的连接，并通过无线通信模块传输媒体数据。

图3是适用于本申请实施例提供的投屏图像的处理方法的投屏系统的示意图。如图3所示，该投屏系统300包括至少两个电子设备，如图中所示的第一电子设备310和第二电子设备320。第一电子设备310和第二电子设备320之间可通过投屏端口建 立投屏连接，进而实现媒体数据的传输。投屏端口可以包括有线端口和/或无线端口。其中，有线端口可以为HDMI；无线端口可以包括API，也可以包括无线硬件投屏模块。本申请实施例对此不作限定。如图3所示，第一电子设备310的投屏端口包括第一有线端口和第一无线端口，第一有线端口和第一无线端口可以集成在第一电子设备310上，也可以独立于第一电子设备310而存在。第二电子设备的投屏端口可以包括第二有线端口和第二无线端口，第二有线端口和第二无线端口可以集成在第二电子设备320上，也可以独立于第二电子设备320而存在。本申请实施例对此不作限定。

第二电子设备320向第一电子设备310执行投屏操作。用户可以通过手指、手写笔或鼠标等在第一电子设备310上做标记，这些标记可以被称为报点数据。因此，本实施例的操作可以理解是用户操作，而不仅限于用手执行的操作。在当前技术中，该报点数据需要通过投屏端口被传输到第二电子设备，由第二电子设备完成对报点数据的轨迹的绘制，并将绘制后的轨迹与投屏图像合成，然后再传输到第一电子设备。

为便于理解，图4示出了无线投屏的一种可能的处理流程。图4中实心箭头所示的流程示出了第一电子设备将报点数据传送给第二电子设备以及第二电子设备绘制报点数据并与投屏图像合成的流程。图4中空心箭头所示的流程示出了第二电子设备将合成后的图像传送给第一电子设备以及在第一电子设备上显示的流程。

首先，第一电子设备响应于用户的操作，生成报点数据。示例性地，如图4所示，第一电子设备可以通过TP IC采集用户输入的手写数据，然后将采集的手写数据输入控制器，由控制器计算得到报点数据。TP IC将报点数据输入至TP Driver，TP Driver将报点数据转化为一定的事件形式。

应理解，用户可以通过手写笔在第一电子设备的显示屏上进行操作，产生手写数据，用户还可以通过鼠标或手指在第一电子设备的显示屏上进行操作。用户还可以通过其他方式进行操作，本申请实施例对此不作限定。其中，报点数据可以包括操作在显示屏上对应的位置信息。其次，第一电子设备通过无线投屏服务或者反向交互服务，将报点数据传送至第二电子设备。

示例性地，如图4所示，第一电子设备的TP Driver将转化后的报点数据通过无线投屏服务或者反向交互服务传送至第一电子设备的Wi-Fi driver，第一电子设备的Wi-Fi driver驱动第一电子设备的Wi-Fi IC进入工作状态，从而将报点数据传送至第二电子设备的Wi-Fi IC。第二电子设备的Wi-Fi IC将报点数据输入至第二电子设备的Wi-Fi driver，第二电子设备的Wi-Fi driver通过无线投屏服务将报点数据传输至第二电子设备的系统输入管理服务。

此后，第二电子设备基于报点数据绘制第二操作轨迹。示例性地，如图4所示，第二电子设备的系统输入管理服务将报点数据传送至第二电子设备的手写应用，触发第二电子设备的手写应用绘制第二操作轨迹。第二电子设备的手写应用将报点数据发送至第二电子设备的窗口管理服务，第二电子设备的窗口管理服务将报点数据发送至第二电子设备的显示框架，第二电子设备的显示框架调用第二电子设备的显示IC绘制第二操作轨迹。其中，第二操作轨迹基于报点数据绘制得到。

然后，第二电子设备将第二操作轨迹和投屏图像合成。示例性地，如图4所示，第二电子设备的显示IC绘制好第二操作轨迹后，将第二操作轨迹与本地的一个或多个 图层的图像合成。最后，第二电子设备将合成后的图像发送至第一电子设备。示例性地，如图4所示，第二电子设备将合成后的图像通过无线投屏服务和Wi-Fi空口发送至第一电子设备。具体地，第二电子设备的显示IC将合成后的图像通过无线投屏服务传送至第二电子设备的Wi-Fi driver，第二电子设备的Wi-Fi driver驱动第二电子设备的Wi-Fi IC进入工作状态，从而将报点数据传送至第一电子设备的Wi-Fi IC。第一电子设备的Wi-Fi IC将合成后的图像输入至第一电子设备的Wi-Fi driver，第一电子设备的Wi-Fi driver通过无线投屏服务将合成后的图像传输至第一电子设备的显示框架。

至此，第一电子设备可以显示合成后的图像。示例性地，如图4所示，第一电子设备的显示框架调用显示IC，并控制显示屏显示合成后的图像。基于上述步骤，基于用户在第一电子设备上的操作绘制的报点数据需要传送至第二电子设备，由第二电子设备绘制操作轨迹并与本地的一个或多个图层的图像合成后传送至第一电子设备，在第一电子设备上显示。

图5示出了采用图4的处理流程可能带来的时延。如图5所示，假设报点频率为360赫兹(Hz)，屏幕刷新率120Hz，第一电子设备获取报点数据需要耗时约10毫秒(ms)。第一电子设备将报点数据传送至第二电子设备需要耗时约6ms，第二电子设备绘制操作轨迹并与投屏图像合成约耗时8.3ms。合成后的图像传输至第一电子设备约耗时52.5ms，在第一电子设备上显示合成后的图像约7.5ms。可以看到，由第一电子设备获得报点数据，到在第一电子设备上显示操作轨迹及投屏图像共计耗时约84.3ms，手写迹绘制时延过长，用户体验差。应理解，图5所示流程中的时延仅为一种可能的示例，不应对本申请实施例构成限定。

基于此，本申请提出了一种投屏图像的处理方法，通过在第一电子设备上部署画笔应用，使第一电子设备能够自行绘制操作轨迹，该操作轨迹与来自第二电子设备的投屏图像合成后，即可直接在第一电子设备上显示合成后的图像。减少将报点数据传输至第二电子设备，以及第二电子设备将绘制好的操作轨迹数据传输给第一电子设备等步骤带来的时延，从而减低操作轨迹的显示时延，给用户带来更加良好的体验。

下面将结合附图对本申请实施例提供的投屏图像的处理方法做详细说明。图6和图7为本申请实施例提供的投屏图像的处理方法的流程示意图。图6示出了投屏图像的处理方法600的主要流程，图7结合图2所示的电子设备的软、硬件的结构框图更详细地描述方法600中各个步骤的具体实现。需要说明的是，图7所示的流程以无线投屏为例来进行了详细描述，但这不应对本申请实施例构成任何限定。本申请实施例提供的方法可应用于有线投屏或无线投屏的场景中。

下面将参照附图来详细说明方法600中的各个步骤。如图6所示，该方法600可以包括步骤601至步骤610。

在步骤601中，第一电子设备从第二电子设备接收第一投屏图像。其中，第一投屏图像为基于第二电子设备本地的一个或多个图层的图像合成，然后由第二电子发送至第一电子设备的图像。具体的发送过程可以由参考上文结合图4的相关描述，为了简洁，此处不再赘述。

在步骤602中，第一电子设备响应于用户的操作，生成报点数据。该步骤的具体实现可参考图4的相关描述，为了简洁，此处不再赘述。

在步骤603中，第一电子设备基于报点数据绘制第一操作轨迹。在本申请实施例中，由于在第一电子设备上增加了画笔应用，因此，第一电子设备在获取到报点数据后，可以直接通过画笔应用基于报点数据绘制操作轨迹。示例性地，如图7所示，第一电子设备的TP Driver将转化后的报点数据发送至第一电子设备的画笔应用，画笔应用绘制一个反应报点数据及其分布情况(即第一操作轨迹)的手写图层，并将该手写图层发送至第一电子设备的显示框架，显示框架调用显示IC绘制第一操作轨迹。

应理解，第一电子设备可以以帧为单位来绘制操作轨迹，以绘制图像。第一电子设备可以每隔一段时间绘制一帧图像，每一帧图像包含最近一段时间绘制的操作轨迹。与该操作轨迹对应的一段时间的时长可以大于第一电子设备与第二电子设备之间的双向传输时延与第二电子设备本地对接收到的报点数据进行处理的时延之和。因此，第一操作轨迹可以为根据一段时间内的报点数据绘制的操作轨迹，该一段时间的时长大于第一电子设备与第二电子设备之间的双向传输时延与第二电子设备本地对接收到该一段时间内的报点数据进行处理的时延之和。

在步骤604中，第一电子设备将第一操作轨迹与来自第二电子设备的第一投屏图像合成，得到合成后的图像。该第一投屏图像可参考步骤601，例如可以是通过无线投屏服务和Wi-Fi空口传输到第一电子设备的图像。

一种可能的实现方式如图7中所示，第二电子设备的显示框架获取第一投屏图像，然后通过显示IC将第一投屏图像通过无线投屏服务传送至第二电子设备的Wi-Fi driver，第二电子设备的Wi-Fi driver驱动第二电子设备的Wi-Fi IC进入工作状态，从而将第一投屏图像传送至第一电子设备的Wi-Fi IC。第一电子设备的Wi-Fi IC将第一投屏图像输入至第一电子设备的Wi-Fi driver，第一电子设备的Wi-Fi driver通过无线投屏服务将第一投屏图像传输至第一电子设备的显示框架。然后第一电子设备的显示框架调用第一电子设备的显示IC将之前绘制好的第一操作轨迹与来自第二电子设备的第一投屏图像合成，得到合成后的图像。

应理解，对于第一电子设备来说，第一操作轨迹可承载于手写图层上，第一投屏图像可承载于投屏图层上，因此第一操作轨迹与第一投屏图像的合成具体可以通过将手写图层与投屏图层合成，所得到的合成后的图像既包括了投屏图层中的投屏图像，也包括了手写图层中的操作轨迹。也即实现了操作轨迹与投屏图像的合成。

还应理解，对于第一电子设备来说，接收第一投屏图像和绘制第一操作轨迹的顺序没有先后之分，也就是说，本申请实施例对步骤601与步骤602、步骤603之间的执行顺序不作限定，例如，步骤610可以在步骤602、步骤603之前执行，也可以与步骤602或步骤603同时执行。

在步骤605中，第一电子设备显示合成后的图像。第一电子设备得到合成后的图像后，即可显示合成后的图像。示例性地，如图7所示，第一电子设备的显示框架收到显示IC合成图像完成，即可控制显示IC将合成后的图像传输至显示屏，在显示屏上刷新显示。

基于上述技术内容，通过在第一电子设备上部署手写应用，手写应用可以基于新接收到的操作，在本地绘制操作轨迹，便可与来自第二电子设备的第一投屏图像合成，得到合成后的图像。如此一来，在第一电子设备发生新的操作时，新的操作轨迹的显 示延迟不依赖于第二电子设备与第一电子设备之间的传输时延，可以减小操作轨迹的显示延迟。

需要说明的是，基于上述步骤601至步骤605，第一电子设备可基于用户在手写图层上的操作，直接显示由操作轨迹和第一投屏图像合成的图像。

基于上述流程，第一电子设备从接收到用户的操作到显示合成后的图像的用时如图8所示。第一电子设备的TP IC以及输入子系统获取到报点数据的过程获取耗时约10毫秒(ms)；第一电子设备绘制操作轨迹并与第一投屏图像合成约耗时约8.3ms，对应于图8中的系统输入服务到手写应用笔迹绘制的过程；在第一电子设备上显示合成后的图像约7.5ms，可对应于图8中显示框架到显示屏的过程，共计耗时约25.8ms。与图5中的实现方式相比，减少将报点数据传送至第二电子设备的耗时6ms，以及将第二电子设备合成后的图像传输至第一电子设备的耗时52.5ms，共计节省时间约58.5ms。因此，相比于图5所示的端到端时延来说，可以大大减少时延。

应理解，图8所示的时延是相对于图5所示的时延，当采用不同的设备时，图5和图8的各个步骤可能产生与示例中不同的时延，但各个部分的耗时占比是类似的。

进一步地，该方法还可包括步骤606至步骤609。

在步骤606中，第一电子设备向第二电子设备发送第一操作轨迹。示例性地，如图7所示，第一电子设备可通过无线投屏服务、Wi-Fi driver、Wi-Fi IC将显示IC绘制好第一操作轨迹发送至第二电子设备的Wi-Fi IC。

可选地，第一电子设备在向第二电子设备发送第一操作轨迹的同时，还可将该第一操作轨迹对应的时间戳一同发送给第二电子设备。该时间戳用于记录第一操作轨迹的绘制时间，因第一操作轨迹基于用户的操作而实时地绘制，故该时间戳也可认为是该用于记录用户操作的时间信息。

在步骤607中，第二电子设备可将接收到的第一操作轨迹与一个或多个图层的图像进行同步。示例性地，如图7所示，第二电子设备的Wi-Fi IC接收来自第一电子设备的第一操作轨迹后，然后将第一操作轨迹经过Wi-Fi driver发送到第二电子设备的系统输入管理服务。第二电子设备的系统输入管理服务将第一操作轨迹发送至手写应用，即实现了对手写应用中的数据的同步。

其中，同步具体可以是指，将上述的第一操作轨迹及其对应的时间戳，与用于合成第一投屏图像的一个或多个图层的图像关联起来，保存在第二电子设备，以便于第二电子设备获取到最新的操作轨迹。

应理解，第一电子设备上可能没有保存操作轨迹的功能，所以需要将操作轨迹同步至第二电子设备，以便第二电子设备可以对第一操作轨迹进行进一步地处理，例如，对该第一操作轨迹进行保存或者删除，或者后面所说的与第二电子设备本地的一个或多个图层的图像进行合成。

在步骤608中，第二电子设备基于第一操作轨迹和本地的一个或多个图层的图像，得到第二投屏图像。

可选地，该方法600还可进一步包括：步骤609，第二电子设备显示第二投屏图像。也就是说，第一电子设备可以将自行绘制的第一操作轨迹发送给第二电子设备。因此，第二电子设备可直接将该第一操作轨迹与本地的一个或多个图层的图像合成， 而无需根据报点数据绘制操作轨迹。应理解，该一个或多个图层的图像是用于合成第一投屏图像的图像。

第二电子设备接收到的第一操作轨迹是承载于手写图层上的图像。第二电子设备可以将承载于本地的一个或多个图层上的图像与承载于手写图层上的第一操作轨迹进行合成，得到第二投屏图像。

示例性地，如图7所示，第二电子设备的手写应用可以将第一操作轨迹传送至系统窗口管理，系统窗口管理将第一操作轨迹传送至显示框架，显示框架调用显示IC，将第一操作轨迹与本地的一个或多个图层上的图像合成，得到第二投屏的图像。此后，第二电子设备的显示IC可以将第二投屏图像传输至显示屏，在显示屏上显示。

在另一种实现方式中，第一电子设备也可以将获取到的报点数据发送给第二电子设备，以便于第二电子设备自行根据报点数据绘制第二操作轨迹。也即，上述的步骤606可替换为：第一电子设备向第二电子设备发送报点数据。相应地，步骤607可替换为：第二电子设备基于接收到的报点数据，绘制第二操作轨迹。在此后的步骤608中，第二电子设备基于第二操作轨迹与本地一个或多个图层的图像得到第二投屏图像；以及步骤609，第二电子设备显示第二投屏图像。

与前文所述相似，第一电子设备可以在向第二电子设备发送报点数据的同时发送该报点数据的时间戳，该时间戳用于记录该报点数据的生成时间。由于该报点数据是基于用户的操作而实时地生成，故该时间戳也可认为是用于记录用户操作的时间信息。

应理解，第二电子设备可以基于最新接收到的报点数据和之前接收到的报点数据共同绘制得到第二操作轨迹，也可以将根据最新接收到的报点数据绘制的操作轨迹与之前绘制的操作轨迹进行合成得到第二操作轨迹，本申请实施例对此不作限定。

还应理解，上述步骤609仅为示例，第二电子设备并不一定要执行步骤609。例如，在一种可能的设计中，第二电子设备可以基于用户的配置，确定是否显示操作轨迹。示例性地，用户可以对第二电子设备进行设置，例如设置为“在本地显示操作轨迹”。第二电子设备可基于该设置，生成指令，并将该指令发送至手写应用，以便于手写应用确定是否在本地显示操作轨迹。如果该第二电子设备被设置为在本地显示操作轨迹，则可继续执行上述步骤609；如果该第二电子设备被设置为不在本地显示用户在第一电子设备上的操作轨迹，则可不执行步骤609，可以只在第二电子设备上显示不包含操作轨迹的投屏图像。

进一步地，该方法600还可以包括：步骤610，第二电子设备向第一电子设备发送第二投屏图像。第二电子设备得到第二投屏图像后，可以进一步向第一电子设备发送第二投屏图像，对应地，第一电子设备接收来自第二电子设备的第二投屏图像。可以理解，第二电子设备向第一电子设备发送的合成后的图像是最新的投屏图像。为方便区分和说明，该投屏图像例如可以称为第二投屏图像。其具体过程与前文结合图4所示的过程相似，为了简洁，此处不再赘述。

应理解，该第二投屏图像可以用于覆盖在第一电子设备中基于第一操作轨迹和第一投屏图像合成的图像，由此可以实现第一电子设备本地的图像更新。

还应理解，在第一电子设备将第一操作轨迹的报点数据发送给第二电子设备之后，用户在第一电子设备又产生了新的操作，也即第一电子设备可以基于新的操作绘制新的操作 轨迹。如前所述，第一电子设备可以每隔一段时间生成一帧图像，每一帧图像可以包含最近一段时间绘制的操作轨迹。因此，上述新绘制的操作轨迹可以理解为是基于最近一段时间内的操作绘制的轨迹，是第一操作轨迹的又一个示例。由于用于生成前后两帧图像的时段可能存在重叠。因此，前后两帧图像中的第一操作轨迹也可能存在重叠或近似重叠。为方便区分上一帧图像中的第一操作轨迹和下一帧图像中的第一操作轨迹，下文将上一帧图像中的第一操作轨迹记为操作轨迹1，下一帧图像中的操作轨迹记为操作轨迹2。第一电子设备可以将该操作轨迹2与最新接收到的来自第二电子设备的投屏图像进行合成，也即将手写图层和投屏图层合成，得到新的合成图像，并在第一电子设备上显示该新的合成图像。换句话说，在投屏场景下，只要用户在第一电子设备端执行操作，上述步骤可以是重复执行的。

具体地，第一电子设备可以将操作轨迹2与最新接收到的来自第二电子设备的投屏图像进行合成。由此，可以将最新的操作轨迹显示在最新合成的图像上。该图像上的操作轨迹可能一部分来自第二投屏图像，一部分来自操作轨迹2。

此外，第一电子设备还可以将操作轨迹2与操作轨迹1进行合成后，再与第二投屏图像合成。由此，可以将最新的操作轨迹显示在最新合成的图像上，并且该图像上的操作轨迹全部来自第一电子设备本地绘制的操作轨迹。本申请实施例对此不作限制。

基于上述技术方案，通过在第一电子设备上部署画笔应用，手写应用可以基于新接收到的操作，在本地绘制操作轨迹。如此一来，即便第二电子设备生成的最新的投屏图像(也即，包含了基于新的操作而绘制的操作轨迹的图像)还未到达第一电子设备，第一电子设备也可以直接基于新接收到的操作，绘制最新的操作轨迹，并将该操作轨迹与此前从第二电子设备接收到的投屏图像合成，进而在第一电子设备显示。因此，第一电子设备在有新的操作发生时，新的操作轨迹的显示延迟不依赖于第二电子设备与第一电子设备之间的传输时延，从而减小操作轨迹的显示延迟。

应理解，第一电子设备本地的图像更新并不限于上文所示例的流程。第一电子设备在接收到新的用户操作时，可以自行绘制操作轨迹，并与来自第二电子设备的投屏图像合成，得到合成的图像，而可以不将新的操作轨迹或报点数据发送给第二电子设备。也即，执行上文方法600中的步骤601至605，而不执行步骤606至610，也可以实现对第一电子设备本地显示的图像的更新。本申请实施例对此不作限定。

还应理解，在执行步骤606至步骤610时，本申请对于步骤609和步骤610的执行顺序不作限定，例如，步骤610和步骤609可以同时执行，也可以在步骤609之前或之后执行。

以上，结合图6至图8详细说明了本申请实施例提供的投屏图像的处理方法。以下，结合图9和图10详细说明本申请实施例提供的投屏图像的处理装置。图9为本申请实施例提供的投屏图像的处理装置900的示意性框图。如图9所示，该装置900可以包括收发模块910、处理模块920和显示模块930。

具体地，该收发模块910可用于从第二电子设备接收第一投屏图像；处理模块920可用于响应于用户的手写操作，生成手写报点数据报点数据，并用于基于所述报点数据，绘制操作轨迹；处理模块920还用于将所述操作轨迹与所述第一投屏图像合成，得到合成后的图像；该显示模块930可用于显示所述合成后的图像。

可选地，收发模块910还用于向所述第二电子设备发送所述操作轨迹，所述操作轨迹用于在所述第二电子设备与一个或多个图层的图像合成，所述一个或多个图层的图像被所述第二电子设备用于合成所述第一投屏图像。

可选地，收发模块910还用于向所述第二电子设备发送所述报点数据，所述报点数据用于所述第二电子设备绘制所述操作轨迹，所述第二操作轨迹用于在所述第二电子设备与本地的一个或多个图层的图像合成，所述一个或多个图层的图像被所述第二电子设备用于合成所述第一投屏图像。

可选地，所述收发模块910还用于从所述第二电子设备接收第二投屏图像，所述第二投屏图像是基于所述一个或多个图层的图像和对应于所述操作轨迹合成得到的；所述显示模块930还用于显示所述第二投屏图像，以更新所述合成后的图像。

具体地，该装置900可以包括用于执行图6中的方法600实施例中第一电子设备执行的方法的模块或单元。该收发模块910可用于执行上文方法600中的步骤601、步骤606和步骤610，该处理模块920可用于执行上文方法600中的步骤602至步骤604，该显示模块930可用于执行上文方法600中的步骤605。

该装置900还可用于执行图7中的实施例中第一电子设备执行的方法。并且，该装置900中的各模块和上述其他操作和/或功能分别为了实现图7中的实施例的相应流程。为了简洁，这里不再详述。

应理解，该投屏图像的处理装置900可对应于根据本申请实施例的方法实施例中的第一电子设备的至少部分。例如，装置900可以是该第一电子设备，或者，该第一电子设备中的部件，例如芯片或芯片系统等。具体地，该投屏图像的处理装置900所实现的功能可以由一个或多个处理器执行相应的程序来实现。

图10为本申请实施例提供的投屏图像的处理装置1000的示意性框图。如图10所示，该装置1000可以包括收发模块1010、处理模块1020和显示模块1030。具体地，该收发模块1010用于向第一电子设备发送第一投屏图像；收发模块1010还用于接收来自第一电子设备的操作轨迹，所述操作轨迹是基于用户在所述第一电子设备的操作绘制的；该处理模块1020用于将所述操作轨迹与一个或多个图层的图像进行同步，所述一个或多个图层的图像是用于合成所述第一投屏图像。

可选地，处理模块1020还用于将所述操作轨迹与一个或多个图层的图像合成，得到第二投屏图像；显示模块1030用于显示所述第二投屏图像。

可选地，收发模块1010用于向所述第一电子设备发送所述第二投屏图像。

具体地，该装置1000可以包括用于执行图6中的方法600实施例中第二电子设备执行的方法的模块或单元。该收发模块1010可用于执行上文方法600中的步骤601、步骤606和步骤610，该处理单元1020可用于执行上文方法600中的步骤607至步骤608，该显示模块1030可用于执行上文方法600中的步骤609。

该装置1000还可用于执行图7中的实施例中第二电子设备执行的方法。并且，该装置1000中的各模块和上述其他操作和/或功能分别为了实现图7中的实施例的相应流程。为了简洁，这里不再详述。

应理解，该投屏图像的处理装置1000可对应于根据本申请实施例的方法实施例中的第二电子设备的至少部分。例如，装置1000可以是该第二电子设备，或者，该第二 电子设备中的部件，例如芯片或芯片系统等。具体地，该投屏图像的处理装置1000所实现的功能可以由一个或多个处理器执行相应的程序来实现。

本申请还提供一种电子设备或其内装置。该电子设备或装置可以包括一个或多个处理器，以用于实现上述投屏图像的处理装置900和装置1000的功能。该一个或多个处理器例如可以包括或执行上文实施例中所述的收发模块910、处理模块920、和显示模块930以及收发模块1010、处理模块1020和显示模块1030等。该一个或多个处理器例如可对应于图1中所示的电子设备100中的处理器110。所述显示模块可对应于图1中所示的电子单元100中的显示屏194。

可选地，该电子设备或装置还包括一个或多个存储器。该一个或多个存储器用于存储计算机程序，和/或，数据，例如报点数据等。该一个或多个存储器例如可对应于图1中所示的电子设备100中的外部存储器120和/或内部存储器121。所述处理器可以获取存储于存储器中的计算机程序以执行以上实施例涉及的方法流程。

本申请还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的拍摄图像的方法。该计算机存储介质例如可对应于图1中所示的电子设备100中的中的外部存储器120和/或内部存储器121。图9所示的收发模块910、处理模块920、和显示模块930以及图10所示的收发模块1010、处理模块1020和显示模块1030可以以软件形式存在并被存储在所述计算机存储介质。

本申请还提供了一种计算机程序产品，可存储于所述计算机存储介质，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的投屏图像的处理方法。

其中，本申请实施例提供的投屏图像的处理装置、电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以计算机软件、电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到 多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1. 一种投屏图像的处理方法，其特征在于，包括：

   从第二电子设备接收第一投屏图像；

   响应于用户的操作，生成报点数据；

   基于所述报点数据，绘制操作轨迹；

   将所述操作轨迹与所述第一投屏图像合成，得到合成后的图像；

   显示所述合成后的图像。
2. 如权利要求1所述的方法，其特征在于，所述方法还包括：

   向所述第二电子设备发送所述操作轨迹，所述操作轨迹用于在所述第二电子设备与一个或多个图层的图像合成，所述一个或多个图层的图像被所述第二电子设备用于合成所述第一投屏图像。
3. 如权利要求1所述的方法，其特征在于，所述方法还包括：

   向所述第二电子设备发送所述报点数据，所述报点数据用于所述第二电子设备绘制所述操作轨迹，所述操作轨迹用于在所述第二电子设备与一个或多个图层的图像合成，所述一个或多个图层的图像被所述第二电子设备用于合成所述第一投屏图像。
4. 如权利要求2或3所述的方法，其特征在于，所述方法还包括：

   从所述第二电子设备接收第二投屏图像，所述第二投屏图像是基于所述一个或多个图层的图像和所述操作轨迹合成得到的；

   显示所述第二投屏图像，以更新所述合成后的图像。
5. 一种投屏图像的处理方法，其特征在于，包括：

   向第一电子设备发送第一投屏图像；

   接收来自所述第一电子设备的操作轨迹，所述操作轨迹是基于用户在所述第一电子设备的操作绘制的；

   将所述操作轨迹与一个或多个图层的图像进行同步，所述一个或多个图层的图像是用于合成所述第一投屏图像。
6. 如权利要求5所述的方法，所述方法还包括：

   将所述操作轨迹与一个或多个图层的图像合成，得到第二投屏图像；

   显示所述第二投屏图像。
7. 如权利要求6所述的方法，所述方法还包括：

   向所述第一电子设备发送所述第二投屏图像。
8. 一种投屏图像的处理装置，其特征在于，包括：

   收发模块，用于从第二电子设备接收第一投屏图像；

   处理模块，用于响应于用户的操作，生成报点数据；并用于基于所述报点数据，绘制操作轨迹；还用于将所述操作轨迹与所述第一投屏图像合成，得到合成后的图像；

   显示模块，用于显示所述合成后的图像。
9. 如权利要求8所述的装置，其特征在于，所述收发模块还用于向所述第二电子设备发送所述操作轨迹，所述操作轨迹用于在所述第二电子设备与一个或多个图层的图像合成，所述一个或多个图层的图像被所述第二电子设备用于合成所述第一投屏图 像。
10. 如权利要求8所述的装置，其特征在于，所述收发模块还用于向所述第二电子设备发送所述报点数据，所述报点数据用于所述第二电子设备绘制所述操作轨迹，所述操作轨迹用于在所述第二电子设备与一个或多个图层的图像合成，所述一个或多个图层的图像被所述第二电子设备用于合成所述第一投屏图像。
11. 如权利要求9或10所述的装置，其特征在于，所述收发模块还用于从所述第二电子设备接收第二投屏图像，所述第二投屏图像是基于所述一个或多个图层的图像和对应于所述报点数据的操作轨迹合成得到的；

    所述显示模块还用于显示所述第二投屏图像，以更新所述合成后的图像。
12. 一种投屏图像的处理装置，其特征在于，包括：

    收发模块，用于向第一电子设备发送第一投屏图像；还用于接收来自第一电子设备的操作轨迹，所述操作轨迹是基于用户在所述第一电子设备的操作绘制的；

    处理模块，用于将所述操作轨迹与一个或多个图层的图像进行同步，所述一个或多个图层的图像是用于合成所述第一投屏图像。
13. 如权利要求12所述的装置，其特征在于，所述处理模块还用于将所述操作轨迹与一个或多个图层的图像合成，得到第二投屏图像；

    所述装置还包括显示模块，用于显示所述第二投屏图像。
14. 如权利要求13所述的装置，其特征在于，所述收发模块还用于向所述第一电子设备发送所述第二投屏的图像。
15. 一种投屏图像的处理装置，其特征在于，包括存储器与处理器；其中，

    所述存储器用于存储程序代码；

    所述处理器用于调用所述程序代码以用于实现如权利要求1至7中任一项所述的方法。
16. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被在电子设备或处理器执行时，使得所述电子设备或所述处理器执行如权利要求1至7中任一项所述的方法。
17. 一种计算机程序产品，其特征在于，包括计算机程序，当所述计算机程序被运行时，使得所述计算机执行如权利要求1至7中任一项所述的方法。

Images