WO2019140997A1 - 批注显示方法、装置、设备及存储介质 - Google Patents

Abstract

本文公开了一种批注显示方法、装置、设备及存储介质。批注显示方法包括：显示投屏数据；显示批注轨迹，其中，所述批注轨迹基于批注信号或触摸操作生成；控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化。

Description

批注显示方法、装置、设备及存储介质

本公开要求在2018年03月21日提交中国专利局、申请号为201810234425.7的中国专利申请以及在2018年01月19日提交中国专利局、申请号为201810054748.8的中国专利申请的优先权，该申请的全部内容通过引用结合在本公开中。

技术领域

本公开涉及交互智能平板技术领域，例如涉及一种批注显示方法、装置、设备及存储介质。

背景技术

在交互智能平板领域，投屏技术作为交互智能平板重要的应用之一，已经广泛地应用于在人们的工作和学习之中，极大地提高了人们的工作及学习效率。例如，在会议场景下，用户可以将自己操作的笔记本电脑上显示的内容投屏到交互智能平板上，使其他与会人员通过交互智能平板观看该内容，通过这种分享，可以使得与会人员高效的与会及决策。

但是，在上述投屏过程中，显示投屏数据的交互智能平板无法对显示的投屏内容进行标注，必须在生成投屏数据的设备端进行操作，使得用户体验不佳。

发明内容

本公开提供一种批注显示方法、装置、设备及存储介质，以解决显示投屏数据的设备无法针对投屏内容进行批注的技术问题。

本公开提供了一种批注显示方法，包括：

显示投屏数据；

显示批注轨迹，其中，所述批注轨迹基于批注信号或触摸操作生成；

控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化。

本公开还提供了一种批注显示装置，包括：

投屏数据显示单元，设置为显示投屏数据；

批注轨迹显示单元，设置为显示批注轨迹，其中，所述批注轨迹基于批注信号或触摸操作生成；

变化控制单元，设置为控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化。

本公开还提供了一种设备，包括：

具有触摸功能的显示屏，以及至少一个处理器；

存储器，设置为存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本公开实施例所述的批注显示方法。

本公开还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例所述的批注显示方法。

上述提供的批注显示方法、装置、设备及存储介质，实现了投屏场景下，在显示投屏数据的设备端针对投屏数据进行批注，同时保证了批注跟随投屏数据同步变化，提升了用户的使用体验。

附图说明

图1为一实施例提供的一种批注显示方法的流程图；

图2为另一实施例提供的一种批注显示方法的流程图；

图3为一实施例提供的第一显示层与第二显示层的位置参考示意图；

图4为一实施例提供的用户角度观看到的显示界面示意图；

图5为另一实施例提供的一种批注显示方法的流程图；

图6为一实施例提供的交互系统的结构示意图；

图7为一实施例提供的笔记本电脑显示界面的示意图；

图8为一实施例提供的交互智能平板显示界面的示意图；

图9为一实施例提供的交互智能平板在翻页过程中某一帧画面截图；

图10为另一实施例提供的交互智能平板显示界面的示意图；

图11为另一实施例提供的一种批注显示方法的流程图；

图12为另一实施例提供的交互智能平板显示界面的示意图；

图13为另一实施例提供的交互智能平板显示界面的示意图；

图14为另一实施例提供的交互智能平板显示界面的示意图；

图15为另一实施例提供的交互智能平板显示界面的示意图；

图16为另一实施例提供的交互智能平板显示界面的示意图；

图17为另一实施例提供的一种批注显示方法的流程图；

图18为另一实施例提供的笔记本电脑显示界面的示意图；

图19为另一实施例提供的交互智能平板显示界面的示意图；

图20为另一实施例提供的交互智能平板显示界面的示意图；

图21为另一实施例提供的交互智能平板显示界面的示意图；

图22为另一实施例提供的交互智能平板第显示界面的示意图；

图23为另一实施例提供的一种批注显示方法的流程图；

图24为一实施例提供的关联客户端的关联显示屏显示画面示意图；

图25为一实施例提供的交互智能平板的显示屏显示界面示意图；

图26为一实施例提供的交互智能平板的显示屏显示界面示意图；

图27为另一实施例提供的一种批注显示方法的流程图；

图28为另一实施例提供的第一显示层与第二显示层的位置参考示意图；

图29为另一实施例提供的用户角度观看到的显示界面示意图；

图30为另一实施例提供的交互智能平板的显示屏显示界面示意图；

图31为另一实施例提供的交互智能平板的显示屏显示界面示意图；

图32为另一实施例提供的交互智能平板的显示屏显示界面示意图；

图33为另一实施例提供的交互智能平板的显示屏显示界面示意图；

图34为另一实施例提供的交互智能平板的显示屏显示界面示意图；

图35为另一实施例提供的一种批注显示方法的流程图；

图36为另一实施例提供的关联客户端的关联显示屏显示画面示意图；

图37为另一实施例提供的交互智能平板的显示屏显示界面示意图；

图38为另一实施例提供的交互智能平板的显示屏显示界面示意图；

图39为另一实施例提供的交互智能平板的显示屏显示界面示意图；

图40为一实施例提供的一种批注显示装置的结构示意图；

图41为另一实施例提供的一种批注显示装置的结构示意图；

图42为另一实施例提供的一种批注显示装置的结构示意图；

图43为一实施例提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本公开进行说明。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外，为了便于描述，附图中仅示出了与本公开相关的部分而非全部内容。

实施例一

图1为一实施例提供的一种批注显示方法的流程图。

本实施例提供的批注显示方法可以由批注显示设备执行，该批注显示设备可以通过软件和/或硬件的方式实现，该批注显示设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。该批注显示设备可以是电脑、手机、平板、投影仪或交互智能平板等。在本实施例中，以交互智能平板为批注显示设备为例进行描述。在一实施例中，交互智能平板可以是通过触控技术对显示在显示平板上的内容进行操控和实现人机交互操作的一体化设备，交互智能平板集成了投影机、电子白板、幕布、音响、电视机以及视频会议终端等一种或多种功能。

在实施例中，交互智能平板与至少一个外部装置建立数据连接。在一实施例中，外部装置包括但不限于：手机、笔记本电脑、通用串行总线(Universal Serial Bus，USB)闪存盘、平板电脑及台式电脑等。外部装置与交互智能平板的数据连接的通信方式实施例中不作限定，可以通过USB连接、互联网、局域网、蓝牙、无线保真(WIreless-FIdelity，Wi-Fi)或紫峰协议(ZigBee)等通信方式。

在一实施例中，交互智能平板与至少一个外部装置发生数据交互时，向交互智能平板发送投屏数据以使交互智能平板对投屏数据的投屏内容进行显示的外部装置作为投屏客户端。在一实施例中，投屏客户端可以有一个或者多个，视具体的应用场景来设置，本实施例不做限定。

在一实施例中，投屏客户端和/或交互智能平板中安装有投屏应用软件，该投屏应用软件可以预先安装在上述投屏客户端和/或交互智能平板中，也可以是在投屏客户端和/或交互智能平板启动投屏应用时，从第三方设备或服务器进行下载并安装使用。其中，第三方设备在本实施例中不作限定。在一实施例中，投屏应用软件用于获取投屏客户端显示的内容，将投屏客户端显示的内容作为投屏数据，并指示交互智能平板显示该内容。本实施例中以投屏客户端和交互智能平板中同时安装有投屏应用软件为例进行说明。在一实施例中，投屏客户端的投屏应用软件用于获取投屏数据，并将投屏数据直接或间接发送至交互智能平板。如果是间接发送的话，投屏客户端可以通过中转设备发送至交互智能平板，该中转设备可以是无线传屏装置，也可以是具有数据中转/处理功能的其它设备。交互智能平板的投屏应用软件用于接收投屏数据，并将投屏数据转换成相应的内容，便于交互智能平板进行显示。在一实施例中，投屏客户端的显示屏与交互智能平板的显示屏的分辨率不同，而投屏数据是基于投屏客户端的分辨率获取的，因此，为了在交互智能平板的显示屏中显示投屏数据，投屏应用软件需要根据投屏客户端的显示屏和交互智能平板的显示屏的分辨率确定屏幕映射关系，进而根据屏幕映射关系对投屏数据进行转换以得到投屏内容。在一实施例中，投屏内容和投屏数据的显示内容实质相同，仅是分辨率不同。

在一实施例中，投屏数据为图片格式，投屏数据可以是对投屏客户端的显示内容截屏得到的截屏数据，或者是演示文稿(Microsoft Office PowerPoint，PPT)。

本实施例中，以投屏客户端为笔记本电脑、投屏数据为放映状态的PPT并且通过笔记本电脑与交互智能平板间的交互为例，来对本公开进行示例性描述。

如图1所示，本实施例提供的批注显示方法包括如下步骤。

步骤10、显示投屏数据。

在一实施例中，投屏数据为从其他设备接收的。

步骤20、显示批注轨迹，其中，所述批注轨迹基于批注信号或触摸操作生成。

步骤30、控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化。

本实施例提供的批注显示方法实现了投屏场景下，在显示投屏数据的设备端针对投屏数据进行批注，同时保证了批注跟随投屏数据同步变化，提升了用户的使用体验。

在一实施例中，所述显示投屏数据包括：接收投屏指令；显示第一投屏内容；所述显示批注轨迹包括：接收第一批注信号，其中，所述第一批注信号用于对所述第一投屏内容进行批注；显示第一批注轨迹，其中，所述第一批注轨迹是根据所述第一批注信号生成的；在所述显示第一批注轨迹之后，所述方法还包括：接收向前翻页指令，其中，所述向前翻页指令用于控制所述第一投屏内容向前翻页；显示翻页后的第二投屏内容；所述控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化，包括：接收向后翻页指令，其中，所述向后翻页指令用于控制所述第二投屏内容向后翻页；在显示界面显示所述第一投屏内容及所述第一批注轨迹。

图2为另一实施例提供的一种批注显示方法的流程图。参考图2，本实施例提供的批注显示方法包括如下步骤。

步骤110、接收投屏指令。

在一实施例中，投屏指令用于指示交互智能平板显示投屏内容，投屏指令的具体的指令形式可以根据实际情况设定，例如，可以是交互智能平板检测到投屏应用软件开启时，确定接收到投屏指令；又如，可以是交互智能平板接收到投屏数据时，确定接收到投屏指令；再如，设定触发按键，该触发按键可以是实体按键也可以是虚拟按键，触发按键可以位于交互智能平板，也可以位于笔记本电脑。当投屏数据需要通过无线传屏装置中转时触发按键还可以位于无线传屏装置上。当满足触发条件后，例如，交互智能平板检测到触发按键被点击、被双击或者被长按等，则交互智能平板确定接收到投屏指令。

步骤120、显示第一投屏内容。

在一实施例中，第一投屏内容为交互智能平板对第一投屏数据进行处理后显示的内容，第一投屏数据来自于笔记本电脑。在一实施例中，第一投屏数据为投屏应用软件对笔记本电脑显示的内容截取后生成的数据，交互智能平板接收到第一投屏数据后，对第一投屏数据进行解码以得到具体的显示内容，并将该显示内容进行分辨率转换，以得到符合交互智能平板显示屏分辨率的第一投屏内容。在一实施例中，对第一投屏数据执行分辨率转换的方式为：根据屏幕映射关系对第一投屏数据进行像素点映射。例如，笔记本电脑的显示屏分辨率为320×240，交互智能平板的显示屏分辨率为640×480，在这种场景下，屏幕映射关系为将笔记本电脑的显示屏中一个像素点的像素值在交互智能平板显示屏中对应位置的四个像素点中显示。据此，交互智能平板根据屏幕映射关系对解码后得到的第一投屏数据中每个像素点的像素值进行坐标映射，以得到第一投屏内容。在一实施例中，上述提及的像素值可以为红蓝绿(Red、Green、Blue，RGB)值。在一实施例中，映射过程中像素值一般不发生改变。上述示例中提及的显示屏的分辨率参数仅是用于理解技术方案，并非对显示屏分辨率参数的限定。

在一实施例中，在显示第一投屏内容前，交互智能平板已经获取到第一投屏数据。在一实施例中，第一投屏数据发送时刻可以根据实际情况进行设定。比如，在接收投屏指令之前 或者之后，笔记本电脑将PPT的全部数据发送至交互智能平板，以在后续投屏过程中，笔记本电脑仅需确定第一投屏数据的页码，并将该页码发送至交互智能平板，便可以实现在交互智能平板中同步显示页码对应的第一投屏内容。又如，在接收投屏指令之后，笔记本电脑按照设定频率进行截屏，或者是检测到显示的PPT页码发生变化后进行截屏，并将截屏得到的第一投屏数据以及对应页码一同发送至交互智能平板，以使交互智能平板同步显示对应的第一投屏内容，并将第一投屏内容以及页码进行关联保存。考虑到实际情况中同一页PPT在放映时是可变的，例如，当前某页PPT中某个文本框被设置为单击擦除，且擦除过程中在相同位置处同步显示另一文本框，此时，虽然PPT的页码没有发生变化，但是显示的内容已经发生了改变，因此，在此类情况下，为了保证交互智能平板准确的显示第一投屏内容，还可以设定当笔记本电脑确定PPT页码没有发生变化且显示的内容发生变化时，按照设定频率截屏得到第一投屏数据，并将第一投屏数据发送至交互智能平板，以使交互智能平板同步显示第一投屏内容的变化过程。

步骤130、接收第一批注信号。

在一实施例中，交互智能平板显示屏为触摸屏，该触摸屏可以包括：电容屏、电磁屏或红外屏等。在一实施例中，该触摸屏可以接收用户通过手指或者输入设备输入的触摸操作。在一实施例中，输入设备包括但不限定于：触控笔、红外笔和/或电容笔等。在一实施例中，以通过交互智能平板显示屏接收触摸操作的方式接收第一批注信号。

在一实施例中，第一批注信号用于对第一投屏内容进行批注。在一实施例中，批注的方式包括但不限于：在第一投屏内容上进行标记。例如，画图、画删除符号以及写文字进行说明等。在一实施例中，可以设定交互智能平板在显示第一投屏内容后获取的触摸操作均默认生成第一批注信号，或者是，交互智能平板接收到批注触发指令后，获取的触摸操作认为生成第一批注信号。在一实施例中，批注触发指令的触发方式不作限定。

步骤140、显示第一批注轨迹。

在一实施例中，第一批注轨迹是根据第一批注信号生成的。在一实施例中，用户在交互智能平板的显示屏上执行触摸操作时，交互智能平板的显示屏内部对应位置上的电子元件的参数会发生变化，交互智能平板的处理器根据电子元件参数变化位置确定触摸位置，即批注位置。以电容式显示屏为例，当用户在交互智能平板的显示屏上画一条直线时，对应位置的电容会根据用户的写入操作依次发生变化，即生成包含电容变化情况的第一批注信号，处理器根据电容变化情况便可以确定批注位置，进而得到相应的第一批注轨迹。

在一实施例中，考虑到用户在进行批注时，不仅包括标识第一投屏内容，如在某些文字数据下面标记横线，或者圈选部分显示内容。还包括针对第一投屏内容进行文字批注，如在某个位置增加批注框并在批注框中写入文字数据。因此，为了满足增加批注框的情况，可以预先设置至少一个批注框，每个批注框对应不同的批注轨迹。当接收到第一批注信号时，确定第一批注轨迹是否为预设批注框的批注轨迹，如果是，则将预设批注框作为显示的第一批注轨迹，如果不是，则将第一批注信号得到的批注轨迹作为显示的第一批注轨迹。

在一实施例中，为了实现为第一投屏内容增加批注，交互智能平板在显示屏中增加一显示层。此时，显示屏中共有两个显示层，例如，第一投屏内容显示在第一显示层中，第一批注轨迹显示在第二显示层中。在一实施例中，第一显示层为默认显示层，第二显示层为投屏场景下增加的显示层，第二显示层为接收用户触摸操作的交互层，即第二显示层位于当前显示界面的最顶层。在一实施例中，第二显示层中可以显示与批注相关的全部内容，如第一批注轨迹以及批注工具框等。用户可以通过批注工具框实现对轨迹颜色以及线条粗细等显示参数的更改。且第一批注轨迹具有可编辑性，用户可以根据实际需求更改第一批注轨迹的位置、 大小以及形状等。

在一实施例中，第二显示层覆盖在第一显示层上，以使第一显示层和第二显示层完全重合。在一实施例中，交互智能平板将第二显示层设置为无填充格式，并覆盖在第一显示层上，以使用户仅观看到第一显示层的第一投屏内容以及第二显示层的第一批注轨迹，此时，第二显示层可以被视为一个覆盖在第一投屏内容上的透明窗口。参考图3，图3为一实施例提供的第一显示层与第二显示层的位置参考示意图。图2中，第二显示层12为无填充格式且显示第一批注轨迹121，并覆盖在第一显示层11上，第一显示层11中显示第一投屏内容。

图4为一实施例提供的用户角度观看到的显示界面示意图。从图4可得出，用户仅能观看到在第一投屏内容上进行批注，无法明显区别第一显示层11和第二显示层12。为了便于理解，图3将第一显示层和第二显示层分隔显示，实际应用中，第一显示层与第二显示层紧密接触。

通过增加显示层的方式实现对第一投屏内容进行批注仅为一种可选方式。实际应用中还可以采用其他方式实现对第一投屏内容进行批注。比如，对第一投屏内容进行截屏处理，得到一张图像，并以对图像进行批注的方式实现为第一投屏内容增加批注。但是，无论哪种方式实现批注，第一投屏内容中均不包括第一批注轨迹，第一投屏内容与第一批注轨迹为相互独立的数据。

在一实施例中，在所述显示第一批注轨迹之后，还包括：对所述第一批注轨迹进行整形处理，得到整形轨迹；将所述第一批注轨迹更换为所述整形轨迹。在一实施例中，将用户写入的第一批注轨迹整形成计算机标准的印刷体轨迹，使得显示界面更加美观。

步骤150、接收向前翻页指令。

在一实施例中，向前翻页指令用于控制PPT的页码发生变化，用于控制第一投屏内容向前翻页。例如，当前第一投屏内容为PPT的第5页内容，则向前翻页指令用于控制第一投屏内容向前翻页，以使交互智能平板和笔记本电脑显示PPT的第4页内容。在一实施例中，向前翻页指令的指令形式可以根据实际情况设定，例如，设定翻页按键，该翻页按键可以是实体按键也可以是虚拟按键，或者是，设定向前翻页触摸操作，如单点或者多点触控设定区域或沿设定方向滑动等。当检测到翻页按键被点击或者接收到向前翻页触摸操作时，确定接收到向前翻页指令。

在一实施例中，用户可以通过交互智能平板、笔记本电脑或者输入设备中的任一种或多种设备发出向前翻页指令。当用户通过交互智能平板或输入设备发出向前翻页指令时，交互智能平板向笔记本电脑转发该向前翻页指令，以使笔记本电脑执行向前翻页指令。在一实施例中，交互智能平板转发向前翻页指令时，可以采用透传的方式，或者是对向前翻页指令进行处理，以转换成笔记本电脑可识别的指令形式。

在一实施例中，交互智能平板接收到向前翻页指令时，无论当前显示内容是否为第一投屏内容，均默认根据向前翻页指令控制当前投屏内容向前翻页。

步骤160、显示翻页后的第二投屏内容。

在一实施例中，第一投屏内容被翻页后，交互智能平板显示前一页码的第二投屏内容。在一实施例中，交互智能平板获取第二投屏数据的方式与获取第一投屏数据的方式相同，在此不作赘述。在一实施例中，为了保证交互智能平板和笔记本电脑实现相同的变化，需要在交互智能平板中显示相同的翻页过程。例如，翻页过程可以为：笔记本电脑控制PPT进行翻页，并在翻页过程中进行截屏，以得到翻页中的投屏数据，并发送至交互智能平板，交互智能平板对翻页中的投屏数据进行处理并显示相应的投屏内容；翻页过程还可以为：笔记本电脑将翻页形式发送至交互智能平板，交互智能平板根据翻页形式对第一投屏内容自行进行翻 页，并显示翻页后的第二投屏内容。

在一实施例中，第一投屏内容从交互智能平板的显示屏中移除时，针对第一投屏内容的第一批注轨迹同步从交互智能平板的显示屏中移除，以实现被批注的内容和对应的批注轨迹同步消失在交互智能平板的显示屏中。

在一实施例中，控制第一批注轨迹与第一投屏内容执行相同的移除操作。例如，第一投屏内容向上滑动移除时，第一批注轨迹同步执行向上滑动移除。在一实施例中，控制第一批注轨迹与第一投屏内容执行相同的移除操作的方式可以为：交互智能平板根据第一批注轨迹的批注位置确定第一投屏内容中相应被批注内容的图像数据，当第一投屏内容执行向前翻页指令时，利用模板匹配的方式对图像数据进行追踪，以实时得到图像数据的变化结果，并根据变化结果控制第一批注轨迹执行相同的变化。在一实施例中，图像数据包括显示被批注内容的多个像素点的像素值及多个像素值间的相对位置关系，即图像数据可以理解为像素块。在一实施例中，控制第一批注轨迹与第一投屏内容执行相同的移除操作的方式还可以为：交互智能平板获取笔记本电脑发送的第一投屏数据包含的动画元素，并根据动画元素确定第一投屏数据的变化规则，进而根据变化规则确定第一批注轨迹的轨迹变化规则，以实现第一批注轨迹与第一投屏内容执行相同的移除操作。在一实施例中，动画元素包含第一投屏数据的翻页方式以及第一投屏数据中文本元素的变化方式。综上可知，控制第一批注轨迹变化和控制第一投屏内容变化是同步执行的两个不同的操作。

步骤170、接收向后翻页指令。

在一实施例中，向后翻页指令用于控制PPT数据的页码发生变化，用于控制第二投屏内容向后翻页，向后翻页指令与向前翻页指令类似，在此不作赘述。

步骤180、显示第一投屏内容及第一批注轨迹。

在一实施例中，执行向后翻页指令显示第一投屏内容与执行向前翻页指令显示第二投屏内容类似，在此不作赘述。

在一实施例中，再次显示第一投屏内容时，同步显示对应的第一批注轨迹。在一实施例中，初次显示第一批注轨迹时，记录第一投屏内容和第一批注轨迹的对应关系。当再次显示第一投屏内容时，根据对应关系查询相应的第一批注轨迹，并同步显示。在一实施例中，对应关系的建立方式可以是：确定第一批注轨迹与第一投屏内容的页码的对应关系，同步记录第一批注轨迹的批注位置。当显示第一投屏内容时，根据该对应关系便可以确定第一投屏内容对应的第一批注轨迹，进而在记录的批注位置上显示第一批注轨迹。还可以是：确定第一批注轨迹与第一投屏内容中被批注的图像数据的对应关系，同步记录第一批注轨迹与第一批注内容的相对位置关系，当显示第一批注内容时，识别第一批注内容中包含的图像数据，进而根据该对应关系确定第一批注内容相应的第一批注轨迹，并根据相对位置关系显示第一批注轨迹。

在一实施例中，显示第一投屏内容时，控制第一批注轨迹执行与第一投屏内容相同的出现方式。例如，第一投屏内容以由上向下移动的方式出现在交互智能平板的显示屏上，同步的，控制第一批注轨迹以由上向下移动的方式出现在交互智能平板上。控制第一批注轨迹执行与第一投屏内容相同的出现方式与控制第一批注轨迹与第一投屏内容执行相同的移除操作所采用的技术手段相似，在此不作赘述。

在上述实施例的基础上，上述方法还包括：如果接收到结束指令，则将所述第一投屏内容与所述第一批注轨迹关联保存。在一实施例中，在接收到结束指令时，将第一投屏内容和第一批注轨迹关联保存，可以便于后续过程中，用户查看本次的批注内容。

本实施例提供的技术方案，通过接收投屏指令，显示第一投屏内容，并在接收到第一批 注信号时，显示第一批注轨迹，之后，在接收到向前翻页指令后，执行翻页操作并显示第二投屏内容，并在接收到向后翻页指令后，再次显示第一投屏内容和第一批注信号的技术手段，实现了投屏场景下对第一投屏内容进行批注，且当第一投屏内容出现或者消失在交互智能平板的显示屏时，第一批注轨迹同步出现或者消失，即保证了第一投屏内容和第一批注轨迹的同步变化。

实施例二

图5为另一实施例提供的一种批注显示方法的流程图。本实施例是在上述实施例的基础上进行说明。参考图5，本实施例提供的批注显示方法包括如下步骤。

步骤2010、接收投屏指令。

步骤2020、显示第一投屏内容。

步骤2030、接收批注触发指令。

在一实施例中，批注触发指令用于启动批注功能。在一实施例中，用户可以通过点击设定按键或者输入设定触摸操作(如双击、长按、多点触控或圈选)的方式向交互智能平板发送批注触发指令。例如，交互智能平板在显示屏中增加一虚拟按键，当交互智能平板检测到该虚拟按键被按压后，确定接收到批注触发指令。又如，交互智能平板检测到显示屏的任意位置接收到超过3秒(S)的长按操作时，确定接收到批注触发指令。

在一实施例中，接收到批注触发指令后，交互智能平板增加用于显示第一批注轨迹的第二显示层。

在一实施例中，上述是以用户在交互智能平板侧发出批注触发指令为例进行描述，实际应用中，用户还可以通过笔记本电脑或者输入设备发出批注触发指令。

步骤2040、接收第一批注信号。

在一实施例中，第一批注信号用于对第一投屏内容进行批注。

步骤2050、显示第一批注轨迹。

在一实施例中，第一批注轨迹是根据第一批注信号生成的。

步骤2060、接收向前翻页指令。

在一实施例中，向前翻页指令用于控制第一投屏内容向前翻页。

步骤2070、显示翻页后的第二投屏内容。

在一实施例中，在显示第二投屏内容后，对第一投屏内容和第一批注轨迹进行缓存，以便于接收到向后翻页指令后，快速调取第一投屏内容和第一批注轨迹。实际应用中，交互智能平板可以对当前投屏内容的前一页已显示投屏内容和后一页已显示投屏内容以及相应的批注轨迹进行缓存，以在接收到翻页指令后，快速显示相应的投屏内容以及批注轨迹。

步骤2080、接收第二批注信号。

在一实施例中，第二批注信号用于对第二投屏内容进行批注。

步骤2090、显示第二批注轨迹。

在一实施例中，第二批注轨迹是根据第二批注信号生成的。

在一实施例中，第二批注信号的接收方式以及第二批注轨迹的生成方式与第一批注信号的接收方式以及第一批注轨迹的生成方式类似，在此不作赘述。

在一实施例中，第二批注轨迹与第一批注轨迹共用第二显示层。换言之，对投屏内容进行批注的批注轨迹均显示在第二显示层中。

步骤2100、接收向后翻页指令。

在一实施例中，向后翻页指令用于控制第二投屏内容向后翻页。

步骤2110、显示第一投屏内容及第一批注轨迹。

步骤2120、接收向前翻页指令。

在一实施例中，向前翻页指令用于控制第一投屏内容向前翻页。

步骤2130、显示第二投屏内容及第二批注轨迹。

在一实施例中，第二投屏内容和第二批注轨迹同步显示在交互智能平板中。在一实施例中，第二投屏内容和第二批注轨迹同步显示在交互智能平板的实现方式与显示第一投屏内容及第一批注轨迹的实现方式相似，在此不作赘述。

下面对本实施例提供的技术方案进行示例性的描述：

图6为一实施例提供的交互系统的结构示意图。参考图6，交互智能平板1与笔记本电脑2通过局域网连接。在一实施例中，笔记本电脑2和交互智能平板1中分别安装有投屏应用软件。本实施例中，当笔记本电脑2和交互智能平板1分别开启投屏应用软件且建立数据连接后，交互智能平板1确定接收到投屏指令。

在一实施例中，笔记本电脑2显示第5页PPT，笔记本电脑2的显示内容参考图7。此时，笔记本电脑2将显示数据进行截屏得到第一投屏数据，并将第一投屏数据和页码一同发送至交互智能平板1。交互智能平板1将第一投屏数据转换成第一投屏内容并进行显示。此时，交互智能平板1与笔记本电脑2显示相同的内容，仅是显示比例不同。

在一实施例中，交互智能平板1接收到批注触发指令，并在显示屏中增加第二显示层。之后，交互智能平板1通过第二显示层接收用户的触摸操作，将基于该触摸操作得到的信号视为第一批注信号。而后，交互智能平板1基于第一批注信号生成第一批注轨迹，并显示第一批注轨迹。此时，交互智能平板1的显示界面参考图8，即在第一投屏内容中增加了第一批注轨迹21。

此后，笔记本电脑2接收到向前翻页指令，并执行向前翻页指令，以显示翻页后的第4页PPT。同时，笔记本电脑2将基于第4页PPT得到的第二投屏数据以及第4页对应的页码一同发送至交互智能平板1。在翻页过程中，交互智能平板1控制第一批注轨迹21与第一投屏内容同步变化。图9为一实施例提供的交互智能平板在翻页过程中某一帧画面截图。参考图9，翻页方式为从下向上移动翻页，在第一投屏内容翻页时，第一批注轨迹21同步采用从下向上的方式移动。翻页结束后，交互智能平板1显示第二投屏内容。此时，交互智能平板1接收到用户的触摸操作，将该触摸操作视为第二批注信号，并根据第二批注信号显示第二批注轨迹。在一实施例中，交互智能平板1的显示界面参考图10，即在第二投屏内容中增加了第二批注轨迹22。在一实施例中，显示第二投屏内容后，交互智能平板1建立第一投屏内容与第一批注轨迹的对应关系。

在一实施例中，笔记本电脑2接收到向后翻页指令后，将向后翻页指令发送至交互智能平板1中。此时，交互智能平板1对第二投屏内容和第二批注轨迹进行翻页，并根据上述对应关系确定第一投屏内容对应的第一批注轨迹，进而对第一投屏内容和第一批注轨迹进行显示。此时，建立第二投屏内容和第二批注轨迹的对应关系。当笔记本电脑2再次接收到向前翻页指令时，重复上述操作，以使交互智能平板1再次显示第二投屏内容和第二批注轨迹。

本实施例提供的技术方案，通过接收投屏指令，显示第一投屏内容，并在接收到批注触发指令后，开启批注功能，然后接收第一批注信号并显示相应的第一批注轨迹，在接收到向前翻页指令时，翻页显示第二投屏内容，并接收第二批注信号以显示相应的第二批注轨迹，而后，接收向后翻页指令，再次显示第一投屏内容和第一批注信号，接收到向前翻页指令，再次显示第二投屏内容和第二批注信号的技术手段，实现了投屏场景下对投屏内容进行批注，且保证投屏内容以及批注轨迹同步变化，即同步出现或者消失在显示屏中，使得批注实现过程更加贴近于实际批注过程。

实施例三

图11为一实施例提供的一种批注显示方法的流程图。本实施例是在上述实施例的基础上进行说明。参考图11，本实施例提供的批注显示方法包括如下步骤。

步骤3010、接收投屏指令。

步骤3020、显示第一投屏内容。

步骤3030、接收批注触发指令。

在一实施例中，批注触发指令用于启动批注功能。

步骤3040、接收第一批注信号。

在一实施例中，第一批注信号用于对第一投屏内容进行批注。

步骤3050、显示第一批注轨迹。

在一实施例中中，第一批注轨迹是根据所述第一批注信号生成的。

步骤3060、对第一批注轨迹进行整形处理，得到整形轨迹。

在一实施例中，用户输入的第一批注轨迹可能为不圆滑或者不工整的批注轨迹，为了美观，可以对第一批注轨迹进行整形处理，即将手写的第一批注轨迹整形成计算机标准形状。具体的整形方式本实施例不作限定。例如，识别第一批注轨迹的形状以及形状参量，并绘制对应的标准形状作为整形轨迹。又如，对第一批注轨迹进行平滑处理，以得到线条平滑的整形轨迹。

步骤3070、将第一批注轨迹更换为整形轨迹。

在一实施例中，擦除第一批注轨迹，并在第一批注轨迹对应的位置处显示整形轨迹。

例如，参考图12，交互智能平板显示第一投屏内容时，根据用户输入的第一批注信号显示第一批注轨迹31。在一实施例中，确定第一批注轨迹31为椭圆形，并根据第一批注轨迹31的大小确定椭圆形的长轴和短轴，进而得到整形轨迹。此时，参考图13，交互智能平板将第一批注轨迹更换为整形轨迹32。

又如，参考图14，在交互智能平板显示第一投屏内容时，根据用户输入的第一批注信号显示第一批注轨迹33。在一实施例中，确定第一批注轨迹33为一条不平滑的直线，进而对第一批注轨迹33进行平滑处理，以得到一条平滑的直线。此时，参考图15，交互智能平板将第一批注轨迹更换为整形结果34，即擦除不平滑的直线，并在对应的位置处显示平滑的直线。

在一实施例中，后续步骤中提及的第一批注轨迹均为整形轨迹。另外，其他投屏内容对应的批注轨迹同样可以设置整形处理。例如，第二投屏内容对应的第二批注轨迹在显示时同样进行整形处理。

步骤3080、确定显示第一批注轨迹的像素点位置。

在一实施例中，交互智能平板的显示屏通过改变多个像素点的像素值实现显示。在一实施例中，像素点为独立显示颜色的最小单位。当显示屏的分辨率为1208*1024时，表明该显示屏共有1028*1024个像素点。在一实施例中，交互智能平板根据第一批注轨迹的批注位置可以确定显示屏中用于显示第一批注轨迹的像素点位置。上述示例中提及的显示屏的分辨率参数仅是用于理解技术方案，并非对显示屏分辨率参数的限定。

考虑到实际应用中，用户可能会在某个投屏内容周围的空白处对该投屏内容进行批注，此时，第一批注轨迹所在的像素点位置与显示被批注内容的像素点位置并不相同，因此，可以将显示被批注内容的像素点位置作为第一批注轨迹的像素点位置。在一实施例中，显示被批注内容的像素点位置与第一批注轨迹的相对位置关系可以根据实际情况设定。例如，参考图8，第一批注轨迹为圈选轨迹，此时，将第一批注轨迹内部区域确定为像素点位置；又如， 参考图16，第一批注轨迹包含批注框35，此时，将批注框35指向位置对应的设定区域36作为像素点位置；再如，参考图15，第一批注轨迹为直线或者曲线，则将第一批注轨迹向上设定区域37作为像素点位置。在一实施例中，在第一批注轨迹为直线或者曲线，且第一批注轨迹的批注内容为文字时，可以对第一批注轨迹上方区域的显示内容进行文字识别，并将识别到的完整文字作为被批注内容，进而将显示该文字的像素点位置作为第一批注轨迹的像素点位置。即根据第一批注轨迹的形状及位置，选定第一批注轨迹周边设定区域作为像素点位置。一般而言，像素点位置为多个。

步骤3090、在第一投屏内容中识别像素点位置对应显示的图像数据。

由于第一投屏内容和第一批注轨迹分层显示，当确定像素点位置后，可以在第一显示层中确定该像素点位置显示第一投屏内容时对应的图像数据。在一实施例中，图像数据也可以记为像素块，图像数据可以体现像素点位置中全部像素点对应的像素值以及多个像素值之间的相对位置关系。

在一实施例中，为了保证后续第一批注轨迹准确的跟随图像数据进行移动，在识别图像数据后，可以确定该图像数据的完整性，并在图像数据不完整时，更改像素点位置，以得到完整的图像数据。本实施例中，识别图像数据完整性的方式实施例不作限定，如机器学习方式。例如，确定图像数据后，识别图像数据的具体显示内容为一半文字，此时，更改像素点位置，以将图像数据确定为一个完整的文字。

步骤3100、保存图像数据和第一批注轨迹的第一对应关系。

在一实施例中，保存方式实施例不作限定，如为图像数据添加标签，并对第一批注轨迹同步添加相同标签。在一实施例中，保存第一对应关系的好处是，建立第一批注轨迹与第一投屏内容的关联性。当重新显示第一投屏内容时，根据第一对应关系可以保证同步显示第一投屏内容对应的第一批注轨迹。在一实施例中，在保存第一对应关系时，同步保存图像数据与第一批注轨迹的相对位置关系，例如，第一批注轨迹圈选图像数据，又如，第一批注轨迹位于图像数据的上方等相对位置关系，以便根据第一对应关系确定第一批注轨迹时，同步确认第一批注轨迹的显示位置。

步骤3110、接收向前翻页指令。

在一实施例中，向前翻页指令用于控制第一投屏内容向前翻页。

步骤3120、显示翻页后的第二投屏内容。

步骤3130、接收向后翻页指令。

在一实施例中，向后翻页指令用于控制第二投屏内容向后翻页。

步骤3140、识别第一投屏内容中的图像数据。

在一实施例中，当确定重新显示第一投屏内容时，对第一投屏内容进行图像识别，以确定是否存在图像数据。在一实施例中，识别的方式可以是遍历第一投屏内容的全部像素点，以确定是否存在与图像数据相同像素值的像素区域，如果存在，则将该像素区域对应的显示内容作为图像数据。

步骤3150、根据第一对应关系确定与图像数据对应的第一批注轨迹。

例如，根据第一对应关系查找与图像数据标签相同的第一批注轨迹，并确定第一批注轨迹与图像数据的相对位置关系。

步骤3160、显示第一投屏内容，并在显示过程中追踪图像数据。

在一实施例中，执行向后翻页指令以显示第一投屏内容为一个动态的过程。为了保证动态过程中第一批注轨迹与图像数据的相对位置固定，实施例中设定在显示第一投屏内容的过程中实时追踪图像数据，以确定图像数据的变化轨迹。在一实施例中，交互智能平板可以采 用模板匹配的方式实现追踪图像数据，并得到包含图像数据移动轨迹的追踪结果。

步骤3170、根据追踪结果同步显示第一批注轨迹，以使第一批注轨迹和图像数据的相对位置固定。

在一实施例中，控制第一批注轨迹根据追踪结果同步变化，即第一批注轨迹与图像数据同步移动，以在显示第一投屏内容的过程中，第一批注轨迹与图像数据的相对位置固定。

在一实施例中，如果图像数据因为某些原因仅有部分显示在交互智能平板中，例如，翻页过程中，某一时刻仅显示了部分图像数据。此时，设定占比值，如果显示的部分图像数据的像素点数量与图像数据的总像素点数量的比值大于或者等于占比值，则控制第一批注轨迹同步变化，如果显示的部分图像数据的像素点数量与图像数据的总像素点数量的比值小于占比值，确定图像数据消失在交互智能平板中，此时，控制第一批注轨迹同步消失。

步骤3180、如果接收到结束指令，则将第一投屏内容与第一批注轨迹关联保存。

在一实施例中，结束指令用于通知交互智能平板停止投屏，结束指可以由用户通过笔记本电脑触发，或者由用户在交互智能平板中触发，还可以由用户通过输入设备触发。本实施例中，结束指令的形式以及触发规则不作限定。例如，设定结束触发按键或者结束触摸操作方式，并在检测到结束触发按键被点击或者接收到结束触摸操作方式时，确定接收到结束指令。

在一实施例中，在接收到结束指令后，保存第一投屏内容和第一批注轨迹。在一实施例中，将第一显示层和第二显示层的数据进行叠加，以实现将第一投屏内容与第一批注轨迹关联保存。或者是，将第一显示层和第二显示层分别保存，并在显示保存数据时，将第一显示层和第二显示层叠加显示，以实现第一批注轨迹的可编辑性。

由于第一投屏内容为第一投屏数据按屏幕映射关系放大或者缩小后得到的数据，而交互智能平板在保存时仅保存第一投屏内容以及相应的第一批注轨迹，所以，如果将保存数据发送至笔记本电脑或者其他的客户端并在笔记本电脑或者其他的客户端中打开保存数据时，需要将保存数据进行分辨率转换，以适应于当前使用显示屏的分辨率。

本实施例提供的技术方案，实现了为第一投屏内容添加第一批注轨迹，且对第一批注轨迹进行整形处理，美化了用户观看的界面，提高了用户观看的舒适度，且利用图像识别技术保证了第一批注轨迹跟随被批注的图像数据同步变化，实现了PPT中的批注跟随，可以保存第一批注轨迹，便于后续查看或编辑。

实施例四

图17为另一实施例提供的一种批注显示方法的流程图。本实施例提供的批注显示方法是在上述实施例的基础上进行说明。在一实施例中，在所述显示所述第一投屏内容及所述第一批注轨迹之后，还包括：获取针对所述第一投屏内容生成的变化控制指令；根据所述变化控制指令确定显示所述第一批注轨迹时的轨迹变化规则；更新所述第一投屏内容，并根据所述轨迹变化规则同步更新所述第一批注轨迹。

在一实施例中，根据所述变化控制指令确定显示所述第一批注轨迹时的轨迹变化规则包括：在所述第一投屏内容中确定所述变化控制指令针对的目标窗口以及针对所述目标窗口的变化控制操作；确定所述第一批注轨迹的批注位置；如果所述目标窗口包含所述批注位置，则确定在所述目标窗口执行所述变化控制操作时所述第一批注轨迹的轨迹变化规则。

参考图17，本实施例提供的批注显示方法包括如下步骤。

步骤4010、接收投屏指令。

步骤4020、显示第一投屏内容。

步骤4030、接收第一批注信号。

在一实施例中，第一批注信号用于对第一投屏内容进行批注。

步骤4040、显示第一批注轨迹。

在一实施例中，第一批注轨迹是根据第一批注信号生成的。

步骤4050、保存第一投屏内容的页码与第一批注轨迹的第二对应关系。

在一实施例中，交互智能平板显示第一投屏内容时明确第一投屏内容相应页码的，因此，可以通过建立页码与第一批注轨迹的第二对应关系确定第一投屏内容与第一批注轨迹的对应关系。在一实施例，第二对应关系的保存方式可以参照第一对应关系的保存方式，同时，在保存第二对应关系时，同步保存第一批注轨迹的批注位置。在一实施例中，确定第一批注轨迹所在的第二显示层当前的显示内容，并为第二显示层当前的显示内容建立与第一投屏内容相同的页码，根据该页码建立第二显示层显示内容与第一投屏内容的第三对应关系，该显示内容的尺寸与第一投屏内容的尺寸相同，均为交互智能平板显示屏的尺寸。

步骤4060、接收向前翻页指令。

在一实施例中，向前翻页指令用于控制第一投屏内容向前翻页。

步骤4070、显示翻页后的第二投屏内容。

步骤4080、接收向后翻页指令。

在一实施例中，向后翻页指令用于控制第二投屏内容向后翻页。

步骤4090、确定第一投屏内容的页码。

在一实施例中，接收到向后翻页指令后，交互智能平板可以得到第一投屏内容的页码。

步骤4100、根据第二对应关系确定页码对应的第一批注轨迹。

在实施例中，遍历第二对应关系以确定该页码是否存在对应的第一批注轨迹。如果存在对应的第一批注轨迹，则获取对应的第一批注轨迹以及批注位置。

步骤4110、在显示第一投屏内容时，同步显示第一批注轨迹。

在一实施例中，交互智能平板在开始投屏时可以接收到PPT压缩包，对该PPT压缩包处理后，交互智能平板可以确定PPT中每页的翻页方式。交互智能平板在显示PPT时，如果执行翻页操作，则根据PPT压缩包确定当前的翻页方式，并按照该翻页方式同步对第一批注轨迹执行相同的翻页方式。举例而言，翻页方式为由下向上平移翻页，则对第一投屏内容执行由下向上平移翻页时，控制包含第一批注轨迹的显示内容同步执行由下向上平移翻页，以保证第一批注轨迹和第一投屏内容同步移动。

本实施例中，仅对显示第一投屏内容和第一批注轨迹进行描述，实际应用中，对已经显示的第一投屏内容和第一批注轨迹进行翻页移除时的实现方式与显示第一投屏内容和第一批注轨迹的实现方式相同。

在一实施例中，考虑到实际应用中，除去对PPT进行翻页而引起对应批注轨迹同步变化的场景，还包括在PPT没有翻页时，仅是由于显示内容变化而引起对应批注轨迹同步变化的场景。例如，当PPT中被批注的内容在本页PPT内消失时，对应的批注轨迹应同步消失。又如，当PPT中被批注的内容在本页PPT中被移动或缩放时，对应的批注轨迹应同步被移动或缩放。此时，实现上述场景的操作还可以参考下述步骤。

步骤4120、获取针对第一投屏内容生成的变化控制指令。

在一实施例中，交互智能平板根据PPT压缩包还可以确定每页PPT中每个文本元素对应的动画元素，即交互智能平板通过PPT压缩包可以确定放映过程中PPT的变化顺序以及变化规则。一般而言，通常以在PPT的本文框中写入数字，绘制或插入表格、图片以及视频的方式制作PPT，因此，文本元素可以是第一投屏数据中包含显示内容的一个文本框，该文本框可以显示于PPT中，也可以隐藏显示。在一实施例中，动画元素为文本框执行的操作，如某 个文本框向上移动5个像素点、某个文本框左移10个像素点以及移除某个文本框等。当交互智能平板显示包含该文本元素的第一投屏内容时，如果用户在笔记本电脑、输入设备或交互智能平板中执行单击操作后，交互智能平板调取对应的动画元素，以得到第一投屏内容当前的变化控制指令。在一实施例中，该变化控制指令包含第一投屏数据中的文本元素以及针对文本元素的动画元素，该变化控制指令用于使交互智能平板明确PPT中显示内容的变化规则。

步骤4130、根据变化控制指令确定显示第一批注轨迹时的轨迹变化规则。

在一实施例中，交互智能平板根据屏幕映射关系确定文本元素在第一投屏内容中的目标窗口以及动画元素在交互智能平板侧相应的变化控制操作，并对该目标窗口模拟执行上述变化控制操作，进而得到目标窗口中第一批注轨迹的轨迹变化规则。在一实施例中，步骤4130包括步骤41310-步骤41330：

步骤41310、在第一投屏内容中确定变化控制指令针对的目标窗口以及针对目标窗口的变化控制操作。

在一实施例中，根据屏幕映射关系对文本元素的坐标点进行映射，以得到交互智能平板在显示文本元素时对应的像素位置，记为目标窗口。在一实施例中，根据屏幕映射关系对动画元素执行同样的映射，以确定对文本元素执行动画元素时，对目标窗口应执行的变化控制操作。举例而言，笔记本电脑的显示屏的分辨率为320×240，交互智能平板的显示屏的分辨率为640×480。用户在笔记本电脑执行单击操作后，交互智能平板通过PPT压缩包确定当前单击操作对应的变化控制指令为：笔记本电脑中以像素点(0，0)和像素点(10，10)为对角点的四边形内每个像素值向下移动5个像素点。此时，交互智能平板根据屏幕映射关系确定目标窗口所在位置是像素点(0，0)和像素点(20，20)为对角点的四边形，相应的，该目标窗口执行的变化控制操作为向下移动10个像素点。上述示例中提及的显示屏的分辨率参数仅是用于理解技术方案，并非对显示屏分辨率参数的限定。

步骤41320、确定第一批注轨迹的批注位置。

一般而言，在接收第一批注信号时，同步确定了批注位置。

步骤41330、如果目标窗口包含批注位置，则确定在目标窗口执行变化控制操作时第一批注轨迹的轨迹变化规则。

在一实施例中，确定批注位置是否在目标窗口所在的位置区域内，如果不在该位置区域内，则说明对目标窗口执行变化控制操作时，第一批注轨迹不会发生变化，此时，保持第一批注轨迹不变。如果在该位置区域内，则说明对目标窗口执行变化控制操作时，第一批注轨迹可能会变化。此时，需要确定第一批注轨迹的轨迹变化规则。在一实施例中，轨迹变化规则包含第一批注轨迹的批注位置变化信息。

在一实施例中，确定第一批注轨迹的轨迹变化规则的方式为：根据变化控制操作模拟控制第一批注轨迹进行变化，进而确定轨迹变化规则。例如，交互智能平板计算目标窗口的高度、宽度以及位置，并按照变化控制操作控制目标窗口进行变化，并同步记录该目标窗口中批注位置的轨迹变化规则，以实现模拟控制第一批注轨迹进行变化。

步骤4140、更新第一投屏内容，并根据轨迹变化规则同步更新第一批注轨迹。

在一实施例中，更新第一投屏内容时，可以是由笔记本电脑将更新过程一帧一帧的截图发送至交互智能平板中，以实现更新第一投屏内容；还可以是，交互智能平板预先接收全部PPT后，根据用户的点击操作自动放映PPT，以更新第一投屏内容。在一实施例中，根据轨迹变化规则同步更新第一批注轨迹，以保证第一批注轨迹跟随第一投屏内容同步变化。

下面对本实施例提供的技术方案进行示例性描述：

本示例中采用的交互系统参考图2，交互智能平板1和笔记本电脑2中分别安装投屏应 用软件。下述示例主要描述根据变化控制指令控制第一投屏内容和第一批注轨迹同步变化的实现过程。

图18为一实施例提供的笔记本电脑显示第一投屏内容的示意图；图19为一实施例提供的交互智能平板显示第一投屏内容以及对应的第一批注轨迹41的示意图。例如，当笔记本电脑接收到点击操作时，确定第一投屏数据中文本框42消失在屏幕中。此时，交互智能平板1根据PPT压缩包确定与点击操作对应的变化控制指令，即确定文本元素为文本框42以及对应的动画元素为消失在屏幕中。交互智能平板1根据变化控制指令以及屏幕映射关系确定第一批注轨迹41包含在目标窗口内，且轨迹变化规则为消失第一批注轨迹。笔记本电脑2执行消失文本框42的操作，同时，交互智能平板1根据笔记本电脑2发送的第一投屏数据同步更新第一投屏内容，并控制第一批注轨迹41消失。参考图20，图20显示第一批注轨迹41以及对应文本框42消失后，交互智能平板的显示界面示意图。

又如，当用户在笔记本电脑2中针对图18中的显示画面发出点击操作，交互智能平板1根据PPT压缩包获取相应的变化控制指令，并对变化控制指令进行识别后，确定目标窗口的位置为文本框42所在的位置，针对文本框42的变化控制操作为移动文本框42。之后，交互智能平板1确定第一批注轨迹41在文本框42中，并确定第一批注轨迹41的轨迹变化规则。此时，笔记本电脑2根据点击操作更改显示内容，并截取相应的第一投屏数据发送至交互智能平板1中。且交互智能平板1根据第一投屏数据更新相应的第一投屏内容，并控制第一批注轨迹41根据轨迹变化规则同步更新。参考图20，图20为更新第一投屏内容及第一批注轨迹41后，交互智能平板的显示界面。

再如，当用户在笔记本电脑2中针对图18中的显示画面发出点击操作，交互智能平板1根据PPT压缩包获取相应的变化控制指令，并对变化控制指令进行识别后，确定目标窗口的位置为文本框42所在的位置，针对文本框42的变化控制操作为放大文本框42。之后，交互智能平板1确定第一批注轨迹41在文本框42中，并确定第一批注轨迹41的轨迹变化规则。笔记本电脑2根据点击操作更改显示内容，并截取相应的第一投屏数据发送至交互智能平板1中。交互智能平板1根据第一投屏数据更新相应的第一投屏内容，并控制第一批注轨迹41根据轨迹变化规则同步更新。参考图22，图22为更新第一投屏内容及第一批注轨迹41后的显示界面。

在一实施例中，实际应用中，当PPT页码没有发生变化，仅是显示内容发生变化时，也可以采用图像识别的方式控制第一批注轨迹跟随第一投屏内容同步变化。

本实施例提供的技术方案，通过在首次显示第一投屏内容及第一批注轨迹后，保存第一投屏内容的页码与第一批注轨迹的第二对应关系，当再次显示第一投屏内容时，根据第二对应关系，同步显示第一批注轨迹，并且，当第一投屏内容的页码没有发生变化仅是显示内容发生变化时，可以根据变化控制指令确定第一批注轨迹的轨迹变化规则，并在更新第一投屏内容时同步根据轨迹变化规则更新第一批注轨迹的方式，实现了为投屏内容添加批注，同时利用坐标映射技术保证了批注轨迹跟随对应的投屏内容同步变化，准确的还原了批注场景。

实施例五

图23为另一实施例提供的一种批注显示方法的流程图。本实施例提供的批注显示方法可以由批注显示装置执行，该批注显示装置可以通过软件和/或硬件的方式实现，并集成在设备中。本实施例中，以交互智能平板为执行批注显示方法的设备为例进行描述。在一实施例中，交互智能平板是通过触控技术对显示在显示平板上的内容进行操控和实现人机交互操作的一体化设备，交互智能平板集成了投影机、电子白板、幕布、音响、电视机以及视频会议终端等多种功能。

在本实施例中，交互智能平板与至少一个客户端建立数据连接。在一实施例中，客户端包括但不限定于：手机、笔记本电脑以及台式电脑等。数据连接采用的具体通信方式本实施例不作限定，如互联网、局域网、蓝牙或紫峰协议(ZigBee)等通信方式。在一实施例中，交互智能平板与至少一个客户端发生数据交互时，至少一个客户端中向交互智能平板发送投屏数据以使交互智能平板对投屏数据进行显示的客户端作为关联客户端。一般而言，关联客户端仅有一个。

在一实施例中，关联客户端和交互智能平板分别安装有投屏服务应用软件。在一实施例中，关联客户端的投屏服务应用软件用于获取投屏数据并将投屏数据发送至交互智能平板，交互智能平板的投屏服务应用软件用于接收投屏数据，并将投屏数据转换成在交互智能平板显示屏的显示界面中显示的数据。通常，交互智能平板无法修改显示界面中的显示数据。在一实施例中，关联客户端的关联显示屏与显示屏的分辨率不同，投屏数据是基于关联显示屏的分辨率获取的。为了在显示界面中显示投屏数据，投屏服务应用软件需要根据关联显示屏和显示屏的分辨率确定屏幕映射关系，进而根据屏幕映射关系对投屏数据进行转换以在显示界面显示。

在一实施例中，投屏数据为图片格式，投屏数据可以是对关联显示屏截屏得到的截屏数据，或者是演示文稿(Microsoft Office PowerPoint，PPT)数据。当投屏数据为PPT数据时，交互智能平板与关联显示屏同步显示该PPT，此时，交互智能平板可以明确当前播放PPT的显示内容、PPT总页码以及当前播放页码，但是交互智能平板无权对PPT数据进行任何操作，如翻页操作、修改操作等。

在一实施例中，上述的所述显示投屏数据包括：在显示屏的显示界面上显示关联客户端发送的投屏数据；所述显示批注轨迹包括：在所述显示界面上显示基于触摸操作生成的批注轨迹；所述控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化包括：控制所述批注轨迹跟随对应的投屏数据在所述显示界面的变化而同步变化。

图23为另一实施例提供的一种批注显示方法的流程图。参考图23，本实施例提供的批注显示方法包括如下步骤：

步骤1110、在显示屏的显示界面上显示基于触摸操作生成的批注轨迹。

在一实施例中，显示界面为显示屏中用于显示数据的设定区域，本实施例中用于显示关联客户端发送的投屏数据。一般而言，显示界面中显示的数据是根据屏幕映射关系对投屏数据进行转换后得到的数据。

在一实施例中，显示屏为触摸屏，显示屏可以接收用户通过手指或者关联设备发出的触摸操作并发送至交互智能平板的处理器中，以使处理器响应该触摸操作。在一实施例中，关联设备包括但不限定于：智能笔。在本实施例中，设定在显示界面中显示投屏数据时，获取的触摸操作默认为批注操作，或者是，接收到开始批注的指示后，获取的触摸操作认为是批注操作。在一实施例中，用户可以通过点击设定按键或者输入设定触摸操作(如双击或长按)的方式向交互智能平板发送开始批注指示。

在一实施例，考虑到用户在交互智能平板端对投屏数据进行批注时，不仅包括标识投屏数据，如在某些文字数据下面标记横线，或者圈选部分显示内容。还包括针对投屏数据进行文字批注，如在某个位置增加批注框并在批注框中写入文字数据，或者直接在显示界面中写入文字数据。为了满足增加批注框的情况，预先设置至少一个批注框且每个批注框对应不同的批注轨迹。当接收到触摸操作时，确定批注轨迹是否为预设批注框的批注轨迹，如果是预设批注框的批注轨迹，则将预设批注框作为显示的批注轨迹，如果不是预设批注框的批注轨迹，则将触摸操作得到的轨迹作为显示的批注轨迹。

在一实施例，由于用户无法对显示界面中显示的投屏数据进行编辑，为了实现为投屏数据增加批注，在显示屏中增加一显示层，并将该显示层覆盖在当前显示界面上。该显示层用于与用户交互，即接收触摸操作并显示对应的触摸轨迹。此时，用户角度仅能观看到在显示界面中显示批注轨迹，并不会观看到对应的显示层。或者是，对显示界面进行截屏处理，得到一张图像，并以对图像进行批注的方式实现对投屏数据增加批注。无论哪种方式实现批注，投屏数据中均不包括批注轨迹，即批注轨迹和投屏数据是相互独立的。

在一实施例中，在显示批注轨迹时，同步显示批注工具框，用户通过批注工具框实现对轨迹颜色或线条粗细等显示参数的更改。同时，批注轨迹具有可编辑性，用户可以根据实际需求更改批注轨迹的位置、大小以及形状等。

步骤1120、控制批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化。

在一实施例，用户对关联显示屏的显示内容进行操作时，投屏数据的显示内容同步变化，以实现交互智能平板的显示屏与关联显示屏同步显示。当投屏数据在显示界面中发生变化时，控制批注轨迹跟随投屏数据的变化而同步变化，以在投屏数据和批注轨迹相互独立时，使用户观看到批注轨迹跟随被批注内容同步移动。

在一实施例中，控制批注轨迹跟随投屏数据的变化而同步变化的具体实施方式本实施例不作限定。如，在显示界面中确定与批注轨迹对应的图像数据，并对图像数据进行追踪，以实时得到图像数据的变化结果，并控制批注轨迹跟随变化结果同步变化。又如，当投屏数据在显示界面中变化时，通过获取关联客户端的变化控制指令确定投屏数据的变化规则，而后，根据该变化规则确定批注轨迹的变化规则，以保证批注轨迹跟随投屏数据的变化而同步变化。

在一实施例中，记录投屏数据和批注轨迹的对应关系。当显示界面再次显示该投屏数据时，控制批注轨迹同步出现在显示屏中。

下面对本实施例提供的技术方案进行示例性的描述：

参考图6，交互智能平板1与笔记本电脑2通过局域网连接，其中，笔记本电脑2为关联客户端。图24为关联客户端的关联显示屏第一显示画面示意图。本实施例中，笔记本电脑2基于图24的显示画面生成投屏数据，并将投屏数据发送至交互智能平板1中。交互智能平板1接收到投屏数据后，根据屏幕映射关系处理投屏数据，并在显示屏中进行显示。此时，交互智能平板1与笔记本电脑2显示相同的内容，仅是显示比例不同。在一实施例中，交互智能平板1基于用户的触摸操作在显示屏当前显示界面中显示批注轨迹11。图25为一实施例提供的交互智能平板的显示屏显示界面示意图。对比图254和图24可知，交互智能平板1与笔记本电脑2中投屏数据的显示比例不同，且图25中显示了批注轨迹11。

在一实施例中，当笔记本电脑2中显示画面发生变化时，交互智能平板1的显示界面同步变化。图26为另一实施例例提供的交互智能平板的显示屏显示界面示意图。图26是投屏数据在显示界面中变化时，某一时刻的显示界面。参考图26，当显示界面变化时，对应的批注轨迹11同步变化，以使用户观看到批注轨迹跟随被批注内容同步移动。

本实施例提供的技术方案，通过在显示屏的显示界面中显示关联客户端发送的投屏数据，并将基于用户触摸操作生成的批注轨迹显示在显示界面上，当投屏数据在显示界面中变化时，控制批注轨迹同步变化的技术手段，实现了投屏场景下，在显示投屏数据的设备端针对投屏数据进行批注，同时保证批注跟随投屏数据同步变化，使得设备端批注实现过程更加贴近于关联客户端批注实现过程，提升了用户的使用体验。

实施例六

图27为另一实施例提供的一种批注显示方法的流程图。本实施例是在上述实施例的基础上进行说明。参考图27，本实施例提供的批注显示方法包括如下步骤：。

步骤2110、基于触摸操作确定批注位置以及对应的批注轨迹。

在一实施例中，批注位置为用户输入轨迹的触摸位置。

在一实施例中，用户在显示屏上执行触摸操作时，显示屏内部对应位置上的电子元件的参数会发生变化，交互智能平板的处理器根据电子元件参数变化确定触摸位置，即批注位置。以电容式显示屏为例，当用户在显示屏上写入一条直线时，对应位置的电容会根据用户的写入操作依次发生变化，处理器根据电容变化情况便可以确定批注位置，并确定相应的批注轨迹。

步骤2120、根据批注位置，在显示屏的第一显示层中显示批注轨迹，第一显示层覆盖在显示界面所在的第二显示层上。

在一实施例中，由于显示界面中的投屏数据为图片格式，交互智能平板无权对投屏数据进行修改。所以，为了实现对投屏数据进行批注，本实施例中设定在显示屏中增加一显示层，记为第一显示层，将投屏数据所在显示界面记为第二显示层。一般而言，第二显示层为默认显示层。在一实施例中，将第一显示层覆盖在第二显示层之上，以使第一显示层接收用户的触摸操作，并在第一显示层中显示与批注相关的全部内容，如批注轨迹以及批注工具框等。

在一实施例中，第一显示层与第二显示层完全重合。将第一显示层设置为无填充格式，并覆盖在第二显示层中，以使用户仅观看到第二显示层的显示界面以及第一显示层的批注轨迹、批注工具框等。

图28为一实施例提供的第一显示层与第二显示层的位置参考示意图。参考图7，第一显示层21为无填充格式且显示批注轨迹23，并覆盖在第二显示层22上，其中，第二显示层22中显示投屏数据。在一实施例中，图29为一实施例提供的用户角度观看到的显示界面示意图。从图29可得出，用户仅能观看到在投屏数据上进行批注，无法明显区别第一显示层21和第二显示层22。需要说明的是，为了便于理解，图28中将第一显示层和第二显示层分隔显示，实际应用中，第一显示层与第二显示层紧密接触。

步骤2130、对批注轨迹进行整形处理，并得到整形轨迹。

在一实施例中，用户输入的批注轨迹可能为不圆滑或者不工整的批注轨迹，为了美观，可以对批注轨迹进行整形处理，即将手写的批注轨迹整形成计算机标准形状。对于整形方式本实施例不作限定。例如，识别批注轨迹的形状以及形状参量，并绘制对应的标准形状作为整形轨迹。又如，对批注轨迹进行平滑处理，已得到线条平滑的整形轨迹。

步骤2140、将显示屏中显示的批注轨迹更换为整形轨迹。

在一实施例中，擦除显示屏中显示的批注轨迹，并在对应的位置处显示整形轨迹。

例如，图30为另一实施例提供的交互智能平板的显示屏显示界面示意图。参考图30，在显示屏中显示用户输入的批注轨迹24。在一实施例中，确定批注轨迹24为椭圆形，并根据批注轨迹24的大小确定椭圆形的长轴和短轴，进而得到整形轨迹。图31为另一实施例提供的交互智能平板的显示屏显示界面示意图。参考图31，将显示屏中批注轨迹更换为整形轨迹25。

又如，图32为另一实施例提供的交互智能平板的显示屏显示界面示意图。参考图32，在显示屏中显示用户输入的批注轨迹26。在一实施例中，确定批注轨迹26为一条不平滑的直线，进而，对批注轨迹26进行平滑处理，以得到一条平滑的直线。图33为另一实施例提供的交互智能平板的显示屏显示界面示意图。参考图33，将显示屏中批注轨迹更换为整形结果27，即擦除不平滑的直线，并在对应的位置处显示平滑的直线。

本实施例中，后续步骤中提及的批注轨迹均为整形轨迹。

步骤2150、在显示界面中根据批注轨迹的批注位置确定对应的像素位置。

在一实施例中，显示屏通过改变多个像素点的像素值实现显示。在一实施例中，像素点为独立显示颜色的最小单位。当显示屏的分辨率为1208*1024时，表明该显示屏共有1028*1024个像素点。在一实施例中，根据批注位置可以确定显示屏中用于显示批注轨迹的像素点位置。

考虑到实际应用中，用户可能会在某个显示内容周围的空白处对该显示内容进行批注，此时，批注位置与显示内容的像素位置并不相同，因此，设定不同批注轨迹及批注位置对应的像素位置。在一实施例中，像素位置为被批注内容的像素点所在位置，像素位置需要依赖于显示批注轨迹的像素点位置确定。例如，参考图31，根据批注位置确定批注轨迹为圈选轨迹，此时，将批注轨迹内部区域确定为像素位置；又如，图34为另一实施例提供的交互智能平板的显示屏显示界面示意图。参考图34，根据批注位置确定批注轨迹包含批注框28，此时，将批注框指向位置对应的设定区域29作为像素位置；再如，参考图32，根据批注位置确定批注轨迹为直线或者曲线，则将批注位置向上设定区域2100作为像素位置。即根据批注位置，选定批注位置周边设定区域作为像素位置。一般而言，像素位置包含多个像素点位置。

步骤2160、在显示界面显示投屏数据时，识别像素位置对应的图像数据。

在一实施例中，图像数据为像素位置中多个像素点在显示投屏数据时对应的像素值。在一实施例中中，像素值为红绿蓝值，即RGB值。将像素位置中多个像素点的像素值以及像素值之间的相互位置关系作为识别结果。

在一实施例中，为了保证后续批注跟随的准确性，在识别图像数据后，可以确定该图像数据的完整性，并在图像数据不完整时，更改像素位置，以得到完整的图像数据。在一实施例中，识别图像数据完整性的方式本实施例不作限定，如机器学习方式。例如，确定图像数据后，识别图像数据的具体显示内容为一半文字，此时，更改像素位置，以将图像数据确定为一个完整的文字。

步骤2170、检测显示界面中至少一个像素点对应的像素值是否发生变化。如果检测到显示界面中至少一个像素点对应的像素值发生变化，则执行步骤2180，如果未检测到显示界面中的像素点对应的像素值发生变化，则返回执行步骤2170。

在一实施例中，在显示界面中显示投屏数据时，比较前一帧投屏数据中每个像素点的像素值与当前帧投屏数据对应像素点的像素值，如果至少一个像素点的像素值发生了变化，则确认投屏数据显示内容发生了变化，即投屏数据在显示界面中发生变化。如果所有像素点的像素值均未发生变化，则重复执行本步骤。一般而言，本步骤在一次完整的投屏过程中重复执行，即投屏过程中实时检测投屏数据是否在显示界面中发生变化。

步骤2180、确定投屏数据在显示界面中发生变化。

步骤2190、追踪图像数据，并根据追踪结果控制批注轨迹同步变化，以使批注轨迹与图像数据的相对位置关系固定。

在一实施例中，投屏数据在显示界面中发生变化时，实时追踪图像数据，以在投屏数据变化的过程中确定图像数据的变化轨迹，进而控制批注轨迹根据变化轨迹同步变化。一般而言，在投屏数据的变化过程中，批注轨迹与图像数据的相对位置关系是固定的。

在一实施例中，追踪图像数据的具体方式为：在显示界面显示的下一帧投屏数据中，确定具有相同图像数据的像素位置，并选择与当前投屏数据中像素位置距离最近的像素位置，作为图像数据的变化位置，进而得到变化轨迹。

步骤2200、确认是否接收到结束指令。如果接收到结束指令，则执行步骤2210，如果未接收到结束指令，则返回执行步骤2110。

在一实施例中，结束指令用于通知交互智能平板停止接收并显示投屏数据，结束指令由 用户通过关联客户端触发，或者由用户在交互智能平板中触发。结束指令的形式以及触发规则本实施例不作限定。

步骤2200、将显示界面中的显示数据与批注轨迹关联保存。

由于显示界面中的显示数据为投屏数据按屏幕映射关系放大或者缩小后的数据，所以，在保存时仅保存与显示屏相同分辨率的显示数据以及批注轨迹，而不是保存投屏数据与批注轨迹。

在一实施例中，将第一显示层和第二显示层的数据进行叠加，以实现将显示数据与批注轨迹关联保存。或者是，将第一显示层和第二显示层分别保存，并在显示保存数据时，将第一显示层和第二显示层叠加显示，以实现批注轨迹的可编辑性。

在一实施例中，将保存数据发送至关联客户端或者其他的客户端中。此时，在关联客户端或者其他的客户端中打开保存数据时，需要将保存数据进行转换，以适应于当前使用显示屏的分辨率。

本实施例提供的技术方案，通过在第二显示层的显示界面中显示投屏数据，在覆盖于第二显示层的第一显示层中显示基于触摸操作生成的批注轨迹，并对批注轨迹进行整形处理，而后，在显示界面中确定与批注轨迹对应的图像数据，在显示界面像素点的像素值发生变化时，确定投屏数据在显示界面中变化，此时，通过实时追踪图像数据，并控制批注轨迹跟随图像数据同步变化，且在接收到结束指令时，关联保存显示数据和批注轨迹的方式，实现了为投屏数据添加批注，且对批注轨迹进行整形处理，美化了用户观看的界面，提高了用户观看的舒适度，同时利用图像识别技术保证了批注轨迹跟随对应的图像数据同步变化，且可以记录批注轨迹，准确的还原了批注场景。

考虑到实际应用中，某帧被批注的投屏数据可能会重新出现在显示界面中，此时，对应的批注轨迹需要同步显示。为了满足上述场景，本实施例还包括：

步骤2220、保存图像数据与批注轨迹的第一对应关系。

本实施例中，保存方式不作限定，如为图像数据添加标签，并对批注轨迹同步添加相同标签。本实施例中，保存第一对应关系的好处是，建立批注轨迹与投屏数据的关联性。当图像数据在显示界面中重新出现时，根据第一对应关系可以保证对应的批注轨迹重新出现。

步骤2230、当图像数据再次出现在显示界面时，根据第一对应关系同步显示批注轨迹。

在一实施例中，根据第一对应关系实时确定新出现的投屏数据中是否包含与批注轨迹对应的图像数据中，如果包含，则确定图像数据以及对应的批注轨迹。

在一实施例中，如果图像数据因为某些原因，仅有部分显示在显示界面中，例如，关联客户端切换显示内容的过程中，某一帧投屏数据仅显示了部分图像数据。此时，设定占比值，如果显示的部分图像数据的像素点数量与图像数据的像素点数量的比值大于或者等于占比值，则控制批注轨迹跟随变化，如果显示的部分图像数据的像素点数量与图像数据的像素点数量的比值小于占比值，则确定图像数据消失在显示界面中，此时，控制批注轨迹同步消失。

实施例七

图35为另一实施例提供的一种批注显示方法的流程图。本实施例提供的批注显示方法是在上述实施例的基础上进行说明。参考图35，本实施例提供的批注显示方法包括如下步骤：

步骤3110、基于触摸操作确定批注位置以及对应的批注轨迹。

步骤3120、根据批注位置，在显示屏的第一显示层中显示批注轨迹，第一显示层覆盖在显示界面所在的第二显示层上。

步骤3130、对批注轨迹进行整形处理，并得到整形轨迹。

步骤3140、将显示屏中显示的批注轨迹更换为整形轨迹。

步骤3150、检测投屏数据的页码是否发生变化。如果检测到所述投屏数据的页码发生变化，则执行步骤3160，如果未检测到所述投屏数据的页码发生变化，则返回执行步骤3150。

在一实施例中，当投屏数据为PTT时，关联客户端会通知交互智能平板PPT的总页数以及当前播放PPT的页数。当投屏数据为截屏数据时，交互智能平板或关联客户端自行为投屏数据创建页码，例如，每帧截屏数据对应一个页码，或者多个像素点的像素值完全相同且时间连续的截屏数据对应一个页码。此时，交互智能平板和关联客户端均能明确截屏数据对应的页码。

在一实施例中，在显示界面中显示投屏数据时，记录当前投屏数据的页码，并在页码变化时，确定投屏数据在显示界面中发生变化。如果页码未发生变化，则重复执行本步骤。一般而言，本步骤在一次完整的投屏过程中重复执行，即投屏过程中实时检测投屏数据是否在显示界面中发生变化。

步骤3160、确定投屏数据在显示界面中发生变化。

步骤3170、获取关联客户端针对投屏数据生成的变化控制指令。

在一实施例中，变化控制指令为用户对关联显示屏进行控制时，关联客户端生成的指令。根据变化控制指令可以确定针对的显示窗口以及控制操作，比如，向上滑动A显示窗口的显示数据、向下滑动B显示窗口的显示数据、移动A显示窗口或者全屏显示B显示窗口等。本实施例中，用户对关联显示屏的控制方式本实施例不作限定。在一实施例中，交互智能平板可以实时获取到变化控制指令。

步骤3180、根据变化控制指令及屏幕映射关系确定批注轨迹在显示屏中的位置更改路径。

在一实施例中，屏幕映射关系根据关联客户端的关联显示屏以及显示屏的分辨率确定。例如，关联显示屏的分辨率为320×240，显示屏的分辨率为640×480，此时，屏幕映射关系为将关联显示屏中一个像素点的像素值在显示屏中对应位置的四个像素点中显示。

在一实施例中，根据变化控制指令可以确定关联显示屏中对应数据的变化规则，如向上滑动5行像素点、显示窗口左移10个像素点等。在一实施例中，根据屏幕映射关系确定批注轨迹在显示屏中执行与变化规则相同的操作时对应的更改路径。例如，关联显示屏的分辨率为320×240，显示屏的分辨率为640×480，根据变化控制指令确定显示窗口左移10个像素点，此时，根据屏幕映射关系确定批注轨迹需要左移20个像素点，即批注轨迹的更改路径为左移20个像素点。

在一实施例中，该步骤3180包括如下步骤：

步骤30810、根据变化控制指令确定投屏数据中的目标窗口以及针对目标窗口的变化控制操作。

在一实施例中，变化控制指令包含控制位置以及控制幅度，交互智能平板可以根据控制位置在投屏数据中确定对应的目标窗口。同时，根据控制幅度确定针对目标窗口的变化控制操作。举例而言，变化控制指令包含鼠标的光标位置以及鼠标滚轮的滚动次数和滚动方向，交互智能平板在投屏数据中确定光标位置所在的显示窗口记为目标窗口，滚轮次数和滚动方向为控制幅度。

步骤30820、根据屏幕映射关系确定批注轨迹的批注位置在关联显示屏中的映射位置。

步骤30830、确定目标窗口是否包含映射位置。如果目标窗口包含映射位置，则执行步骤30840，如果目标窗口不包含映射位置，则保持批注位置不变，并返回执行步骤3110。

在一实施例中，在投屏数据中确定目标窗口的位置区域，并确定映射位置是否在该位置区域内，如果在该位置区域内，则说明目标窗口在执行变化控制操作时，映射位置可能会变化。如果不在该位置区域内，则说明目标窗口在执行变化控制操作时，映射位置不会发生变 化。

步骤30840、在目标窗口执行变化控制操作时确定映射位置的变化路径，并依据屏幕映射关系和变化路径确定批注轨迹在显示界面中的位置更改路径。

在一实施例中，根据变化控制操作模拟控制目标窗口，进而确定映射位置的变化路径。例如，交互智能平板计算目标窗口的高度、宽度以及位置，并根据滚轮次数和滚动方向控制目标窗口，根据投屏数据采样频率得到目标窗口中映射位置的变化路径，而后根据屏幕映射关系将该变化路径映射到显示界面中，以得到位置更改路径。

步骤3190、基于变化控制指令生成的投屏数据更新显示界面，并根据位置更改路径同步更新批注轨迹。

确定，在显示界面中显示一帧一帧的投屏数据时，可以体现出变化控制指令对关联显示屏的控制过程。同时，根据位置更改路径同步更新批注轨迹的批注位置可以保证批注轨迹跟随投屏数据在显示界面中的变化而同步变化。一般而言，位置更改路径的采样频率与投屏数据的采样频率相同。

步骤3200、确认是否接收到结束指令。如果接收到结束指令，则执行步骤3210，如果未接收到结束指令，则返回执行步骤3110。

步骤3210、将显示界面中的显示数据与批注轨迹关联保存。

本实施例提供的技术方案，通过在第二显示层的显示界面中显示投屏数据，在覆盖于第二显示层的第一显示层中显示基于触摸操作生成的批注轨迹，对批注轨迹进行整形处理，在投屏数据的页码发生变化时，确定投屏数据在显示界面中变化，此时，根据关联客户端发送的变化控制指令以及屏幕映射关系确定批注位置的更改路径，并在更新显示界面的投屏数据时同步根据更改路径更新批注位置，且在接收到结束指令时，关联保存显示数据和批注轨迹的方式，实时实现了为投屏数据添加批注，且对批注轨迹进行整形处理，提高了用户观看的舒适度，同时利用坐标映射技术保证了批注轨迹跟随对应的投屏数据同步变化，且可以记录批注轨迹，准确的还原了批注场景。

考虑到实际应用中，某帧被批注的投屏数据可能会重新出现在显示界面中，此时，对应的批注轨迹需要同步显示。为了满足上述场景，本实施例还包括如下步骤：

步骤3220、确定投屏数据的页码，并保存页码及批注轨迹的第二对应关系。

在一实施例中，第二对应关系的保存方式可以参照第一对应关系的保存方式。再次不做赘述。

步骤3230、当显示界面再次显示页码对应的投屏数据时，根据第二对应关系同步显示批注轨迹。

在一实施例中，当投屏数据的页码发生变化时，根据第二对应关系确定当前页码对应的批注轨迹以及批注位置，并在显示屏中显示当前页码对应的投屏数据以及相应的批注轨迹。在一实施例中中，保存批注轨迹时保存批注轨迹。

在一实施例中，投屏数据和批注轨迹同步变化时，对应的页码以及批注位置均发生变化，此时，同步更新第二对应关系。当再次显示某一页码的投屏数据时，仅需根据第二对应关系同步显示批注轨迹，无需进行其他计算。

下面对本实施例提供的技术方案进行示例性描述：

本示例中采用的交互系统参考图6，交互智能平板1和笔记本电脑2中分别安装投屏服务应用程序。本实施例中，笔记本电脑2中投屏服务应用程序按照采样频率截取关联显示屏的显示画面生成投屏数据，并将投屏数据和该投屏数据对应的变化控制指令同步发送至交互智能平板1的投屏服务应用程序中。下述中描述的笔记本电脑的相关操作和交互智能平板的 相关操作均为对应投屏服务应用程序执行的操作。

图36为另一实施例提供的关联客户端的关联显示屏显示画面示意图。笔记本电脑2截取该显示画面并生成一帧投屏数据发送至交互智平板1中。交互智能平板1根据屏幕映射关系对投屏数据进行处理，并向显示屏发送处理后的数据以在第二显示层中显示。参考图36，显示界面显示当前投屏数据，其中，确定笔记本电脑2的显示画面包括第一窗口31和第二窗口32。此时，用户在交互智能平板1侧进行批注。图37为另一实施例提供的交互智能平板的显示屏显示界面示意图，参考图37，第一显示层中显示批注轨迹33。为了便于数据记录，为批注轨迹33建立身份标识，记为1ID，同时，记录当前投屏数据页码为2ID。在一实施例中，交互智能平板1中记录批注轨迹33、批注位置、1ID以及2ID，并建立第二对应关系。同时，交互智能平板1根据批注位置以及屏幕映射关系确定批注轨迹33属于第二窗口32。

当用户针对在笔记本电脑2中针对图36中的显示画面发出第一控制操作，交互智能平板1获取笔记本电脑2发送的变化控制指令，并对变化控制指令进行过滤识别后，确定目标窗口为第二窗口32，针对第二窗口32的变化控制操作为移动第二窗口32中某个图形。之后，交互智能平板1确定批注轨迹33在第二窗口32中，并根据屏幕映射规则确定批注轨迹33的批注位置在显示界面中的位置更改路径。此时，关联显示屏根据变化控制指令更改显示内容，其中，笔记本电脑2执行变化控制指令时截取某一采样时刻的关联显示屏的显示画面生成投屏数据。交互智能平板1根据相应的投屏数据同步更新显示界面。图38为另一实施例提供的交互智能平板的显示屏第九显示界面示意图。参考图38，在显示界面更新时，批注轨迹33根据位置更改路径同步更新批注位置。此时，确定当前投屏数据的页码、批注位置，并更新第二对应关系，以当交互智能平板再次显示图38的显示界面时，仅需调取第二对应关系，便可以实现批注轨迹的跟随显示。

当用户针对在笔记本电脑2中针对图36中的显示画面发出第二控制操作，交互智能平板1获取笔记本电脑2发送的变化控制指令，并对变化控制指令进行过滤识别后，确定目标窗口为第二窗口32，针对第二窗口32的变化控制操作为放大第二窗口32中某个图形。之后，交互智能平板1确定批注轨迹33在第二窗口32中的批注位置，并根据屏幕映射规则确定批注轨迹22的批注位置在显示界面中的位置更改路径。此时，关联显示屏根据变化控制指令更改显示内容，其中，笔记本电脑2执行变化控制指令时截取某一采样时刻的关联显示屏的显示画面生成投屏数据。交互智能平板1根据相应的投屏数据同步更新显示界面。图39为另一交互智能平板的显示屏第十显示界面示意图。参考图39，在显示界面更新时，批注轨迹22根据更改路径同步更新批注位置。此时，批注轨迹同步放大。

实施例八

图40为一实施例提供的一种批注显示装置的结构示意图。参见图40，本实施例提供的批注显示装置包括：投屏数据显示单元510、批注轨迹显示单元520和变化控制单元530。其中，投屏数据显示单元510，设置为显示投屏数据；批注轨迹显示单元520，设置为显示批注轨迹，其中，所述批注轨迹基于批注信号或触摸操作生成；变化控制单元530，设置为控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化。

本实施例提供的批注显示装置实现了投屏场景下，在显示投屏数据的设备端针对投屏数据进行批注，同时保证了批注跟随投屏数据同步变化，提升了用户的使用体验。

在一实施例中，投屏数据显示单元510包括：第一接收模块，设置为接收投屏指令；第一显示模块，设置为显示第一投屏内容；批注轨迹显示单元520包括：第二接收模块，设置为接收第一批注信号，其中，所述第一批注信号用于对所述第一投屏内容进行批注；第二显示模块，设置为显示第一批注轨迹，其中，所述第一批注轨迹是根据所述第一批注信号生成 的；所述装置还包括：第三接收模块，设置为接收向前翻页指令，其中，所述向前翻页指令用于控制所述第一投屏内容向前翻页；第三显示模块，设置为显示翻页后的第二投屏内容；变化控制单元530包括：第四接收模块，设置为接收向后翻页指令，其中，所述向后翻页指令用于控制所述第二投屏内容向后翻页；第四显示模块，设置为在显示界面显示所述第一投屏内容及所述第一批注轨迹。

图41为另一实施例提供的一种批注显示装置的结构示意图。本实施例提供的批注显示装置可以集成在批注显示设备中，该批注显示设备可以是两个或多个物理实体构成，也可以是一个物理实体构成，该批注显示设备可以是电脑、手机、平板、投影仪或交互智能平板等。参考图41，本实施例提供的批注显示装置包括：第一接收模块501、第一显示模块502、第二接收模块503、第二显示模块504、第三接收模块505、第三显示模块506、第四接收模块507以及第四显示模块508。

在一实施例中，第一接收模块501，设置为接收投屏指令；第一显示模块502，设置为显示第一投屏内容；第二接收模块503，设置为接收第一批注信号，该第一批注信号用于对第一投屏内容进行批注；第二显示模块504，设置为显示第一批注轨迹，该第一批注轨迹是根据第一批注信号生成的；第三接收模块505，设置为接收向前翻页指令，该向前翻页指令用于控制第一投屏内容向前翻页；第三显示模块506，设置为显示翻页后的第二投屏内容；第四接收模块507，设置为接收向后翻页指令，该向后翻页指令用于控制第二投屏内容向后翻页；第四显示模块508，设置为显示第一投屏内容及第一批注轨迹。

本实施例提供的技术方案，通过接收投屏指令，显示第一投屏内容，并在接收到第一批注信号时，显示第一批注轨迹，之后，在接收到向前翻页指令后，执行翻页操作并显示第二投屏内容，并在接收到向后翻页指令后，再次显示第一投屏内容和第一批注信号的技术手段，实现了投屏场景下对第一投屏内容进行批注，且当第一投屏内容出现或者消失在交互智能平板的显示屏时，第一批注轨迹同步出现或者消失，即保证了第一投屏内容和第一批注轨迹的同步变化。

在上述实施例的基础上，批注显示装置还包括：第五接收模块，设置为在接收第一批注信号之前，接收批注触发指令，所述批注触发指令用于启动批注功能。

在上述实施例的基础上，批注显示装置还包括：第六接收模块，设置为在显示翻页后的第二投屏内容之后，接收第二批注信号，该第二批注信号用于对第二投屏内容进行批注；第五显示模块，设置为显示第二批注轨迹，该第二批注轨迹是根据第二批注信号生成的。

在上述实施例的基础上，批注显示装置还包括：第七接收模块，设置为在显示第一投屏内容及第一批注轨迹之后，接收向前翻页指令，该向前翻页指令用于控制第一投屏内容向前翻页；第六显示模块，设置为显示第二投屏内容及第二批注轨迹。

在上述实施例的基础上，第一投屏内容显示在第一显示层中，第一批注轨迹显示在第二显示层中。

在上述实施例的基础上，第二显示层覆盖在第一显示层上。

在上述实施例的基础上，批注显示装置还包括：整形模块，设置为在显示第一批注轨迹之后，对第一批注轨迹进行整形处理，得到整形轨；轨迹更换模块，设置为将第一批注轨迹更换为整形轨迹。

在上述实施例的基础上，批注显示装置还包括：像素点确定模块，设置为显示第一批注轨迹之后，确定显示第一批注轨迹的像素点位置；图像确定模块，设置为在第一投屏内容中识别像素点位置对应显示的图像数据。第四显示模块508包括：图像追踪单元，设置为显示第一投屏内容，并在显示过程中追踪图像数据；轨迹显示单元，设置为根据追踪结果同步显 示第一批注轨迹，以使第一批注轨迹和图像数据的相对位置固定。

在上述实施例的基础上，批注显示装置还包括：第一关系保存模块，设置为在第一投屏内容中识别像素点位置对应显示的图像数据之后，保存图像数据和第一批注轨迹的第一对应关系。批注显示装置还包括：图像识别模块，设置为显示所述第一投屏内容，并在显示过程中追踪所述图像数据之前，识别第一投屏内容中的图像数据；轨迹确定模块，设置为根据第一对应关系确定与图像数据对应的第一批注轨迹。

在上述实施例的基础上，批注显示装置还包括：指令获取模块，设置为显示第一投屏内容及第一批注轨迹之后，获取针对第一投屏内容生成的变化控制指令；规则确定模块，设置为根据变化控制指令确定显示第一批注轨迹时的轨迹变化规则；轨迹更新模块，设置为更新第一投屏内容，并根据轨迹变化规则同步更新第一批注轨迹。

在上述实施例的基础上，规则确定模块包括：窗口确定单元，设置为在第一投屏内容中确定变化控制指令针对的目标窗口以及针对目标窗口的变化控制操作；位置确定单元，设置为确定第一批注轨迹的批注位置；规则确认单元，用于如果目标窗口包含批注位置，则确定在目标窗口执行变化控制操作时第一批注轨迹的轨迹变化规则。

在上述实施例的基础上，批注显示装置还包括：第二关系保存模块，设置为显示第一批注轨迹之后，保存第一投屏内容的页码与第一批注轨迹的第二对应关系。第四显示模块508包括：页码确定单元，设置为确定第一投屏内容的页码；轨迹对应单元，设置为根据第二对应关系确定页码对应的第一批注轨迹；同步显示单元，设置为在显示第一投屏内容时，同步显示第一批注轨迹。

在上述实施例的基础上，还包括：关联包括模块，设置为如果接收到结束指令，则将第一投屏内容与第一批注轨迹关联保存。

在一实施例中，投屏数据显示单元510包括：投屏数据显示模块，设置为在显示屏的显示界面上显示关联客户端发送的投屏数据；批注轨迹显示单元520包括：轨迹显示模块，设置为在所述显示界面上显示基于触摸操作生成的批注轨迹；变化控制单元530包括：同步变化模块，设置为控制所述批注轨迹跟随对应的投屏数据在所述显示界面的变化而同步变化。

图42为另一实施例提供的一种批注显示装置的结构示意图。参考图42，该批注显示装置包括：投屏数据显示模块400、轨迹显示模块401和同步变化模块402。

其中，投屏数据显示模块400，设置为在显示屏的显示界面上显示关联客户端发送的投屏数据；轨迹显示模块401，设置为在显示屏的显示界面上显示基于触摸操作生成的批注轨迹；同步变化模块402，设置为控制批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化。

本实施例提供的技术方案，通过在显示屏的显示界面中显示关联客户端发送的投屏数据，并将基于用户触摸操作生成的批注轨迹显示在显示界面上，当投屏数据在显示界面中变化时，控制批注轨迹同步变化的技术手段，实现了投屏场景下，在显示投屏数据的设备端针对投屏数据进行批注，同时保证批注跟随投屏数据同步变化，使得设备端批注实现过程更加贴近于关联客户端批注实现过程，提升了用户的使用体验。

在上述实施例的基础上，轨迹显示模块401包括：轨迹确定单元，设置为基于触摸操作确定批注位置以及对应的批注轨迹；分层显示单元，设置为根据批注位置，在显示屏的第一显示层中显示批注轨迹，第一显示层覆盖在显示界面所在的第二显示层上。

在上述实施例的基础上，还包括：整形模块，设置为在显示屏当前的显示界面上显示基于触摸操作生成的批注轨迹之后，对批注轨迹进行整形处理，并得到整形轨迹；轨迹更快模块，用于将显示屏中显示的批注轨迹更换为整形轨迹。

在上述实施例的基础上，还包括：像素位置确定模块，设置为在控制批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化之前，在显示屏中根据批注轨迹的批注位置确定对应的像素位置；图像数据确定模块，设置为在显示界面中显示投屏数据的情况下，识别像素位置对应的图像数据。同步变化模块402是设置为在投屏数据所述显示界面中变化的情况下，追踪图像数据，并根据追踪结果控制批注轨迹同步变化，以使批注轨迹与图像数据的相对位置关系固定。

在上述实施例的基础上，还包括：第一关系保存模块，设置为保存图像数据与批注轨迹的第一对应关系；第一同步显示模块，设置为当图像数据再次出现在显示界面时，根据第一对应关系同步显示批注轨迹。

在上述实施例的基础上，同步变化模块402包括：指令获取单元，设置为获取关联客户端针对投屏数据生成的变化控制指令；路径确定单元，设置为根据变化控制指令及屏幕映射关系确定批注轨迹在显示屏中的位置更改路径，屏幕映射关系根据关联客户端的关联显示屏以及显示屏的分辨率确定；同步更新单元，设置为基于变化控制指令生成的投屏数据更新显示界面，并根据位置更改路径同步更新批注轨迹。

在上述实施例的基础上，路径确定单元包括：目标确定子单元，设置为根据变化控制指令确定投屏数据中的目标窗口以及针对目标窗口的变化控制操作；映射子单元，设置为根据屏幕映射关系确定批注轨迹的批注位置在关联显示屏中的映射位置；更改路径确定子单元，设置为如果目标窗口包含映射位置，则在目标窗口执行变化控制操作时确定映射位置的变化路径，并依据屏幕映射关系和变化路径确定批注轨迹在显示界面中的位置更改路径。

在上述实施例的基础上，还包括：第二关系保存模块，设置为确定投屏数据的页码，并保存页码及批注轨迹的第二对应关系；第二同步显示模块，设置为当显示界面再次显示页码对应的投屏数据时，根据第二对应关系同步显示批注轨迹。

在上述实施例的基础上，还包括：第一变化检测模块，设置为控制批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化之前，如果检测到显示界面中至少一个像素点对应的像素值发生变化，则确定投屏数据在显示界面中发生变化。

在上述实施例的基础上，还包括：第二变化检测模块，设置为控制批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化之前，如果检测到投屏数据的页码发生变化，则确定投屏数据在显示界面中发生变化。

在上述实施例的基础上，还包括：保存模块，设置为如果接收到结束指令，则将显示界面中的显示数据与批注轨迹关联保存。

上述提供的批注显示装置可用于执行上述任意实施例提供的批注显示方法，具备相应的功能和有益效果。

实施例九

图43为一实施例提供的一种批注显示设备的结构示意图。如图43所示，该批注显示设备包括：处理器60、存储器61、具有触摸功能的显示屏62、输入装置63、输出装置64以及通信装置65。该批注显示设备中处理器60的数量可以是一个或者多个，图43中以一个处理器60为例。该批注显示设备中存储器61的数量可以是一个或者多个，图43中以一个存储器61为例。该批注显示设备的处理器60、存储器61、显示屏62、输入装置63、输出装置64以及通信装置65可以通过总线或者其他方式连接，图43中以通过总线连接为例。实施例中，批注显示设备可以是电脑，手机，平板，投影仪或交互智能平板等。实施例中，以批注显示设备为交互智能平板为例，进行描述。

存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及 模块，如本公开任意实施例所述的批注显示方法对应的程序指令/模块(例如，批注显示装置中的第一接收模块501、第一显示模块502、第二接收模块503、第二显示模块504、第三接收模块505、第三显示模块506、第四接收模块507以及第四显示模块508)。存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

显示屏62为具有触摸功能的显示屏62，显示屏62可以是电容屏、电磁屏或者红外屏。在一实施例中，显示屏62设置为根据处理器60的指示显示数据，还设置为接收作用于显示屏62的触摸操作，并将相应的信号发送至处理器60或其他装置。在一实施例中，当显示屏62为红外屏时，显示屏62还包括红外触摸框，该红外触摸框设置在显示屏62的四周，显示屏62还可以设置为接收红外信号，并将该红外信号发送至处理器60或者其他设备。

通信装置65，设置为与其他设备建立通信连接，通信装置65可以是有线通信装置和/或无线通信装置。

输入装置63可设置为接收输入的数字或者字符信息，以及产生与批注显示设备的用户设置以及功能控制有关的键信号输入，还可以是设置为获取图像的摄像头以及获取音频数据的拾音设备。输出装置64可以包括扬声器等音频设备。在一实施例中，输入装置63和输出装置64的具体组成可以根据实际情况设定。

处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行设备的至少一种功能应用以及数据处理，即实现上述的批注显示方法。

在一实施例中，处理器60执行存储器61中存储的至少一个程序时，实现如下操作：显示投屏数据；显示批注轨迹，其中，所述批注轨迹基于批注信号或触摸操作生成；控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化。

在一实施例中，处理器60执行存储器61中存储的至少一个程序时，实现如下操作：接收投屏指令；指示显示屏62显示第一投屏内容；指示显示屏62接收第一批注信号，该第一批注信号用于对第一投屏内容进行批注；接收向前翻页指令，向前翻页指令用于控制第一投屏内容向前翻页；指示显示屏62显示翻页后的第二投屏内容；接收向后翻页指令，向后翻页指令用于控制第二投屏内容向后翻页；指示显示屏62显示第一投屏内容及第一批注轨迹。

在上述实施例的基础上，至少一个处理器60在实现指示显示屏62接收第一批注信号之前，还实现如下操作：接收批注触发指令，该批注触发指令用于启动批注功能。

在上述实施例的基础上，至少一个处理器60在实现指示显示屏62显示翻页后的第二投屏内容之后，还实现如下操作：指示显示屏62接收第二批注信号，该第二批注信号用于对第二投屏内容进行批注；指示显示屏62接收显示第二批注轨迹，该第二批注轨迹是根据第二批注信号生成的。

在上述实施例的基础上，至少一个处理器60在实现指示显示屏62显示第一投屏内容及第一批注轨迹之后，还实现如下操作：接收向前翻页指令，该向前翻页指令用于控制第一投屏内容向前翻页；指示显示屏62显示第二投屏内容及第二批注轨迹。

在上述实施例的基础上，显示屏62在显示数据时，存在至少两个显示层，其中，第一投屏内容显示在第一显示层中，第一批注轨迹显示在第二显示层中。

在一实施例中，第二显示层覆盖在第一显示层上。

在上述实施例的基础上，至少一个处理器60在实现指示显示屏62显示第一批注轨迹之后，还实现如下操作：对第一批注轨迹进行整形处理，得到整形轨迹；指示显示屏62将第一批注轨迹更换为整形轨迹。

在上述实施例的基础上，至少一个处理器60在实现指示显示屏62显示第一批注轨迹之后，还实现如下操作：确定显示第一批注轨迹的像素点位置；在第一投屏内容中识别像素点位置对应显示的图像数据。在一实施例中，处理器60是通过如下方式实现指示显示屏62显示第一投屏内容及第一批注轨迹：指示显示屏62显示第一投屏内容，并在显示过程中追踪图像数据；根据追踪结果同步指示显示屏62显示第一批注轨迹，以使第一批注轨迹和图像数据的相对位置固定。

在上述实施例的基础上，至少一个处理器60实现在第一投屏内容中识别像素点位置对应显示的图像数据之后，还实现如下操作：保存图像数据和第一批注轨迹的第一对应关系。在一实施例中，处理器60在指示显示屏62显示第一投屏内容，并在显示过程中追踪图像数据之前，还实现如下操作：识别第一投屏内容中的图像数据；根据第一对应关系确定与图像数据对应的第一批注轨迹。

在上述实施例的基础上，至少一个处理器60在实现指示显示屏62显示第一投屏内容及第一批注轨迹之后，还实现如下操作：获取针对第一投屏内容生成的变化控制指令；根据变化控制指令确定显示第一批注轨迹时的轨迹变化规则；指示显示屏62更新第一投屏内容，并根据轨迹变化规则同步指示显示屏62更新第一批注轨迹。

在上述实施例的基础上，处理器60在实现根据变化控制指令确定显示第一批注轨迹时的轨迹变化规则时，包括：在第一投屏内容中确定变化控制指令针对的目标窗口以及针对目标窗口的变化控制操作；确定第一批注轨迹的批注位置；如果目标窗口包含所述批注位置，则确定在目标窗口执行变化控制操作时第一批注轨迹的轨迹变化规则。

在上述实施例的基础上，至少一个处理器60在实现指示显示屏62显示第一批注轨迹之后，还实现如下操作：保存第一投屏内容的页码与第一批注轨迹的第二对应关系。在一实施例中，处理器60是通过如下方式实现指示显示屏62显示第一投屏内容及第一批注轨迹：确定第一投屏内容的页码；根据第二对应关系确定页码对应的第一批注轨迹；在指示显示屏62显示第一投屏内容时，同步显示第一批注轨迹。

在上述实施例的基础上，至少一个处理器60还实现：如果接收到结束指令，则将第一投屏内容与第一批注轨迹关联保存。

在一实施例中，处理器60执行存储器61中存储的至少一个程序时，实现如下操作：在显示屏当前的显示界面上显示基于触摸操作生成的批注轨迹，所述显示界面用于显示关联客户端发送的投屏数据；控制所述批注轨迹跟随对应的投屏数据在所述显示界面的变化而同步变化。

上述提供的批注显示设备可设置为执行上述任意实施例提供的批注显示方法，具备相应的功能和有益效果。

实施例十

本实施例提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种批注显示方法，包括：显示投屏数据；显示批注轨迹，其中，所述批注轨迹基于批注信号或触摸操作生成；控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化。

在一实施例中，所述计算机可执行指令在由计算机处理器执行时用于执行一种批注显示方法，包括：接收投屏指令；显示第一投屏内容；接收第一批注信号，其中，所述第一批注 信号用于对所述第一投屏内容进行批注；显示第一批注轨迹，其中，所述第一批注轨迹是根据所述第一批注信号生成的；接收向前翻页指令，所述向前翻页指令用于控制所述第一投屏内容向前翻页；显示翻页后的第二投屏内容；接收向后翻页指令，其中，所述向后翻页指令用于控制所述第二投屏内容向后翻页；显示所述第一投屏内容及所述第一批注轨迹。在一实施例中，所述计算机可执行指令在由计算机处理器执行时用于执行一种批注显示方法，包括：在显示屏当前的显示界面上显示基于触摸操作生成的批注轨迹，所述显示界面用于显示关联客户端发送的投屏数据；控制所述批注轨迹跟随对应的投屏数据在所述显示界面的变化而同步变化。

本实施例所提供的一种包含计算机可执行指令的存储介质，计算机可执行指令不限于如上所述的批注显示方法操作，还可以执行本公开任意实施例所提供的批注显示方法中的相关操作，且具备相应的功能和有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以了解到，本公开可借助软件及必需的通用硬件来实现，也可以通过硬件实现。基于这样的理解，本公开的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括多个指令用以使得一台计算机设备(可以是机器人、个人计算机、服务器或者网络设备等)执行本公开任意实施例所述的批注显示方法。

上述批注显示装置中，所包括的多个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，多个功能单元的名称也只是为了便于相互区分，并不用于限制本公开的保护范围。

应当理解，本公开的多个部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的以下至少一项来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(Programmable Gate Array，PGA)，现场可编程门阵列(Field-Programmable Gate Array，FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。

Claims (33)

1. 一种批注显示方法，包括：

   显示投屏数据；

   显示批注轨迹，其中，所述批注轨迹基于批注信号或触摸操作生成；

   控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化。
2. 根据权利要求1所述的批注显示方法，其中，所述显示投屏数据包括：

   接收投屏指令；

   显示第一投屏内容；

   所述显示批注轨迹包括：

   接收第一批注信号，其中，所述第一批注信号用于对所述第一投屏内容进行批注；

   显示第一批注轨迹，其中，所述第一批注轨迹是根据所述第一批注信号生成的；

   在所述显示第一批注轨迹之后，还包括：

   接收向前翻页指令，其中，所述向前翻页指令用于控制所述第一投屏内容向前翻页；

   显示翻页后的第二投屏内容；

   所述控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化，包括：

   接收向后翻页指令，其中，所述向后翻页指令用于控制所述第二投屏内容向后翻页；

   在显示界面显示所述第一投屏内容及所述第一批注轨迹。
3. 根据权利要求2所述的批注显示方法，在所述接收第一批注信号之前，还包括：

   接收批注触发指令，其中，所述批注触发指令用于启动批注功能。
4. 根据权利要求2或3所述的批注显示方法，在所述显示翻页后的第二投屏内容之后，还包括：

   接收第二批注信号，其中，所述第二批注信号用于对所述第二投屏内容进行批注；

   显示第二批注轨迹，其中，所述第二批注轨迹是根据所述第二批注信号生成的。
5. 根据权利要求4所述的批注显示方法，在所述显示所述第一投屏内容及所述第一批注轨迹之后，还包括：

   接收向前翻页指令，其中，所述向前翻页指令用于控制所述第一投屏内容向前翻页；

   显示所述第二投屏内容及所述第二批注轨迹。
6. 根据权利要求2-5任一项所述的批注显示方法，其中，所述第一投屏内容显示在第一显示层中，所述第一批注轨迹显示在第二显示层中。
7. 根据权利要求6所述的批注显示方法，其中，所述第二显示层覆盖在所述第一显示层上。
8. 根据权利要求2-7任一项所述的批注显示方法，在所述显示第一批注轨迹之后，还包括：

   对所述第一批注轨迹进行整形处理，得到整形轨迹；

   将所述第一批注轨迹更换为所述整形轨迹。
9. 根据权利要求2-8任一项所述的批注显示方法，在所述显示第一批注轨迹之后，还包括：

   确定显示所述第一批注轨迹的像素点位置；

   在所述第一投屏内容中识别所述像素点位置对应显示的图像数据；

   所述显示所述第一投屏内容及所述第一批注轨迹包括：

   显示所述第一投屏内容，并在显示过程中追踪所述图像数据；

   根据追踪结果同步显示所述第一批注轨迹，以使所述第一批注轨迹和所述图像数据的相对位置固定。
10. 根据权利要求9所述的批注显示方法，在所述在所述第一投屏内容中识别所述像素点位置对应显示的图像数据之后，还包括：

    保存所述图像数据和所述第一批注轨迹的第一对应关系；

    所述显示所述第一投屏内容，并在显示过程中追踪所述图像数据之前，还包括：

    识别所述第一投屏内容中的图像数据；

    根据所述第一对应关系确定与所述图像数据对应的第一批注轨迹。
11. 根据权利要求2-10任一项所述的批注显示方法，在所述显示所述第一投屏内容及所述第一批注轨迹之后，还包括：

    获取针对所述第一投屏内容生成的变化控制指令；

    根据所述变化控制指令确定显示所述第一批注轨迹时的轨迹变化规则；

    更新所述第一投屏内容，并根据所述轨迹变化规则同步更新所述第一批注轨迹。
12. 根据权利要求11所述的批注显示方法，其中，所述根据所述变化控制指令确定显示所述第一批注轨迹时的轨迹变化规则包括：

    在所述第一投屏内容中确定所述变化控制指令针对的目标窗口以及针对所述目标窗口的变化控制操作；

    确定所述第一批注轨迹的批注位置；

    如果所述目标窗口包含所述批注位置，则确定在所述目标窗口执行所述变化控制操作时所述第一批注轨迹的轨迹变化规则。
13. 根据权利要求2-8任一项所述的批注显示方法，在所述显示第一批注轨迹之后，还包括：

    保存所述第一投屏内容的页码与所述第一批注轨迹的第二对应关系；

    所述显示所述第一投屏内容及所述第一批注轨迹包括：

    确定所述第一投屏内容的页码；

    根据所述第二对应关系确定所述第一投屏内容的页码对应的第一批注轨迹；

    在显示所述第一投屏内容时，同步显示所述第一批注轨迹。
14. 根据权利要求2-13任一项所述的批注显示方法，还包括：

    如果接收到结束指令，则将所述第一投屏内容与所述第一批注轨迹关联保存。
15. 根据权利要求1所述的批注显示方法，其中，所述显示投屏数据包括：

    在显示屏的显示界面上显示关联客户端发送的投屏数据；

    所述显示批注轨迹包括：

    在所述显示界面上显示基于触摸操作生成的批注轨迹；所述控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化包括：

    控制所述批注轨迹跟随对应的投屏数据在所述显示界面的变化而同步变化。
16. 根据权利要求1所述的批注显示方法，其中，所述在所述显示界面上显示基于触摸操作生成的批注轨迹包括：

    基于触摸操作确定批注位置以及对应的批注轨迹；

    根据所述批注位置，在所述显示屏的第一显示层中显示所述批注轨迹，其中，所述第一显示层覆盖在所述显示界面所在的第二显示层上。
17. 根据权利要求15或16所述的批注显示方法，在所述在所述显示界面上显示基于触摸操作生成的批注轨迹之后，还包括：

    对所述批注轨迹进行整形处理，并得到整形轨迹；

    将所述显示屏中显示的所述批注轨迹更换为所述整形轨迹。
18. 根据权利要求15、16或17所述的批注显示方法，在所述控制所述批注轨迹跟随对应的投屏数据在所述显示界面的变化而同步变化之前，还包括：

    在所述显示屏中根据所述批注轨迹的批注位置确定对应的像素位置；

    在所述显示界面显示所述投屏数据的情况下，识别所述像素位置对应的图像数据；

    所述控制所述批注轨迹跟随对应的投屏数据在所述显示界面的变化而同步变化包括：

    在所述投屏数据在所述显示界面中变化的情况下，追踪所述图像数据，并根据追踪结果控制所述批注轨迹同步变化，以使所述批注轨迹与所述图像数据的相对位置关系固定。
19. 根据权利要求18所述的批注显示方法，还包括：

    保存所述图像数据与所述批注轨迹的第一对应关系；

    当所述图像数据再次出现在所述显示界面时，根据所述第一对应关系同步显示所述批注轨迹。
20. 根据权利要求15、16或17所述的批注显示方法，其中，所述控制所述批注轨迹跟随对应的投屏数据在所述显示界面的变化而同步变化包括：

    获取所述关联客户端针对所述投屏数据生成的变化控制指令；

    根据所述变化控制指令及屏幕映射关系确定所述批注轨迹在所述显示屏中的位置更改路径，其中，所述屏幕映射关系根据所述关联客户端的关联显示屏以及所述显示屏的分辨率确定；

    基于所述变化控制指令生成的投屏数据更新所述显示界面，并根据所述位置更改路径同步更新所述批注轨迹。
21. 根据权利要求20所述的批注显示方法，其中，所述根据所述变化控制指令及屏幕映射关系确定所述批注轨迹在所述显示屏中的位置更改路径包括：

    根据所述变化控制指令确定所述投屏数据中的目标窗口以及针对所述目标窗口的变化控制操作；

    根据屏幕映射关系确定所述批注轨迹的批注位置在关联显示屏中的映射位置；

    如果所述目标窗口包含所述映射位置，则在所述目标窗口执行所述变化控制操作时确定所述映射位置的变化路径，并依据所述屏幕映射关系和所述变化路径确定所述批注轨迹在显示界面中的位置更改路径。
22. 根据权利要求15-21任一项所述的批注显示方法，还包括：

    确定所述投屏数据的页码，并保存所述页码及所述批注轨迹的第二对应关系；

    当所述显示界面再次显示所述页码对应的投屏数据时，根据所述第二对应关系同步显示所述批注轨迹。
23. 根据权利要求15-22任一项所述的批注显示方法，在所述控制所述批注轨迹跟随对应的投屏数据在所述显示界面的变化而同步变化之前，还包括：

    如果检测到所述显示界面中至少一个像素点对应的像素值发生变化，则确定所述投屏数据在所述显示界面中发生变化。
24. 根据权利要求15-22任一项所述的批注显示方法，在所述控制所述批注轨迹跟随对应的投屏数据在所述显示界面的变化而同步变化之前，还包括：

    如果检测到所述投屏数据的页码发生变化，则确定所述投屏数据在所述显示界面中发生变化。
25. 根据权利要求15-24任一项所述的批注显示方法，还包括：

    如果接收到结束指令，则将所述显示界面中的投屏数据与所述批注轨迹关联保存。
26. 一种批注显示装置，包括：

    投屏数据显示单元，设置为显示投屏数据；

    批注轨迹显示单元，设置为显示批注轨迹，其中，所述批注轨迹基于批注信号或触摸操作生成；

    变化控制单元，设置为控制所述批注轨迹跟随对应的投屏数据在显示界面的变化而同步变化。
27. 根据权利要求26所述的批注显示装置，其中，所述投屏数据显示单元包括：

    第一接收模块，设置为接收投屏指令；

    第一显示模块，设置为显示第一投屏内容；

    所述批注轨迹显示单元包括：

    第二接收模块，设置为接收第一批注信号，其中，所述第一批注信号用于对所述第一投屏内容进行批注；

    第二显示模块，设置为显示第一批注轨迹，其中，所述第一批注轨迹是根据所述第一批注信号生成的；

    所述装置还包括：

    第三接收模块，设置为接收向前翻页指令，其中，所述向前翻页指令用于控制所述第一投屏内容向前翻页；

    第三显示模块，设置为显示翻页后的第二投屏内容；

    所述变化控制单元包括：

    第四接收模块，设置为接收向后翻页指令，其中，所述向后翻页指令用于控制所述第二投屏内容向后翻页；

    第四显示模块，设置为在显示界面显示所述第一投屏内容及所述第一批注轨迹。
28. 根据权利要求27所述的批注显示装置，还包括：

    第五接收模块，设置为在所述接收第一批注信号之前，接收批注触发指令，其中，所述批注触发指令用于启动批注功能。
29. 根据权利要求27或28所述的批注显示装置，还包括：

    第六接收模块，设置为在所述显示翻页后的第二投屏内容之后，接收第二批注信号，其中，所述第二批注信号用于对所述第二投屏内容进行批注；

    第五显示模块，设置为显示第二批注轨迹，其中，所述第二批注轨迹是根据所述第二批注信号生成的。
30. 根据权利要求29所述的批注显示装置，还包括：

    第七接收模块，设置为在所述显示所述第一投屏内容及所述第一批注轨迹之后，接收向前翻页指令，其中，所述向前翻页指令用于控制所述第一投屏内容向前翻页；

    第六显示模块，设置为显示所述第二投屏内容及所述第二批注轨迹。
31. 根据权利要求1所述的一种批注显示装置，其中，投屏数据显示单元包括：

    投屏数据显示模块，设置为在显示屏的显示界面上显示关联客户端发送的投屏数据；

    批注轨迹显示单元包括：

    轨迹显示模块，设置为在所述显示界面上显示基于触摸操作生成的批注轨迹；

    变化控制单元包括：同步变化模块，设置为控制所述批注轨迹跟随对应的投屏数据在所述显示界面的变化而同步变化。
32. 一种批注显示设备，包括：存储器、具有触摸功能的显示屏以及至少一个处理器；

    所述存储器，设置为存储至少一个程序；

    当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利 要求1-25中任一项所述的批注显示方法。
33. 一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-25中任一项所述的批注显示方法。

Images