WO2021031731A1

WO2021031731A1 - 远程协助方法、装置和系统

Info

Publication number: WO2021031731A1
Application number: PCT/CN2020/100731
Authority: WO
Inventors: 赵侠; 陈其铭; 蔡伟文; 罗亚丹; 王姗; 饶柳
Original assignee: 中国移动通信集团广东有限公司; 中国移动通信集团有限公司
Priority date: 2019-08-19
Filing date: 2020-07-07
Publication date: 2021-02-25
Also published as: CN112399125B; CN112399125A

Abstract

本申请公开了一种远程协助方法、装置和系统，该方法包括：基于终端设备的视频通话请求，与所述终端设备建立视频通话连接；显示来自所述终端设备的视频信息，所述视频信息由所述终端设备对待协助的目标对象进行视频采集得到；确定所述目标对象的协助信息，所述协助信息用于协助使用所述终端设备的用户操作所述目标对象；基于增强现实技术，将所述协助信息叠加显示在所述视频信息中，以便所述终端设备同步显示叠加后的所述视频信息。

Description

远程协助方法、装置和系统

相关申请的交叉引用

本申请基于申请号为201910767469.0、申请日为2019年08月19日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。

技术领域

本申请涉及增强现实技术领域，尤其涉及一种远程协助方法、装置和系统。

背景技术

随着科学技术的飞速发展，电子产品的功能越来越多，操作越来越复杂，用户在使用这些电子产品的过程中，会不可避免地遇到各种各样的操作问题，例如，用户不知道如何使用电子产品中的某个功能，等。

通常，当用户遇到操作问题时，可以通过拨打产品提供方的服务电话的方式来解决问题。然而，在实际应用中，用户通过拨打电话的方式通常无法准确地描述其遇到的问题，导致协助方无法为用户提供有效的解决方案，进而无法解决用户遇到的问题，导致用户体验较差。

发明内容

本申请实施例提供一种远程协助方法、装置和系统。

为解决相关技术问题，本申请实施例是这样实现的：

第一方面，提出一种远程协助方法，包括：

基于终端设备的视频通话请求，与所述终端设备建立视频通话连接；

显示来自所述终端设备的视频信息，所述视频信息由所述终端设备对待协助的目标对象进行视频采集得到；

确定所述目标对象的协助信息，所述协助信息用于协助使用所述终端设备的用户操作所述目标对象；

基于增强现实技术，将所述协助信息叠加显示在所述视频信息中，以便所述终端设备同步显示叠加后的所述视频信息。

第二方面，提出一种远程协助装置，包括：

视频通话模块，配置为基于终端设备的视频通话请求，与所述终端设备建立视频通话连接；

显示模块，配置为显示来自所述终端设备的视频信息，所述视频信息由所述终端设备对待协助的目标对象进行视频采集得到；

确定模块，配置为确定所述目标对象的协助信息，所述协助信息用于协助使用所述终端设备的用户操作所述目标对象；

处理模块，配置为基于增强现实技术，将所述协助信息叠加显示在所述视频信息中，以便所述终端设备同步显示叠加后的所述视频信息。

第三方面，提供一种远程协助系统，包括终端设备和服务器，其中：

所述终端设备，配置为向所述服务器发送视频通话请求；

所述服务器，配置为基于所述视频通话请求，与所述终端设备建立视频通话连接；

所述终端设备和所述服务器，还配置为显示视频信息，所述视频信息由所述终端设备对待协助的目标对象进行视频采集得到；

所述服务器，还配置为确定所述目标对象的协助信息；基于增强现实技术，将所述协助信息叠加显示在所述视频信息中；

所述终端设备，还配置为同步显示叠加后的所述视频信息。

第四方面，提出一种电子设备，该电子设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下操作：

第五方面，提出一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下方法：

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请实施例提供的技术方案，当用户在使用目标对象的过程中遇到问题时，可以使用终端设备向协助方对应的服务器发送视频通话请求，服务器基于视频通话请求与终端设备建立视频通话连接，在视频通话的过程中，终端设备可以对目标对象进行视频采集，服务器和终端设备可以同步显示目标对象的视频信息，之后，服务器可以确定对目标对象的协助信息，并基于增强现实技术将目标对象的协助信息叠加显示在视频信息中，此时，由于终端设备和服务器处于视频通话的状态，因此，终端设备可以同步显示叠加后的视频信息。这样，用户不仅可以通过视频通话的方式清楚地描述其遇到的问题，还可以通过终端设备直观地获取到解决方案，从而有效地解决用户在使用目标对象的过程中遇到的问题，提升用户的使用体验。

此外，本申请实施例中的终端设备无需具备增强现实的功能，这样，当用户在使用电子产品的过程中遇到问题时，只要用户使用的终端设备具备视频采集和视频通话的功能，就可以方便地通过终端设备获取到解决方案，从而有效地解决其遇到的问题，提示用户体验。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一个实施例远程协助方法的流程示意图；

图2是本申请的一个实施例远程协助方法的流程示意图；

图3是本申请的一个实施例远程协助电子设备的结构示意图；

图4是本申请的一个实施例远程协助装置的结构示意图；

图5是本申请的一个实施例远程协助系统的结构示意图。

具体实施方式

通常，用户在使用电子产品的过程中，当遇到操作问题时，可以拨打产品提供方的服务电话，进而解决其遇到的操作问题。然而，由于用户通过拨打电话的方式不能清楚地描述其遇到的问题，因此，产品提供方通常无法向用户提供有效的解决方案，导致用户使用体验较差。

相关技术中，为了提升用户体验，可以允许用户通过远程协助的方式来解决其遇到的操作问题。通常，可以允许用户通过以下三种方式寻求远程协助：

第一种：用户可以向协助方发送待协助对象的视频，协助方根据接收到的视频，向用户提供协助信息。

第二种：若待协助的对象支持远程协助，则用户可以通过待协助的对象向协助方发送远程协助请求，协助方在同意用户的远程协助请求后，对待协助的对象进行操作，从而解决用户遇到的操作问题。

例如，用户在使用个人计算机时遇到了操作问题，可以通过个人计算机中安装的具有远程协助功能的软件向协助方发送远程协助请求，协助方在接收到并同意该远程协助请求后，可以直接对个人计算机进行远程操作，从而解决用户遇到的操作问题。

第三种：用户通过具有增强现实功能的终端设备与协助方建立视频通话连接，协助方在确定用户遇到的操作问题后，向用户提供协助信息，终端设备在接收到来自协助方的协助信息后，可以基于增强现实技术，将协助信息叠加显示在终端设备的视频画面中，用户基于终端设备中显示的视频画面，可以解决其遇到的操作问题。

然而，在实际应用中，上述三种方式并不能有效解决用户遇到的操作问题，具体地：

针对上述第一种方式，协助方通常无法向用户回传包含解决方案的视频，在这种情况下，协助方只能通过语音的方式告知用户解决方案，然而，语音的方式通常不便于用户理解，导致不能有效地解决用户遇到的问题；

针对上述第二种方式，由于需要借助个人计算机、智能手机等可以支持远程协助的终端设备或者具有远程协助功能的软件或平台进行远程操作，因此，局限性较大；

针对上述第三种方式，用户需要使用具有增强现实功能的终端设备才可以实现远程协助，而有增强现实功能的终端设备还未普及，因此，局限性较大；此外，在采用具有增强现实的终端设备进行远程协助时，一个服务器通常只能为一个终端设备提供协助信息，无法同时为多个终端设备提供协助信息，因此，实用性较差。

为了解决上述技术问题，本申请实施例提出一种远程协助方法、装置和系统，该方法包括：基于终端设备的视频通话请求，与所述终端设备建立视频通话连接；显示来自所述终端设备的视频信息，所述视频信息由所述终端设备对待协助的目标对象进行视频采集得到；确定所述目标对象的协助信息，所述协助信息用于协助使用所述终端设备的用户操作所述目标对象；基于增强现实技术，将所述协助信息叠加显示在所述视频信息中，以便所述终端设备同步显示叠加后的所述视频信息。

这样，用户不仅可以通过视频通话的方式清楚地描述其遇到的问题，还可以通过终端设备直观地获取到解决方案，从而有效地解决用户在使用目标对象的过程中遇到的问题，提升用户的使用体验。

本发明实施例中，终端设备可以具有视频拍摄和视频语音通话的功能，不具有增强现实功能，待协助的目标对象可以是电子产品，也可以是其他能够通过远程协助的方式解决操作问题的对象。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1是本申请的一个实施例远程协助方法的流程示意图。本实施例的执行主体可以是电子设备(比如协助方对应的服务器)，协助方可以是待协助的目标对象的提供方。所述方法如下所述：

S102：基于终端设备的视频通话请求，与所述终端设备建立视频通话连接。

在S102中，用户在使用电子产品的过程中，当用户遇到操作问题时，可以利用终端设备寻求远程协助。

用户在寻求远程协助时，可以使用终端设备向协助方(例如待协助的目标对象的产品提供方)拨打视频电话，此时，终端设备可以向协助方对应的服务器发送视频通话请求，服务器在接收到视频通话请求后，可以基于该视频通话请求，与终端设备建立视频通话连接。

本实施例中，服务器在与终端设备建立视频通话连接，所以，终端设备与服务器可以同步显示相同的视频信息。

S104：显示来自所述终端设备的视频信息，所述视频信息由所述终端设备对待协助的目标对象进行视频采集得到。

在S104中，服务器在与终端设备建立视频通话后，可以提示终端设备对待协助的目标对象进行视频采集。

在一种实现方式中，服务器可以通过向终端设备发送提示信息的方式对终端设备进行提示，其中，提示信息可以用于提示将终端设备的图像采集装置对准待协助的目标对象。终端设备在接收到来自服务器的提示信息后，可以将提示信息显示在终端设备的屏幕中。其中，提示信息可以是文本形式，也可以是语音形式，这里不做具体限定。

用户在查看到终端设备屏幕中显示的提示信息后，可以使用终端设备对待协助目标对象进行视频采集。终端设备在对待协助目标对象进行视频采集后，可以得到目标对象的视频信息，并显示在终端设备的屏幕中。其中，由于此时终端设备和服务器正在视频通话中，所以，服务器也会同步显示终端设备采集得到的视频信息。

在另一种实现方式中，在服务器与终端设备建立视频通话连接后，用户也可以主动使用终端设备对待协助目标对象进行视频采集，终端设备在采集得到视频信息后，终端设备和服务器可以同步显示视频信息。

S106：确定所述目标对象的协助信息，所述协助信息用于协助使用所述终端设备的用户操作所述目标对象。

在S106中，服务器在显示待协助的目标对象的视频信息后，可以确定目标对象的协助信息。本实施例中，协助信息可以用于协助用户对目标对象进行操作，以解决用户遇到的操作问题，其中，协助信息可以理解为指导操作信息，具体可以是图片，也可以是文本等。

服务器在确定协助信息时，可以基于用户对协助方式的确认信息确定得到，其中，确认信息中可以包括人工协助方式以及智能协助方式中的至少一种，确认信息具体可以在服务器确定协助信息之前，由用户通过终端设备发送给服务器。

具体地，在一种实现方式中，服务器在确定协助信息之前，可以向终端设备发送用于选择协助方式的文本提示信息，终端设备在接收到提示信息后，可以在屏幕中显示该提示信息，用户在查看到提示信息后，可以根据自己的实际需求，选择想要的协助方式。在用户选择协助方式后，可以视为终端设备向服务器发送对协助方式的确认信息。

例如，终端设备在接收到服务器的提示信息后，可以在屏幕中显示两个按钮，第一个按钮上可以标注智能协助，第二个按钮上可以标注人工协助，用户可以根据实际需求，选择按下其中一个按钮，在用户按下其中一个按钮后，可以视为终端设备接收到用户对协助方式的确认信息，此时，终端设备可以将确认信息发送给服务器。其中，按钮的形状样式以及按钮上文本的展示形式可以是多样的，这里不做具体限定。

在另一种实现方式中，服务器在确定协助信息之前，还可以向终端设备发送用于选择协助方式的语音提示信息，这样，用户可以通过语音的方式向服务器发送确定信息。

例如，服务器可以向终端设备发送一段语音提示，语音提示的内容可以包括：选择智能协助方式请按“1”，选择人工协助方式请按“2”。终端设备在接收到并播放语音提示之后，用户可以根据自己的需求通过点击拨号盘上的数字选择需要的协助方式，终端设备基于用户对协助方式的选择，向服务器发送对协助方式的确认信息。

应理解，除了上述记载的两种实现方式以外，用户还可以使用终端设备通过其他方式向服务器发送确认信息，这里不再一一举例说明。

需要说明的是，服务器向终端设备发送用于选择协助方式的提示信息(文本提示信息或语音提示信息)时，可以是在与建立视频通话连接之后，显示目标对象的视频信息之前，也可以是在显示目标对象的视频信息之后，在确定协助信息之前，这里不做具体限定。

服务器在接收到用户对协助方式的确认信息后，在根据确认信息确定协助信息时，可以对确认信息中包括的协助方式进行判断，若确认信息中包括人工协助方式，则可以确定用户选择的是人工协助方式，此时，服务器可以将视频信息通过转接的方式发送给协助人员，协助人员在查看到视频信息后，可以基于视频信息人工分析用户在使用目标对象的过程中遇到了哪些问题，进而基于分析得到的问题确定协助信息，并将协助信息输入到服务器中，这样，服务器可以接收到来自协助人员的协助信息。

若确认信息中包括智能协助方式，则服务器可以基于视频信息，确定目标对象的协助信息，具体实现方式如下：

首先，可以对视频信息进行识别，确定待识别的目标对象的标识以及用户在使用该目标对象时遇到的问题。

本实施例中，服务器在对视频信息进行识别时，识别方式可以包括语音识别以及图像识别，其中，由于用户可以通过语音的方式描述其遇到的问题，因此，服务器可以通过对视频信息进行语音识别确定用户遇到的问题，由于视频信息是对目标对象进行视频采集得到，因此，通过对视频信息进行图像识别可以确定目标对象的标识。

其次，将目标对象的标识以及用户遇到的问题，与预先确定的虚拟模型进行匹配。

虚拟模型可以由服务器预先确定得到，虚拟模型中可以包括多个对象的标识以及用户在使用多个对象时出现的多个问题之间的映射关系。其中，多个对象可以是用户常用的多个电子产品，多个问题可以是用户在使用多个电子产品时可能会遇到的问题。

服务器在确定目标对象的标识以及用户使用目标对象时遇到的问题后，可以将目标对象的标识以及用户遇到的问题与虚拟模型中的对象标识和问题进行匹配，判断虚拟模型中是否包括目标对象的标识以及用户在使用目标对象时遇到的问题，若是，则可以说明基于智能协助方式的方式可以解决用户遇到的问题，此时，可以基于用户遇到的问题，进一步确定对应的协助信息。

本实施例中，虚拟模型中还可以包括使用多个对象时出现的多个问题以及用于解决该多个问题的多个协助信息之间的映射关系，其中，一个问题可以对应一个协助信息，不同的问题可以对应不同的协助信息。

这样，在确定目标对象的协助信息时，可以基于用户遇到的问题，在虚拟模型中查找与该问题对应的协助信息，并将查找到的协助信息确定为目标对象的协助信息。

在一实施例中，若虚拟模型中不包括目标对象的标识以及用户在使用目标对象时遇到的问题，则可以说明基于智能协助方式的方式不能解决用户遇到的问题，此时，可以将视频信息通过转接的方式发送给协助人员，由协助人员确定目标对象协助信息，具体实现方式可以参见上述记载的相关内容，这里不再重复描述。

在一实施例中，服务器在显示目标对象的视频信息后，在确定目标对象的协助信息时，可以默认采用智能协助方式确定协助信息，无需用户发送对协助方式的确认信息，即服务器在显示目标对象的视频信息后，可以直接对视频信息进行识别，进而确定协助信息，具体实现方式可以参见上述基于智能协助方式确定协助信息的相关内容，这里不再重复描述。

在一实施例中，服务器在接收到来自协助人员的协助信息后，还可以将协助信息、目标对象的标识和用户遇到的问题对应存储至虚拟模型中，这样，当其他用户遇到相同问题时，服务器可以基于虚拟模型中存储的协助信息，通过智能协助方式的方式确定协助信息。

S108：基于增强现实技术，将所述协助信息叠加显示在所述视频信息中，以便所述终端设备同步显示叠加后的所述视频信息。

在S108中，服务器可以利用增强显示技术，根据协助信息生成增强现实图像，并将增强现实图像叠加显示在视频信息中，以便在真实的目标对象的视频信息中生成对应的虚拟指导操作。此外，服务器还可以基于协助信息生成相应的语音提示，以同步对用户进行协助提示。

需要说明的是，服务器在将协助信息叠加显示在视频信息中时，可以采用相关的增强现实技术进行叠加显示的方法实现，这里不再详细说明。

服务器在显示叠加后的视频信息后，由于服务器与终端设备处于视频通话的状态，因此，终端设备可以同步显示叠加后的视频信息。这样，用户可以通过终端设备直观地获取到解决方案，从而有效地解决用户在使用目标对象的过程中遇到的问题，提升用户的使用体验。

在一种实现方式中，为了便于服务器实现本申请的技术方案，可以在服务器侧设置3个模块，分别是增强现实交互处理模块，协助信息存储和输入模块以及增强现实信息显示模块。

这里以人工协助方式为例，协助人员在分析出用户遇到的问题，并确定协助信息后，可以将协助信息输入协助信息存储和输入模块，协助信息存储和输入模块可以将协助信息进行存储。在将协助信息叠加显示在视频信息中时，增强现实交互处理模块可以从协助信息存储和输入模块中获取协助信息，并将协助信息与视频信息进行增强现实交互处理，即根据协助信息生成增强现实图像，并将增强现实图像叠加至视频信息中。在得到叠加后的视频信息后，可以由增强现实显示模块将叠加后的视频信息显示在服务器中，此时，终端设备可以同步显示叠加后的视频画面。这样，基于上述3个模块之间的交互，实现对用户的远程协助。

例如，用户在使用洗衣机的过程中，当遇到无法启动洗衣机的问题时，用户可以使用终端设备向洗衣机的销售方拨打视频电话，以寻求远程协助，洗衣机销售方对应的服务器在接收到用户的视频电话后，建立与用户使用的终端设备之间的视频通话连接。在建立视频通话连接后，用户可以使用终端设备主动对洗衣机进行视频采集，得到视频信息，此时，终端设备和服务器同步显示洗衣机的视频信息。

服务器在显示洗衣机的视频信息后，可以向用户使用的终端设备发送用于选择协助方式的提示信息，用户可以根据该提示信息对协助方式进行选择，这里以选择人工协助方式为例，用户在选择人工协助方式后，服务器可以将视频通话转接给协助人员，此时，用户可以基于视频通话与协助人员进行视频语音，描述遇到的操作问题，协助人员根据视频信息以及用户的语音描述，可以确定用户遇到的问题是无法开启洗衣机，此时，协助人员可以触摸视频画面中洗衣机的开机键，服务器中的协助信息存储和输入模块可以视为接收到协助人员输入的协助信息，并对协助信息进行存储。

之后，增强现实交互处理模块可以对协助信息和洗衣机的视频信息进行增强现实交互处理，即根据协助信息生成增强现实图像，并将增强现实图像叠加显示在视频信息中，其中，叠加后的视频信息可以是：在洗衣机的开机按键的四周标记一个闪烁的虚框。

在得到叠加后的视频信息后，增强现实显示模块可以将叠加后的视频信息显示在服务器中。由于终端设备和服务器处于视频通话的状态，因此，终端设备可以同步显示叠加后的视频信息。此外，协助人员也可以在视频信息的基础上，通过语音的方式提示用户如何进行操作，此时，用户可以根据终端设备中显示的视频信息和协助人员的语音提示，点击洗衣机的开机按键，进而解决用户无法开启洗衣机的问题。

为了便于理解本发明实施例提供的技术方案，可以参见图2。图2为本发明的一个实施例远程协助方法的流程示意图，具体可以包括以下步骤：

S201：终端设备向服务器发送视频通话请求。

用户在使用电子产品的过程中，当遇到操作问题时，可以通过终端设备寻求远程协助，具体地，用户可以使用终端设备通过拨打电话的方式向服务器发送视频通话请求。

S202：服务器基于视频通话请求，与终端设备建立视频通话连接。

服务器在接收到来自终端设备的视频通话请求后，可以基于视频通话请求，与终端设备建立视频通话连接。服务器在与终端设备建立视频通话连接后，可以和终端设备同步显示相同的视频画面。

S203：终端设备对待协助目标对象进行视频采集。

在S203中，服务器可以提示终端设备对待协助的目标对象进行视频采集，或者，用户也可以主动使用终端设备对待协助的目标对象进行视频采集，这里不做具体限定。

终端设备在对目标对象进行视频采集后，可以得到目标对象的视频信息，其中，在终端设备进行视频采集的过程中，采集得到的视频信息可以实时显示在终端设备的屏幕中。

S204：终端设备和服务器同步显示视频信息。

终端设备在采集并在屏幕中显示待协助目标对象的视频信息后，由于此时终端设备和服务器设备正在视频通话中，因此，服务器中可以同步显示终端设备采集到的视频信息。

S205：终端设备向服务器发送对协助方式的确认信息。

本实施例中，在终端设备和服务器同步显示视频信息后，服务器可以提示用户选择协助方式，其中，协助方式包括人工协助方式和智能协助方式中的至少一种。用户可以根据自身需求选择协助方式，并由终端设备将用户对协助方式的确认信息发送给服务器，此时，服务器可以接收到用户对协助方式的确认信息。

在其他实现方式中，S205也可以在上述S201之后S202之前执行，或者，也可以在S202之后S203之前，这里不做具体限定。

S206：若确认信息中包括智能协助方式，则基于视频信息确定协助信息。

在S206中，服务器在接收到用户对协助方式的确认信息后，可以判断确认信息中包括哪种协助方式，若确认信息中包括智能协助方式，则服务器可以基于视频信息确定对待协助目标对象的协助信息。

在基于视频信息确定协助信息时，可以基于预先确定得到的虚拟模型实现，其中，虚拟模型中可以包括多个对象的标识、使用多个对象时出现的多个问题以及用于解决多个问题的多个协助信息之间的映射关系。具体实现方式可以参见图1所示实施例中记载的相关内容，这里不再重复描述。

在确定协助信息之后，可以执行S208。

S207：若确认信息中包括人工协助方式，则接收来自协助人员的协助信息。

在S207中，若确认信息中包括人工协助方式，则服务器可以将视频信息发送给协助人员，协助人员可以基于视频信息确定协助信息，并将协助信息输入服务器，服务器可以接收到来自协助人员的协助信息。

服务器在接收到来自协助人员的协助信息后，可以执行S208。

S208：基于增强现实技术，将所述协助信息叠加显示在所述视频信息中。

确定目标对象的协助信息后，可以根据协助信息生成增强现实图像，将增强现实图像叠加显示在视频信息中。

S209：终端设备显示协助信息和视频信息叠加后的视频画面。

由于终端设备与服务器此时处于视频通话中，所以终端设备可以现实协助信息和视频信息叠加后的视频画面。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，配置为存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成远程协助装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

上述如本申请图3所示实施例揭示的远程协助装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1和图2的方法，并实现远程协助装置在图1和图2所示实施例中的功能，本申请实施例在此不再赘述。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1和图2所示实施例的方法，并具体用于执行以下操作：

图4是本申请的一个实施例远程协助装置的结构示意图。请参考图4，在一种软件实施方式中，所述远程协助装置(设置在电子设备上)可包括：视频通话模块41、显示模块42、确定模块43和处理模块44，其中：

视频通话模块41，配置为基于终端设备的视频通话请求，与所述终端设备建立视频通话连接；

显示模块42，配置为显示来自所述终端设备的视频信息，所述视频信息由所述终端设备对待协助的目标对象进行视频采集得到；

确定模块43，配置为确定所述目标对象的协助信息，所述协助信息用于协助使用所述终端设备的用户操作所述目标对象；

处理模块44，配置为基于增强现实技术，将所述协助信息叠加显示在所述视频信息中，以便所述终端设备同步显示叠加后的所述视频信息。

在一实施例中，所述远程协助装置还包括：接收模块45，其中：

所述接收模块45，配置为在所述确定模块43确定所述目标对象的协助信息之前，接收所述用户对协助方式的确认信息，所述确认信息中包括人工协助方式以及智能协助方式中的至少一种；

其中，所述确定模块43，确定对所述目标对象的协助信息，包括：

若所述确认信息中包括人工协助方式，则接收来自协助人员的所述协助信息，所述协助信息由所述协助人员基于所述视频信息确定得到；

若所述确认信息中包括智能协助方式，则基于所述视频信息，确定所述目标对象的协助信息。

在一实施例中，所述确定模块43，基于所述视频信息，确定所述目标对象的协助信息，包括：

对所述视频信息进行识别，确定所述目标对象的标识以及所述用户在使用所述目标对象时遇到的问题；

判断预先确定的虚拟模型中是否包括所述目标对象的标识以及所述问题，所述虚拟模型中包括多个对象的标识以及使用所述多个对象时出现的多个问题之间的映射关系；

若是，则基于所述问题，确定所述目标对象的协助信息。

在一实施例中，所述虚拟模型中包括使用多个对象时出现的多个问题以及用于解决所述多个问题的多个协助信息之间的映射关系；

其中，所述确定模块43，基于所述问题，确定所述目标对象的协助信息，包括：

基于所述问题，在所述虚拟模型中查找与所述问题对应的协助信息；

将查找到的所述协助信息确定为所述目标对象的协助信息。

在一实施例中，所述确定模块43，在所述虚拟模型中不包括所述目标对象的标识以及所述问题时，将所述视频信息发送给所述协助人员；

接收来自所述协助人员的协助信息。

在一实施例中，所述处理模块44，基于增强现实技术，将所述协助信息叠加显示在所述视频信息中，包括：

根据所述协助信息生成增强现实图像；

将所述增强现实图像叠加显示在所述视频信息中。

本申请实施例提供的远程协助装置还可执行图1和图2的方法，并实现远程协助装置在图1和图2所示实施例的功能，本申请实施例在此不再赘述。

图5是本申请的一个实施例远程协助系统的结构示意图。请参考图5。

图5所示的远程协助系统包括终端设备51和服务器52，其中：

所述终端设备51向所述服务器52发送视频通话请求；

所述服务器52基于所述视频通话请求，与所述终端设备51建立视频通话连接；

所述终端设备51和所述服务器52显示视频信息，所述视频信息由所述终端设备51对待协助的目标对象进行视频采集得到；

所述服务器52确定所述目标对象的协助信息；基于增强现实技术，将所述协助信息叠加显示在所述视频信息中；

所述终端设备51同步显示叠加后的所述视频信息。

本发明实施例提供的终端设备51能够实现图1至图2的方法实施例中终端设备实现的各个过程，服务器52能够实现图1至图2的方法实施例中服务器实现的各个过程，为避免重复，这里不再赘述。

总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims

一种远程协助方法，所述方法应用于服务器，包括：

基于终端设备的视频通话请求，与所述终端设备建立视频通话连接；

显示来自所述终端设备的视频信息，所述视频信息由所述终端设备对待协助的目标对象进行视频采集得到；

确定所述目标对象的协助信息，所述协助信息用于协助使用所述终端设备的用户操作所述目标对象；

基于增强现实技术，将所述协助信息叠加显示在所述视频信息中，以便所述终端设备同步显示叠加后的所述视频信息。
如权利要求1所述的方法，其中，在确定所述目标对象的协助信息之前，所述方法还包括：

接收所述用户对协助方式的确认信息，所述确认信息中包括人工协助方式以及智能协助方式中的至少一种；

所述确定对所述目标对象的协助信息，包括：

若所述确认信息中包括人工协助方式，则接收来自协助人员的所述协助信息，所述协助信息由所述协助人员基于所述视频信息确定得到；

若所述确认信息中包括智能协助方式，则基于所述视频信息，确定所述目标对象的协助信息。
如权利要求2所述的方法，其中，基于所述视频信息，确定所述目标对象的协助信息，包括：

对所述视频信息进行识别，确定所述目标对象的标识以及所述用户在使用所述目标对象时遇到的问题；

判断预先确定的虚拟模型中是否包括所述目标对象的标识以及所述问题，所述虚拟模型中包括多个对象的标识以及使用所述多个对象时出现的多个问题之间的映射关系；

若是，则基于所述问题，确定所述目标对象的协助信息。
如权利要求3所述的方法，其中，

所述虚拟模型中还包括使用所述多个对象时出现的多个问题以及用于解决所述多个问题的多个协助信息之间的映射关系；

所述基于所述问题，确定所述目标对象的协助信息，包括：

基于所述问题，在所述虚拟模型中查找与所述问题对应的协助信息；

将查找到的所述协助信息确定为所述目标对象的协助信息。
如权利要求3所述的方法，其中，所述方法还包括：

若所述虚拟模型中不包括所述目标对象的标识以及所述问题，则将所述视频信息发送给所述协助人员；

接收来自所述协助人员的协助信息。
如权利要求1所述的方法，其中，基于增强现实技术，将所述协助信息叠加显示在所述视频信息中，包括：

根据所述协助信息生成增强现实图像；

将所述增强现实图像叠加显示在所述视频信息中。
一种远程协助系统，所述系统包括终端设备和服务器，其中：

所述终端设备，配置为向所述服务器发送视频通话请求；

所述服务器，配置为基于所述视频通话请求，与所述终端设备建立视频通话连接；

所述终端设备和所述服务器，还配置为显示视频信息，所述视频信息由所述终端设备对待协助的目标对象进行视频采集得到；

所述服务器，还配置为确定所述目标对象的协助信息；基于增强现实技术，将所述协助信息叠加显示在所述视频信息中；

所述终端设备，还配置为同步显示叠加后的所述视频信息。
一种远程协助装置，包括：

视频通话模块，配置为基于终端设备的视频通话请求，与所述终端设备建立视频通话连接；

显示模块，配置为显示来自所述终端设备的视频信息，所述视频信息由所述终端设备对待协助的目标对象进行视频采集得到；

确定模块，配置为确定所述目标对象的协助信息，所述协助信息用于协助使用所述终端设备的用户操作所述目标对象；

处理模块，配置为基于增强现实技术，将所述协助信息叠加显示在所述视频信息中，以便所述终端设备同步显示叠加后的所述视频信息。
一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下操作：

基于终端设备的视频通话请求，与所述终端设备建立视频通话连接；

显示来自所述终端设备的视频信息，所述视频信息由所述终端设备对待协助的目标对象进行视频采集得到；

确定所述目标对象的协助信息，所述协助信息用于协助使用所述终端设备的用户操作所述目标对象；

基于增强现实技术，将所述协助信息叠加显示在所述视频信息中，以便所述终端设备同步显示叠加后的所述视频信息。
一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下方法：

基于终端设备的视频通话请求，与所述终端设备建立视频通话连接；

显示来自所述终端设备的视频信息，所述视频信息由所述终端设备对待协助的目标对象进行视频采集得到；

确定所述目标对象的协助信息，所述协助信息用于协助使用所述终端设备的用户操作所述目标对象；

基于增强现实技术，将所述协助信息叠加显示在所述视频信息中，以便所述终端设备同步显示叠加后的所述视频信息。