WO2019076202A1 - 多屏互动方法、装置及电子设备 - Google Patents

Abstract

本申请实施例公开了多屏互动方法、装置及电子设备，该方法包括：第一终端加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；采集实景图像；当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。通过本申请实施例，可以提高用户对互动的参与度。

Description

多屏互动方法、装置及电子设备

本申请要求2017年10月19日递交的申请号为201710979621.2、发明名称为“多屏互动方法、装置及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及多屏互动技术领域，特别是涉及多屏互动方法、装置及电子设备。

背景技术

多屏互动是指通过无线网络连接，在不同的多媒体终端设备上(如常见的手机与电视之间等等)，可进行多媒体(音频，视频，图片)内容的传输、解析、展示、控制等一系列操作，可以在不同终端设备显示同样的内容，并实现各个终端之间的内容互通。

现有技术中，从电视端到手机端的互动，通常是借助于图形码的方式来实现，例如，通常可以在电视屏幕上显示与当前正在播放的节目相关的二维码，用户可以用手机中安装的应用程序的“扫一扫”等功能对该二维码进行扫描，然后在手机端进行解析，并展示出具体的互动页面，然后，用户可以在页面中进行回答问题、抽奖等互动。

这种现有技术的方式虽然能够实现手机与电视之间的互动，但是具体的实现形式比较呆板，用户的实际参与度并不高。因此，如何提供形式更丰富的多屏互动，提高用户的参与度，成为需要本领域技术人员解决的技术问题。

发明内容

本申请提供了多屏互动方法、装置及电子设备，可以提高用户对互动的参与度。

本申请提供了如下方案：

一种多屏互动方法，包括：

第一终端加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

采集实景图像；

当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。

一种多屏互动方法，包括：

第一服务端保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

将所述互动素材提供给第一终端，由所述第一终端采集实景图像，当第二终端中的视频播放到与所述指定对象对应的目标事件时，将所述指定对象素材添加到所述实景图像中。

一种多屏互动方法，包括：

第二终端播放视频；

在所述视频播放到与指定对象相关的目标事件时，播放预置频率的声波信号，以便第一终端通过检测所述声波信号获知所述目标事件的发生，并将指定对象素材添加到采集到的实景图像中。

一种多屏互动方法，包括：

第二服务端接收第一服务端提供的预置频率的声波信号信息；

在视频中与指定对象相关的目标事件发生的位置插入所述预置频率的声波信号，以便在通过第二终端播放所述视频的过程中，由第一终端通过检测所述声波信号获知所述目标事件的发生，并将指定对象素材添加到采集到的实景图像中。

一种视频互动方法，包括：

第一终端加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

当所述第一终端中的视频播放到与所述指定对象相关的目标事件时，跳转到互动界面；

在所述互动界面中展示实景图像采集结果，并将所述指定对象素材添加到所述实景图像中。

一种视频互动方法，包括：

第一服务端保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

将所述互动素材提供给第一终端，以便所述第一终端中的视频播放到与所述指定对象相关的目标事件时，跳转到互动界面，并在所述互动界面中展示实景图像采集结果，并将所述指定对象素材添加到所述实景图像中。

一种互动方法，包括：

加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

采集实景图像；

当检测到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。

一种多屏互动装置，应用于第一终端，包括：

第一素材加载单元，用于加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

第一实景图像采集单元，用于采集实景图像；

第一素材添加单元，用于当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。

一种多屏互动装置，应用于第一服务端，包括：

第一互动素材保存单元，用于保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

第一互动素材提供单元，用于将所述互动素材提供给第一终端，由所述第一终端采集实景图像，当第二终端中的视频播放到与所述指定对象对应的目标事件时，将所述指定对象素材添加到所述实景图像中。

一种多屏互动装置，应用于第二终端，包括：

视频播放单元，用于播放视频；

声波信号播放单元，用于在所述视频播放到与指定对象相关的目标事件时，播放预置频率的声波信号，以便第一终端通过检测所述声波信号获知所述目标事件的发生，并将指定对象素材添加到采集到的实景图像中。

一种多屏互动装置，应用于第二服务端，包括：

声波信号信息接收单元，用于接收第一服务端提供的预置频率的声波信号信息；

声波信号信息插入单元，用于在视频中与指定对象相关的目标事件发生的位置插入所述预置频率的声波信号，以便在通过第二终端播放所述视频的过程中，由第一终端通过检测所述声波信号获知所述目标事件的发生，并将指定对象素材添加到采集到的实景图像中。

一种视频互动装置，应用于第一终端，包括：

加载单元，用于加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

界面跳转单元，用于当所述第一终端中的视频播放到与所述指定对象相关的目标事件时，跳转到互动界面；

素材添加单元，用于在所述互动界面中展示实景图像采集结果，并将所述指定对象素材添加到所述实景图像中。

一种视频互动装置，应用于第一服务端，包括：

第二素材保存单元，用于保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

第二素材提供单元，用于将所述互动素材提供给第一终端，以便所述第一终端中的视频播放到与所述指定对象相关的目标事件时，跳转到互动界面，并在所述互动界面中展示实景图像采集结果，并将所述指定对象素材添加到所述实景图像中。

一种互动装置，包括：

第二素材加载单元，用于加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

第二实景图像采集单元，用于采集实景图像；

第二素材添加单元，用于当检测到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。

一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

采集实景图像；

当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

通过本申请实施例，可以根据与指定对象相关的视频/动画创建互动素材，在具体进行互动的过程中，可以对用户所在的实际环境进行采集实景图像，并在第二终端中播出与所述指定对象对应的目标事件时，将指定对象素材添加到所述实景图像中进行展示。这样，使得用户可以获得相关指定对象来到自己所在空间环境(例如，自己家中等)的体验，因此，可以提高用户对互动的参与度。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的系统的示意图；

图2是本申请实施例提供的第一方法的流程图；

图3-1至图3-10是本申请实施例提供的用户界面的示意图；

图4是本申请实施例提供的第二方法的流程图；

图5是本申请实施例提供的第三方法的流程图；

图6是本申请实施例提供的第四方法的流程图；

图7是本申请实施例提供的第五方法的流程图；

图8是本申请实施例提供的第六方法的流程图；

图9是本申请实施例提供的第七方法的流程图；

图10是本申请实施例提供的第一装置的示意图；

图11是本申请实施例提供的第二装置的示意图；

图12是本申请实施例提供的第三装置的示意图；

图13是本申请实施例提供的第四装置的示意图；

图14是本申请实施例提供的第五装置的示意图；

图15是本申请实施例提供的第六装置的示意图；

图16是本申请实施例提供的第七装置的示意图；

图17是本申请实施例提供的电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中，提供了一种新的多屏互动方案，在该方案中，主要是用户的手机等移动终端设备(本申请实施例中称为第一终端)与电视机等具有大屏幕的终端设备(本申请实施例中称为第二终端)之间的互动。具体的，可以在通过第二终端对一些大型直播类晚会等节目(当然，也可以是其他类型的节目)进行播放的过程中，进行上述互动过程。例如，在直播类晚会节目中，会节目主办方会邀请到一些娱乐明星等表演节 目，但是，在现有技术中，用户只能从第二终端中观看明星在舞台上的表演。而在本申请实施例中，则可以通过一些技术手段，使用户获得“明星到我家”的体验。具体实现时，可以预先提供与特定的娱乐明星等人物表演相关的素材，在第二终端中该人物的表演环节中，在第一终端中通过增强现实的方式，将预先录制的该人物的表演视频、动画等素材投射到用户所在的真实环境中。例如，用户通常是在家里观看电视等第二终端中的节目，因此，就可以将具体的人物表演视频/动画等投射到用户的家中。这样，虽然用户仍然需要隔着第二终端的屏幕观看到具体的投射结果，但是，由于表演的背景是用户所在环境中拍摄到的实景图像，因此，相对于从第一终端中观看到的在舞台上的表演而言，可以使得用户获得该“明星”真的在其家中的体验。当然，在具体实现时，除了指定人物之外，还可以是动物，甚至还可以是商品，等等，在本申请实施例中，统一称为“指定对象”。

具体实现时，从系统架构角度而言，参见图1，本申请实施例中涉及到的硬件设备就可以包括前述第一终端以及第二终端，而涉及到的软件可以是第一终端中安装的某关联的应用程序客户端(或者，也可以是固化在第一终端中的程序等)，以及云端的第一服务端。例如，假设是在“双11”晚会的过程中提供上述互动，则由于“双11”晚会的主办方通常是某网络销售平台(例如，“手机淘宝”、“天猫”等)的公司，因此，就可以通过该网络销售平台提供的应用程序客户端以及服务端，为上述多屏互动提供技术支持。也就是说，用户可以使用“手机淘宝”、“天猫”等应用程序的客户端来进行具体的互动过程中，而互动过程中所需用到的素材等数据，则可以由服务端进行提供。需要说明的是，第二终端主要作为播放终端存在，而其中播放的视频等内容可以是由后端的第二服务端(电视台的服务器等)进行控制的，也就是说，关于直播视频流等信号，可以由第二服务端执行统一的视频信号发射等操作，之后，将视频信号传输到各个第二终端进行播放。也就是说，在本申请实施例提供的多屏互动场景中，第一终端与第二终端对应的是不同的服务端。

下面对具体的实现方案进行详细介绍。

实施例一

首先，该实施例一从客户端的角度，提供了一种多屏互动方法，参见图2，该方法具体可以包括：

S201：第一终端加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

其中，关于互动素材也就是具体在进行增强现实的互动过程中，用于生成虚拟图像等信息内容所需的素材。具体实现时，指定对象具体可以是指定人物相关的信息，或者指定商品相关的信息，再或者，还可以是与线下游戏相关的道具相关的信息，等等。其中，不同的指定对象可以对应不同的互动场景，例如，当指定对象为指定人物时，具体的场景可以是“明星到你家”活动，也即，例如，用户在通过电视等观看电视节目的过程中，通过该方案，可以将节目中参加表演的“明星”等“穿越”到用户家中。而在指定对象为指定商品时，该商品通常可以是与网络销售系统中销售的实物性商品等相关的商品，通常情况下，用户需要支付较多的资源来购买该商品，但是，在活动期间，可以通过赠送或者超低价销售等方式，作为礼物送给用户。而在送礼物的过程中，就可以采用本申请实施例中的方式实现“跨屏送礼物”，具体的，通过在电视等第二终端中播放与指定商品相关的内容，并“穿越”到用户手机等第一终端，另外还可以提供用于对所述指定商品关联的数据对象进行抢购的操作选项，通过该操作选项接收到抢购操作时，提交到服务端，由服务端确定抢购结果。因此，使得用户获得抢购或者抽奖等机会，进而获得对应的商品，或者，获得以超低价购买对应商品的机会，等等。

另外，在指定对象为与线下游戏相关的道具时，可以对应“跨屏送礼物”的另一种形式，也即，在活动期间，系统如果想要为用户提供一些优惠券、“现金红包”等非实物性的礼物，则可以将送礼物的过程，与线下的魔术等游戏关联。例如，在电视等第二终端播放魔术等节目的过程中，期间可能会用到某道具，则通本申请实施例的方案，可以将该道具“穿越”到也用户的手机等第一终端设备中进行显示，进而，用户可以通过对该道具进行点击等操作方式，进行非实物性礼物的领取操作。也即，接收到对所述目标道具进行操作信息时，将所述操作信息提交到服务端，由所述服务端确定该操作所获得的奖励信息并返回，然后，第一终端可以提供所获得的奖励信息，等等。

指定对象素材具体可以包括通过对所述指定对象进行拍摄所获得的视频素材，例如，如果指定对象具体是指指定人物，则可以预先对指定人物表演的唱歌、跳舞等节目进行视频录制，得到视频素材。或者，在另一种方式下，所述指定对象素材也可以包括：以所述指定对象的形象为原型制作的卡通形象，以及基于该卡通形象制作的动画素材等等。例如，在指定对象为指定人物的情况下，可以根据指定人物的形象制作卡通人物形象，并基于该卡通人物形象制作动画素材，包括由卡通人物形象的跳舞动画、唱歌动画等，其中，如果需要“唱歌”等，则可以由指定人物为该卡通形象进行配音，或者，播放该指定人物预先录制好的歌曲，等等。

其中，对于同一个指定对象而言，可以对应多套不同的指定对象素材，例如，对于同一个指定人物，表演的不同节目，可以分别生成不同的人物素材，等等。也即，同一指定对象对应的素材可以为多套，具体在该指定对象进入到某个用户的“家中”时，可以由用户选择具体的素材，然后，利用选定的素材提供具体的增强现实画面。

另外，第一服务端提供的互动素材还可以包括：用于表示传送通道的素材。例如，具体可以通过门、隧道、虫洞、“天猫”等吉祥物、传送光阵等生成该素材。这种用于表示传送通道的素材可以用于：在具体将指定对象素材添加到实景图像中之前，由于该指定对象本来是在晚会现场的舞台上进行表演，但紧接着会来到用户家中，因此，为了增强趣味性，也使得指定对象出现的位置变化显得更合理，还可以首先通过该用于表示传送通道的素材，播放预置的动画效果，营造出一种即将有指定对象通过这种传送通道“穿越”到其家中的氛围，使得用户获得更好的体验。另外，在互动结束后，指定对象需要从家中离开时，还可以通过该用于表示传送通道的素材提供与来到家中时相反过程的动画，使得用户获得该指定对象从其家中离开、传送通道逐渐关闭的体验。

再者，第一服务端提供的互动素材还可以包括由所述指定对象录制的语音样本素材，这种语音样本素材可以用于在指定对象“进入”到用户家中时向用户进行打招呼表示问候。并且，还可以在具体打招呼之前获得用户的用户名称(包括昵称、真实姓名等)等信息，实现“千人千面”的问候语，例如，“XXX，我到你家来了”，其中，对不同的用户而言，“XXX”的具体内容是不同的。上述问候语会由所述指定对象通过语音的方式进行问候，而为了达到上述“千人千面”的目的，不能直接通过预先录制一条问候语语音的方式来实现。为此，在本申请实施例中，可以预先由指定对象(具体可以对应指定人物的情形)朗读一段特定文字，并对朗读的各个文字的语音进行录制，这段文字中会包括大部分的声母、韵母以及音调等的发音方式。具体实现时，上述特定文字通常可以为一千个左右，其基本可以涵盖90％的汉字发音。这样，当指定对象刚“进入”用户家中时，在根据用户的专有名称生成了具体的问候语之后，就可以通过该语音样本素材中保存的各个汉字的发音信息，发出对应的语音，以达到由指定对象喊出用户名称并进行问候的效果。

当然，在实际应用中，还可以包括其他素材，这里不再一一列举。具体实现时，上述互动素材的数据量可能会比较大，第一终端加载该互动素材的过程可能需要花费较长的时间，因此，可以是提前下载到第一终端本地。例如，在第二终端中播放的晚会开始后，用户就可以通过第一终端提供的晚会主会场界面，边观看第二终端中的节目，边通 过该主会场界面时刻准备进行互动。而具体“明星到你家”环节可能是在晚会进行过程中的某个时刻，与第二终端的状态同步进行，因此，只要在晚会开始后，用户进入到第一终端的晚会主会场界面，即使具体的“明星到你家”活动尚未正式启动，也可以预先进行相关互动素材下载的操作，这样，具体的活动开始后，就可以快速进行到互动过程，避免由于互动素材尚未下载成功而导致的无法及时参加活动的情况。当然，对于没有提前进入到第一终端提供的主会场界面的用户，如果需要参加上述“明星到你家”活动，则也可以临时下载相关的互动素材。其中，对于临时下载的情况，为了避免下载所花费的时间过长，可以提供降级方案，例如，可以仅下载前述特定对象素材，关于用于表达传送通道的素材以及语音样本素材等可以不再下载，此时，用户体会不到“穿越”的感觉，也接收不到指定对象的问候。

S202：采集实景图像；

具体实现时，第一终端可以为“明星到你家”等活动提供对应的活动页面，在该页面中可以提供用于发出互动请求的操作选项。例如，如图3-1所示，其为一个例子中的活动页面展示示意图，其中可以提供相关指定对象等提示信息，还可以提供“立即启动”等按钮，该按钮就可以是所述用户发出互动请求的操作选项。用户可以通过点击该“立即启动”按钮发出具体的互动请求。当然，在实际应用中，还可以通过其他方式接收用户的互动请求，例如，可以在第二终端屏幕上展示出二维码，用户通过第一终端对二维码进行扫描的方式发出请求，等等。

具体实现时，上述“立即启动”的按钮等操作选项在正式互动过程开始之前可以处于不可操作状态，避免用户过早的点击。另外，在操作选项上显示的文案方面也可以有所不同，例如，在不可操作状态下，可以显示为“精彩马上开启”，等等。在互动即将开始之前，再将按钮上展示的文案修改为“立即启动”等状态，并且，为了为用户营造一种紧张的、焦急等待的氛围，同时更吸引用户执行点击操作，还可以将该按钮在显示上呈现出“呼吸”动效，例如，按钮可以以70％的比例收缩，3S后再恢复到原来大小，3S后再收缩，并不断重复此节奏，等等。

其中，接收用户互动请求的时间点可以早于指定对象正式从第二终端消失并“进入用户家中”的时间点，真是因为，在用户发出互动请求之后，客户端还可以预先执行一些准备工作。具体的，在接收到用户的互动请求后，可以首先开启第一终端中的实景图像采集，也即，可以启动第一终端上的摄像头组件，然后进入到实景拍摄的状态，为后续基于增强现实的互动做好准备。

具体实现时，在具体启动实景图像的采集之前，还可以首先判断第一终端本地是否已经加载了互动素材，如果尚未加载，则可以首先进行互动素材的加载处理。

需要说明的是，在本申请实施例中，通过增强现实的方式呈现给用户的虚拟图像是与具体指定对象素材等，为了使得互动的过程更加具有真实性，可以使得指定对象素材是展示在实景图像中的一个平面上，例如，可以是地面、桌子的平面，等等，这样，如果指定对象是指定人物，则可以使得指定人物的表演过程是在一个平面上进行的。而如果不进行特殊处理，则将所述指定对象素材添加到实景图像中之后，可能会出现指定对象素材“飘”在半空中的情况，如果对应的指定对象素材是指定人物的跳舞、唱歌等表演，则会使得指定人物“飘”在半空中表演，这会降低用户体验，无法使用户获得更真实的身临其境的沉浸感。

为此，在本申请的优选实施例中，还可以将与所述指定对象素材添加到所述实景图像中包括的平面上进行展示。在添加所述指定对象素材之前，可以先确定采集到的实景图像中的放置位置，那么，所述将所述指定对象素材添加到所述实景图像中，具体可以包括将所述指定对象素材添加到所述放置位置处。其中，所述确定采集到的实景图像中的放置位置，具体可以包括，确定所述采集到的实景图像中的平面位置，所述放置位置位于的所述平面位置中。具体地，可以在采集到的实景图像中进行平面检测，接着可以提供光标，并可以根据检测到的平面，确定光标的可放置范围。最后，可以将所述光标被放置的位置作为所述放置位置。其中，将所述光标被放置的位置作为所述放置位置，具体可以包括，以第一终端所在的初始位置为原点建立坐标系，并确定所述光标被放置的位置在所述坐标系中的光标坐标，并将所述光标坐标作为所述放置位置。具体实现时，可以由第一终端从实景图像中进行平面识别，然后，将所述指定对象素材添加到实景图像中该平面上，避免产生“飘”在空中的现象。此时，关于指定对象素材具体出现在哪个位置点上，可以是由第一终端任意决定，只要位于一个平面上即可。或者，在另一种实现方式下，还可以更进一步，由用户选择具体的指定对象素材的出现位置。具体的，在启动实景图像检测之后，客户端可以首先从采集到的实景图像中进行平面检测，在检测到一个平面之后，如图3-2所示，可以绘制出一个范围，并提供一个可移动的光标，还可以在界面中提示用户将光标放入绘制出的可放置范围内。在用户将光标移动到该可放置范围内之后，光标的颜色可以发生变化，以提示用户的放置位置可用。此时，客户端可以记录下光标具体被放置的位置。具体实现时，为了记录该光标被放置的位置信息，可以有多种方式，例如，在一种方式下，可以将某时刻第一终端所在的位置作为初始位 置(例如，就可以将光标放置好时第一终端所在的位置作为初始位置，等等)，并以该初始位置(可以是第一终端的几何中心点等)作为坐标原点创建坐标系，然后，在光标被放入具体的可放置范围后，就可以记录下光标相对于该坐标系的位置，这样，后续在指定对象素材添加到实景图像中时，就可以以该位置为准进行添加。

另外，如前文所述，在可选的实施方式中，在指定对象素材正式“进入”到实景图像中之前，还可以将用于表示传送通道的素材添加到实景图像中，则在上述方式下，在用户完成光标放置后，还可以在该光标所在的位置处呈现出具体的用于表达传送通道的素材。例如，假设以“传送门”素材作为传送通道，则具体实现时，如图3-3所示，在用户完成光标的放置后，可以提示用户“已确认平面，点击放置传送门”，等等，在用户对光标完成点击之后，就可以在对应的位置出呈现出“传送门”素材。

后续具体在开始向实景图像中添加指定对象素材，该光标可以消失，并且，还可以根据传送通道素材提供动画效果，以用于展示出有指定对象通过所述传送通道进入所述拍摄到的实景图像中的动画过程。例如，如图3-4以及图3-5所示，其示出了上述动画过程中的两个状态，可以看出，其呈现出了即将有人通过该传送门“进入”用户家中的效果。在所述指定对象素材进入到所述实景图像中后，所述用于表示传送通道的素材消失。互动结束时，则可以重新展示所述用于表示传送通道的素材，并提供用于展示有指定对象通过所述传送通道离开的动画过程，完全离开后，所述用于表示传送通道的素材消失。

S203：当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。

具体实现时，开始进行互动的时间点可以是以第二终端中播出的与所述指定对象对应的目标事件相关的。其中，所谓的目标事件具体可以是指与指定对象相关的互动活动开始等事件。例如，在第二终端播放的节目中，到了“明星到你家”环节时，可以在舞台上放置“传送门”(可以是实体的，或者也可以是通过投影的方式虚拟的)等，指定对象从舞台上的“传送门”穿出的事件就可以作为所述目标事件，此时，该时间点也就成为互动的开始时间点，相应的，第一终端就可以执行具体的指定对象素材添加到实景图像中进行展示的相关处理。

其中，所述第二终端中播放的视频可以为直播视频流。这样，由于第二终端中的节目通常是现场直播的，因此，无法按照预先在第一终端中设定好时间的方式，来保持与第二终端发生目标事件的时间点的同步。而由于第二终端中播放的通常是电视信号，虽 然电视信号发送的时间点是相同的，但是，对于不同地理位置的用户而言，信号到达用户的时间点可能会有所不同。也就是说，同样是指定对象从舞台上的“传送门”穿出这一事件，北京的用户可能是在21：00：00从第二终端上看到该事件的发生，而广州的用户则可能是在21：00：02时才看到，等等。因此，即使由第一服务端的工作人员在晚会现场看到事件发生时，统一向各个第一终端发送关于目标事件的通知消息，也可能存在不同地区的用户实际体验到的结果不同的情况，可能有些用户感觉到指定对象的穿越过程与第二终端上的事件可以无缝衔接，而有些用户则可能会感觉不到，可能出现电视节目中指定对象尚未从传送门穿出，但却已经进入到手机中的实景图像中等情况。

为此，在本申请实施例中，由于用户通常是在边看电视的情况下，边用手机等移动终端进行互动，因此，第一终端与第二终端通常是位于同一空间环境中，并且两者相隔的距离不会太远。在该情况下，还可以通过以下方式实现第一终端对第二终端中目标事件的感知：可以由电视节目制作方在所述目标事件发生时刻，在待发送的视频信号中加入一个预置频率的声波信号。这样，随着具体视频信号送到用户的第二终端，该声波信号也会随之送达，并且，该声波信号的频率可以是在人类的听力范围之外，也即，用户并不会感知该声波信号的存在，但是，第一终端则能够感知到该声波信号，进而，第一终端接收所述视频播放时发出的预置频率的声波信号，可以确定所述目标事件的发生。第一终端就可以将该声波信号作为目标事件的发生标志，进而执行后续的互动过程即可。通过这种方式，可以将目标事件的发生标志携带在具体的视频信号中，并通过第二终端传达给第一终端，因此，可以保证用户在第二终端看到的事件，能够更好的与第一终端中看到的图像进行无缝衔接，从而获得更好的体验。

其中，关于所述的声波信号，所述声波信号可以是由所述第二终端中的视频播放到与所述指定对象对应的目标事件时发出的，其具体的频率信息可以是由第一服务端确定的，并由第一服务端提供给第二服务端，由第二服务端在发送视频信号的过程中，如果发现正在发生所述指定对象相关的目标事件，就可以在视频信号对应的位置出插入该声波信号。另一方面，第一服务端也可以通过一些方式将该声波信号的频率信息告知给第一终端，这样，第一终端与第二终端之间就可以通过该声波信号建立联系。需要说明的是，在具体实现时，同一台晚会中，可能会具有多个“明星到你家”环节，对应不同的指定对象，因此，还可以分别为不同的指定对象提供不同频率的声波信号。第一服务端可以将指定对象与声波频率之间的对应关系提供给第二服务端，第二服务端在添加声波信号时，可以根据第一服务端提供的对应关系进行添加；并且，该对应关系也会提供给 第一终端，第一终端可以根据检测到的声波信号的频率的不同，确定出当前事件对应的具体是哪个指定对象。

具体开始互动之后，如前文所述，可以通过基于传送通道的动画作为互动开始的标志，之后，可以将与指定对象素材添加到实景图像中，如果用户已经指定位置，则可以添加到实景图像中对应的位置处。当所述素材未出现在所述第一终端的界面时，确定所述第一终端相对于所述初始位置的变化方向。根据所述变化方向，在所述第一终端的界面中提供相反方向的提示标识。例如，如果指定对象素材添加进来时，用户已经移动了第一终端设备的位置，也即其相对于初始位置已经发生了变化，以至于素材添加进来之后，却并没出现在第一终端的显示屏中。对于此情况，由于之前基于移动终端设备的初始位置(该位置一旦确定就不再变化)创建了坐标系，因此，还可以基于SLAM(Concurrent Mapping and Localization，即时定位与地图构建)等技术，确定出第一终端移动后的位置在该坐标系中的坐标，也即确定出第一终端移动到了什么位置，并且可以确定第一终端相对于初始位置是向什么方向发生了移动，进而就可以引导用户向该方向相反的方向移动其第一终端，以使得已经添加的素材能够出现在第一终端的画面中。如图3-6所示，可以通过“箭头”的方式引导用户对第一终端进行移动。

如前文所述，同一指定对象对应的素材可能有多套，例如，包括跳舞的素材，唱歌的素材等等，则具体在将指定对象素材添加到实景图像之前，还可以为用户提供用于选择具体素材的选项，用户可以进行选择。在用户进行选择的过程中，还可以播放一段固定的视频等，例如，这段固定视频的内容可以是一个盒子，并在不停的跳动，用以表达指定对象正在做换衣服等准备工作，等等。在用户选择了一个具体的素材后，就可以将被选中的素材添加到实景图像中进行展示，例如，如图3-7所示，其为一个具体例子中，展示所述指定素材展示过程中的其中一帧图像，其中，关于人物的部分图像为虚拟图像，人物后面的背景则是用户通过第一终端采集到的实景图像。

其中，由于互动素材中还可以包括由所述指定对象录制的语音样本素材，因此，在添加了所述指定对象素材之后，还可以获得所述第一终端关联用户的用户名称信息，并针对所述关联用户生成该用户专用的问候语语料，其中包括所述用户名称。进而，根据所述语音样本素材将所述问候语预料转化为语音并进行播放。相应的，在指定对象素材中，还可以存在指定对象向用户进行打招呼时的动作、表情等，使得用户感觉到确实是该指定对象本人在跟自己打招呼。其中，关于用户名称，可以根据当前用户登录到的账户，确定对应的用户昵称，或者还可以根据用户预先提供的实名认证信息，获得用户真 实姓名，等等，通过上述方式可以实现针对不同用户的“千人千面”。当然，如果无法获取到某些用户的昵称、真实姓名等，则还可以根据用户的性别、年龄等，为用户生成相对较通用的称呼，等等。

另外，具体在将指定对象素材添加到实景图像中之后，还可以提供拍摄操作选项，通过所述操作选项接收到操作请求时，可以通过对各图像层进行截屏或录屏等方式生成对应的图像(照片或者视频等)。通过这种方式，可以实现与所述指定对象的合影，等等。也就是说，在进行照片或者视频等图像的拍摄时，所述实景图像中还可以包括需要与所述指定对象进行合影的人物实景图像。例如，某用户具体进行互动的过程中，由于其通常是在家中进行互动，身边可能还会有其他人在，如果其他人想要与所述指定对象合影，则可以进入到第一终端的实景图像采集区域，使得第一终端可以采集到他/她的实景图像，之后，用户通过操作所述操作选项，即可实现具体的拍照操作。具体实现时，还可以利用景深信息，区分出实景图像中的人物与虚拟图像中的指定对象之间的前后位置关系，以进一步增强真实感。

其中，由于界面中还包括一些按钮等操作选项，因此，在进行截屏或录屏时，还可以去掉其中用于展示操作选项的图像层，仅对实景图像层以及所述视频/动画所在的图像层进行截屏或者录屏操作，以提高所生成照片或者视频的真实感。

具体实现时，可以通过同一个操作选项提供拍摄照片以及视频的功能，并通过不同的操作方式来区分用户的具体意图。例如，对所述操作选项进行点击操作时对应拍摄照片功能，对所述操作选项进行长按操作时对应拍摄视频功能，等等。也就是说，如果用户只是点击上述操作选项，则可以触发截屏操作，生成照片。如果用户按住操作选项一直不放，则触发录屏操作，直到用户放开为止。另外，具体实现时，还可以对每次录制的视频长度进行限制，例如，每段视频不超过10S，则用户按住操作选项超过10S后，即使仍然按住不放，也会结束录屏操作，生成最长为10S的视频，等等。

再者，在互动过程中，还可以提供对拍摄所得的照片或视频进行分享的操作选项。例如，该操作选项可以位于上述用于拍摄照片或视频的操作选项的一侧，并且可以展示出提示信息，例如：“点击可以分享精彩时刻哦”，等等。在用户进行点击之后，可以提供多个社交网络平台的分享入口，用户可以选择其中的社交网络平台进行分享。

此外，在互动过程中，除了可以播放指定对象对应的视频/动画，或者与指定对象进行拍照留念、分享等操作，还可以为用户提供其他的互动操作选项，例如，还可以提供参加某公益活动的操作选项，如果用户愿意参加，则可以直接通过该操作选项进行点 击。或者，还可以将通过这种渠道参加对应公益活动的人数，与公益活动的完成进度相关联，服务端通过统计这种人数信息，并实时提供给节目现场的导演等工作人员，使得节目现场的布景等可以随着公益活动的完成进度发生相应的变化，例如，节目现场的布景由沙漠逐渐变成绿洲，等等。

在互动结束后，指定对象素材将不会再展示，当然，该指定对象还可能会再次出现在第二终端的画面中，因此，为了更好的展示出用户的“穿越”过程，此时仍然可以再将传送通道的素材进行展示，如图3-8所示，还可以提供用于展示有人物通过所述传送通道离开的动画过程，传送通道素材本身也可以呈现出逐渐变小的过程，完全离开后，所述用于表示传送通道的素材也从画面中消失。

在互动结束后，可以退出对实景图像采集的界面，此时，在可选的实现方案中，还可以提供用于对拍摄所得的各照片或视频进行浏览以及分享的承接页面。也就是说，在互动结束后，可以提供一个承接页面，以用于引导用户对拍摄得到的照片或视频进行分享操作。其中，各个照片或视频在该页面中可以按照拍摄的先后顺序进行排序，例如，如图3-9所示，具体可以从左到右开始按照由近及远的时间进行依次展示，等等。在展示的过程中，用户点击其中任意一个照片或视频，都可以唤起分享组件界面，如图3-10所示，用户可以通过该组件完成具体的分享操作。

总之，通过本申请实施例，可以加载指定对象素材，在具体进行互动的过程中，可以对用户所在的实际环境进行采集实景图像，并在第二终端中播出与所述指定对象对应的目标事件时，将指定对象素材添加到所述实景图像中进行展示。这样，使得用户可以获得特定对象来到自己所在空间环境(例如，自己家中等)的体验，因此，可以提高用户对互动的参与度。

实施例二

该实施例二是与实施例一相对应的，从服务端的角度，提供了一种多屏互动方法，其中，参见图4，该方法具体可以包括：

S401：第一服务端保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

S402：将所述互动素材提供给第一终端，由所述第一终端采集实景图像，当第二终端中的视频播放到与所述指定对象对应的目标事件时，将所述指定对象素材添加到所述实景图像中。

具体实现时，所述指定对象包括指定人物。当然，具体实现时，还可以包括动物、商品、道具等等。

具体在提供互动素材时，可以提供通过对所述指定对象进行拍摄所获得的视频素材。或者，提供以所述指定对象的形象为原型制作的卡通形象，以及基于该卡通形象制作的动画素材。

具体的，在所述指定对象为指定人物时，还可以提供由所述指定人物录制的语音样本素材。

具体实现时，为了使得第一终端更方便的感知第二终端中所述目标事件的发生，第一服务端还可以向所述第二终端对应的第二服务端提供预置频率的声波信号，以用于在所述第二终端中的视频播放到与所述指定对象对应的目标事件时，添加到所述视频中，以便所述第一终端通过检测所述预置频率的声波信号获知所述目标事件的发生。

具体实现时，服务端还可以对各客户端的互动情况进行统计。其中，还可以将统计信息提供给所述第二终端对应的第二服务端，由所述第二服务端将所述统计信息添加到所述第二终端播放的视频中，以用于通过第二终端对统计结果进行公布，或者，还可以统计结果来影响晚会现场的布景，等等。

其中，由于该实施例二是与实施例一相对应的，因此，相关的具体实现可以参见前述实施例一中的记载，这里不再赘述。

实施例三

该实施例三是从第二终端的角度，提供了一种多屏互动方法，参见图5，该方法具体可以包括：

S501：第二终端播放视频；

S502：在所述视频播放到与指定对象相关的目标事件时，播放预置频率的声波信号，以便第一终端通过检测所述声波信号获知所述目标事件的发生，并将指定对象素材添加到采集到的实景图像中。

具体实现时，不同指定对象可以对应不同频率的声波信号。

实施例四

该实施例四是从第二终端对应的第二服务端的角度，提供了一种多屏互动方法，参见图6，该方法具体可以包括：

S601：第二服务端接收第一服务端提供的预置频率的声波信号信息；

S602：在视频中与指定对象相关的目标事件发生的位置插入所述预置频率的声波信号，以便在通过第二终端播放所述视频的过程中，由第一终端通过检测所述声波信号获知所述目标事件的发生，并将指定对象素材添加到采集到的实景图像中。

具体实现时，该第二服务端还可以接收所述第一服务端提供的对第一终端互动情况的统计信息，将所述统计信息添加到所述视频中进行发送，以用于通过所述第二终端进行播放。

实施例五

在前述实施例一至实施例四中，是在第一终端与第二终端之间实现多屏互动，而在实际应用中，用户还可以通过第一终端观看晚会直播节目等视频，在这种情况下，用户在通过第一终端观看视频的过程中，也可以获得“明星到我家”的体验。也即，可以通过同一终端进行观看视频以及互动。

具体的，参见图7，该实施例五提供了一种视频互动方法，该方法具体可以包括：

S701：第一终端加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

S702：当所述第一终端中的视频播放到与所述指定对象相关的目标事件时，跳转到互动界面；

S703：在所述互动界面中展示实景图像采集结果，并将所述指定对象素材添加到所述实景图像中。

也就是说，用户在通过第一终端观看视频的过程中，该视频播放到了与所述指定对象相关的目标事件，则可以跳转到互动界面中，在该互动界面中，可以首先进行实景图像的采集，然后，将指定对象素材添加到所述实景图像中。这样，用户同样获得指定对象从“晚会现场”等地“穿越”到自己所在空间环境的体验。

关于该实施例五中其他的具体实现，可以参见前述各实施例中的记载，这里不再赘述。

实施例六

该实施例六是与实施例五相对应的，从第一服务端的角度提供了一种视频互动方法，参见图8，该方法具体可以包括：

S801：第一服务端保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

S802：将所述互动素材提供给第一终端，以便所述第一终端中的视频播放到与所述 指定对象相关的目标事件时，跳转到互动界面，并在所述互动界面中展示实景图像采集结果，并将所述指定对象素材添加到所述实景图像中。

实施例七

在前述各实施例中，均是以手机等第一终端为执行主体来提供具体的互动结果，而在实际应用中，该方案还可以扩展至其他场景，例如，除了手机之外，还可以将智能眼镜等可穿戴设备作为第一终端，除了可以与第二终端或者第一终端中播放的视频进行互动，还可以是与电影屏幕中播放的视频，或者现场观看的表演、演出、商家促销活动、体育赛事等等相关事件的过程中，进行具体的互动过程。为此，该实施例七提供了另一种互动方法，参见图9，该方法具体可以包括：

S901：第一终端加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

在具体实现时，由于该实施例中的应用场景可以不进行限定，因此，在提供具体的互动界面之前，还可以提供用于加载互动素材的界面，在该界面中，可以提供多种可选的互动素材，例如，与当前各大院线正在上映的电影相关的素材，与线下的演出、促销活动、比赛等事件相关的素材，等等，用户可以从中选择自己所需的素材进行下载。另外，在具体实现时，由于一些应用程序为用户提供了线上订票的功能，用户可以通过线上操作的方式来订票，其中不仅可以包括电影票，还可以包括各种演出、比赛等相关的门票。因此，具体提供互动素材时，还可以根据用户的具体订票信息进行提供，例如，在用户通过某在线订票系统预订了某电影票时，如果刚好存在与该电影相关的互动素材，则可以提示用户进行下载，等等。需要说明的是，在本申请实施例中，下载的互动素材可以保存在手机等终端本地，或者，还可以下载到可穿戴设备等终端中，以更方便的在观看电影、演出等过程中进行互动。

在该实施例中，具体的指定对象同样可以是指指定人物、商品、道具等等。

S902：采集实景图像；

通常，可穿戴设备带有摄像头等装置，因此，可以通过可穿戴设备等进行实景图像的采集，用户在该观看电影、演出等过程中，实际透过眼镜等可穿戴设备看到的图像，可以是这种眼镜采集到的实景图像。

S903：当检测到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。

具体的目标事件可以是指定对象出现在具体的电影、演出、比赛、促销活动等过程中，等等。具体在对目标事件进行检测时，可以有多种方式，例如，一种方式下，可以由电影、演出、比赛、促销活动的放映方或者举办方，在具体的事件节点上插入一些声波信息等，可穿戴设备等通过检测这种信号的方式获知具体事件的发生。或者，在其他的实现方式下，还可以直接通过对采集到的实景图像进行分析等方式来获知目标事件的发生。例如，具体在使用可穿戴设备进行互动的过程中，可穿戴设备摄像头采集到的实景图像与用户实际观看到的实景图像通常是相同的，或者具有相互重叠的部分，则如果用户看到某目标事件发生，则该摄像头实际上也能够采集到对应事件的信息，另外，可穿戴设备也可以带有声音采集器等，因此，可以通过图像分析、语音分析等方式来获知具体目标事件的发生，等等。

与实施例一相对应，本申请实施例还提供了一种多屏互动装置，具体的，参见图10，该装置应用于第一终端，包括：

第一素材加载单元1001，用于加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

第一实景图像采集单元1002，用于采集实景图像；

第一素材添加单元1003，用于当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。

其中，所述第二终端中播放的视频为直播视频流。

所述第一终端接收所述视频播放时发出的预置频率的声波信号，确定所述目标事件的发生。其中，所述声波信号可以由所述第二终端中的视频播放到与所述指定对象对应的目标事件时发出的。

其中，所述第一素材添加单元具体可以用于：

将所述指定对象素材添加到所述实景图像中包括的平面上进行展示。

具体实现时，该装置还可以包括：

放置位置确定单元，用于所述添加所述指定对象素材之前，确定采集到的实景图像中的放置位置；

所述第一素材添加单元具体可以用于：将所述指定对象素材添加到所述放置位置处。

其中，所述放置位置确定单元具体可以用于：

确定所述采集到的实景图像中的平面位置，所述放置位置位于的所述平面位置中。

具体的，所述放置位置确定单元具体可以包括：

平面检测子单元，用于在采集到的实景图像中进行平面检测；

光标提供子单元，用于提供光标，根据检测到的平面，确定光标的可放置范围；

放置位置确定子单元，用于将所述光标被放置的位置作为所述放置位置。

其中，所述放置位置确定子单元具体可以包括：

坐标系建立子单元，用于以第一终端所在的初始位置为原点建立坐标系；

坐标确定子单元，用于确定所述光标被放置的位置在所述坐标系中的光标坐标；

位置确定子单元，用于将所述光标坐标作为所述放置位置。

具体的，所述装置还可以包括：

变化方向确定单元，用于在将所述指定对象素材添加到所述放置位置处后，当所述素材未出现在所述第一终端的界面时，确定所述第一终端相对于所述初始位置的变化方向；

提示单元，用于根据所述变化方向，在所述第一终端的界面中提供相反方向的提示标识。

具体实现时，所述互动素材还可以包括用于表示传送通道的素材，该装置还可以包括：

通道素材添加单元，用于在所述采集实景图像步骤之后，将所述用于表示传送通道的素材添加到所述实景图像中。

其中，所述第一素材添加单元具体可以用于：

基于所述传送通道素材，展示所述指定对象通过所述传送通道进入所述拍摄到的实景图像中的过程。

另外，所述互动素材中还可以包括由所述指定对象录制的语音样本素材；

所述装置还可以包括：

用户名称获得单元，用于获得所述第一终端关联用户的用户名称信息；

问候语料生成单元，用于针对所述关联用户生成包括该用户名称的问候语语料；

播放单元，用于根据所述语音样本素材，将所述问候语预料转化为语音并播放。

其中，所述指定对象素材为同一指定对象对应的多套素材，所述装置还包括：

素材选择选项提供单元，哟关于提供用于对所述指定对象素材进行选择的操作选项；

所述第一素材添加单元可以用于：

将被选中的指定对象素材添加到所述实景图像中。

另外，该装置还可以包括：

拍摄选项提供单元，用于在对所述指定对象素材添加到所述实景图像中进行展示的过程中，提供拍摄操作选项；

图像生成单元，用于通过所述拍摄操作选项接收操作请求，根据各图像层，生成对应的图像，所述图像层包括实景图像、指定对像素材的图像。

其中，所述图像生成单元具体可以用于：

对各图像层进行截屏或录屏，并去掉其中用于展示操作选项的图像层，生成拍摄图像。

具体实现时，所述实景图像中还包括与所述指定对象进行合影的人物图像。

另外，还可以包括：

分享选项提供单元，用于提供对拍摄图像进行分享的操作选项。

再者，还包括：

承接页面提供单元，用于提供对拍摄图像进行浏览以及分享的承接页面。

具体实现时，所述指定对象包括指定人物的信息。

或者，所述指定对象包括指定商品的信息。

具体的，还包括：

抢购选项提供单元，用于所述将所述指定对象素材添加到所述实景图像中之后，提供用于对所述指定商品关联的数据对象进行抢购的操作选项；

提交单元，用于通过该操作选项接收到抢购操作时，提交到服务端，由服务端确定抢购结果。

另外，所述指定对象包括线下游戏相关的道具信息。

此时，该装置还可以包括：

操作信息提交单元，用于所述将所述指定对象素材添加到所述实景图像中之后，接收到对所述目标道具进行操作信息时，将所述操作信息提交到服务端，由所述服务端确定该操作所获得的奖励信息并返回；

奖励信息提供单元，用于提供所获得的奖励信息。

其中，所述指定对象素材包括通过对所述指定对象进行拍摄所获得的视频素材。

或者，所述指定对象素材包括：以所述指定对象的形象为原型制作的卡通形象，以 及基于该卡通形象制作的动画素材。

与实施例二相对应，本申请实施例还提供了一种多屏互动装置，参见图11，该装置应用于第一服务端，包括：

第一互动素材保存单元1101，用于保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

第一互动素材提供单元1102，用于将所述互动素材提供给第一终端，由所述第一终端采集实景图像，当第二终端中的视频播放到与所述指定对象对应的目标事件时，将所述指定对象素材添加到所述实景图像中。

其中，所述指定对象包括指定人物。

具体的，所述第一互动素材保存单元具体可以用于：保存通过对所述指定对象进行拍摄所获得的视频素材。

或者，保存以所述指定对象的形象为原型制作的卡通形象，以及基于该卡通形象制作的动画素材。

其中，所述指定对象包括指定人物，所述第一互动素材保存单元还可以用于：

保存由所述指定人物录制的语音样本素材。

另外，该装置还可以包括：

声波信号信息提供单元，用于向所述第二终端对应的第二服务端提供预置频率的声波信号，以用于在所述第二终端中的视频播放到与所述指定对象对应的目标事件时，添加到所述视频中，以便所述第一终端通过检测所述预置频率的声波信号获知所述目标事件的发生。

另外，还可以包括：

统计单元，用于对各第一终端的互动情况进行统计；

统计信息提供单元，用于将统计信息提供给所述第二终端对应的第二服务端，由所述第二服务端将所述统计信息添加到所述第二终端播放的视频中。

与实施例三相对应，本申请实施例还提供了一种多屏互动装置，参见图12，该装置应用于第二终端，包括：

视频播放单元1201，用于播放视频；

声波信号播放单元1202，用于在所述视频播放到与指定对象相关的目标事件时，播放预置频率的声波信号，以便第一终端通过检测所述声波信号获知所述目标事件的发生，并将指定对象素材添加到采集到的实景图像中。

其中，不同指定对象对应不同频率的声波信号。

与实施例四相对应，本申请实施例还提供了一种多屏互动装置，参见图13，该装置应用于第二服务端，包括：

声波信号信息接收单元1301，用于接收第一服务端提供的预置频率的声波信号信息；

声波信号信息插入单元1302，用于在视频中与指定对象相关的目标事件发生的位置插入所述预置频率的声波信号，以便在通过第二终端播放所述视频的过程中，由第一终端通过检测所述声波信号获知所述目标事件的发生，并将指定对象素材添加到采集到的实景图像中。

其中，该装置还可以包括：

统计信息接收单元，用于接收所述第一服务端提供的对第一终端互动情况的统计信息；

统计信息播放单元，用于将所述统计信息添加到所述视频中进行发送，以用于通过所述第二终端进行播放。

与实施例五相对应，本申请实施例还提供了一种视频互动装置，参见图14，该装置应用于第一终端，包括：

加载单元1401，用于加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

界面跳转单元1402，用于当所述第一终端中的视频播放到与所述指定对象相关的目标事件时，跳转到互动界面；

素材添加单元1403，用于在所述互动界面中展示实景图像采集结果，并将所述指定对象素材添加到所述实景图像中。

与实施例六相对应，本申请实施例还提供了一种视频互动装置，参见图15，该装置应用于第一服务端，包括：

第二素材保存单元1501，用于保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

第二素材提供单元1502，用于将所述互动素材提供给第一终端，以便所述第一终端中的视频播放到与所述指定对象相关的目标事件时，跳转到互动界面，并在所述互动界面中展示实景图像采集结果，并将所述指定对象素材添加到所述实景图像中。

与实施例七相对应，本申请实施例还提供了一种互动装置，参见图16，该装置可以包括：

第二素材加载单元1601，用于加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

第二实景图像采集单元1602，用于采集实景图像；

第二素材添加单元1603，用于当检测到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。

另外，本申请实施例还提供了一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

采集实景图像；

当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。

其中，图17示例性的展示出了电子设备的架构，例如，设备1700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，飞行器等。

参照图17，设备1700可以包括以下一个或多个组件：处理组件1702，存储器1704，电源组件1706，多媒体组件1708，音频组件1710，输入/输出(I/O)的接口1712，传感器组件1714，以及通信组件1716。

处理组件1702通常控制设备1700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件1702可以包括一个或多个处理器1720来执行指令，以完成本公开技术方案提供的视频播放方法中的当满足预设条件时，生成流量压缩请求，并发送给服务器，其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息，所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率；根据服务器返回的码流文件播放所述码流文件对应的视频内容，其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件的全部或部分步骤。此外，处理组件1702可以包括一个或多 个模块，便于处理组件1702和其他组件之间的交互。例如，处理部件1702可以包括多媒体模块，以方便多媒体组件1708和处理组件1702之间的交互。

存储器1704被配置为存储各种类型的数据以支持在设备1700的操作。这些数据的示例包括用于在设备1700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1706为设备1700的各种组件提供电力。电源组件1706可以包括电源管理系统，一个或多个电源，及其他与为设备1700生成、管理和分配电力相关联的组件。

多媒体组件1708包括在设备1700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1708包括一个前置摄像头和/或后置摄像头。当设备1700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1710被配置为输出和/或输入声波信号。例如，音频组件1710包括一个麦克风(MIC)，当设备1700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部声波信号。所接收的声波信号可以被进一步存储在存储器1704或经由通信组件1716发送。在一些实施例中，音频组件1710还包括一个扬声器，用于输出声波信号。

I/O接口1712为处理组件1702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1714包括一个或多个传感器，用于为设备1700提供各个方面的状态评估。例如，传感器组件1714可以检测到设备1700的打开/关闭状态，组件的相对定位，例如所述组件为设备1700的显示器和小键盘，传感器组件1714还可以检测设备1700 或设备1700一个组件的位置改变，用户与设备1700接触的存在或不存在，设备1700方位或加速/减速和设备1700的温度变化。传感器组件1714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近商品的存在。传感器组件1714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1716被配置为便于设备1700和其他设备之间有线或无线方式的通信。设备1700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件1716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件1716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备1700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1704，上述指令可由设备1700的处理器1720执行以完成本公开技术方案提供的视频播放方法中的当满足预设条件时，生成流量压缩请求，并发送给服务器，其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息，所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率；根据服务器返回的码流文件播放所述码流文件对应的视频内容，其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者 实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本申请所提供的多屏互动方法、装置及电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (48)

1. 一种多屏互动方法，其特征在于，包括：

   第一终端加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

   采集实景图像；

   当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。
2. 根据权利要求1所述的方法，其特征在于，所述第二终端中播放的视频为直播视频流。
3. 根据权利要求1所述的方法，其特征在于，所述第一终端接收所述视频播放时发出的预置频率的声波信号，确定所述目标事件的发生。
4. 根据权利要求3所述的方法，其特征在于，所述声波信号由所述第二终端中的视频播放到与所述指定对象对应的目标事件时发出的。
5. 根据权利要求1所述的方法，其特征在于，所述将所述指定对象素材添加到所述实景图像中，包括：

   将所述指定对象素材添加到所述实景图像中包括的平面上进行展示。
6. 根据权利要求5所述的方法，其特征在于，

   所述添加所述指定对象素材之前，还包括：

   确定采集到的实景图像中的放置位置；

   所述将所述指定对象素材添加到所述实景图像中，包括：

   将所述指定对象素材添加到所述放置位置处。
7. 根据权利要求6所述的方法，其特征在于，

   所述确定采集到的实景图像中的放置位置，包括：

   确定所述采集到的实景图像中的平面位置，所述放置位置位于的所述平面位置中。
8. 根据权利要求7所述的方法，其特征在于，

   所述确定所述采集到的实景图像中的平面位置，所述放置位置位于的所述平面位置中，包括：

   在采集到的实景图像中进行平面检测；

   提供光标，根据检测到的平面，确定光标的可放置范围；

   将所述光标被放置的位置作为所述放置位置。
9. 根据权利要求8所述的方法，其特征在于，所述将所述光标被放置的位置作为 所述放置位置，包括：

   以第一终端所在的初始位置为原点建立坐标系；

   确定所述光标被放置的位置在所述坐标系中的光标坐标；

   将所述光标坐标作为所述放置位置。
10. 根据权利要求9所述的方法，其特征在于，还包括：

    在将所述指定对象素材添加到所述放置位置处后，当所述素材未出现在所述第一终端的界面时，确定所述第一终端相对于所述初始位置的变化方向；

    根据所述变化方向，在所述第一终端的界面中提供相反方向的提示标识。
11. 根据权利要求1所述的方法，其特征在于，所述互动素材还包括用于表示传送通道的素材，在所述采集实景图像步骤之后，还包括：

    将所述用于表示传送通道的素材添加到所述实景图像中。
12. 根据权利要求11所述的方法，其特征在于，还包括：

    所述将所述指定对象素材添加到所述实景图像具体包括：

    基于所述传送通道素材，展示所述指定对象通过所述传送通道进入所述实景图像中的过程。
13. 根据权利要求1所述的方法，其特征在于，所述互动素材中还包括由所述指定对象录制的语音样本素材；

    所述方法还包括：

    获得所述第一终端关联用户的用户名称信息；

    针对所述关联用户生成包括该用户名称的问候语语料；

    根据所述语音样本素材，将所述问候语预料转化为语音并播放。
14. 根据权利要求1所述的方法，其特征在于，所述指定对象素材为同一指定对象对应的多套素材，所述方法还包括：

    提供用于对所述指定对象素材进行选择的操作选项；

    所述将所述指定对象素材添加到所述实景图像中，包括：

    将被选中的指定对象素材添加到所述实景图像中。
15. 根据权利要求1所述的方法，其特征在于，还包括：

    在对所述指定对象素材添加到所述实景图像中进行展示的过程中，提供拍摄操作选项；

    通过所述拍摄操作选项接收操作请求，根据各图像层，生成对应的图像，所述图像 层包括实景图像、指定对像素材的图像。
16. 根据权利要求15所述的方法，其特征在于，所述根据各图像层，生成拍摄图像，包括：

    对各图像层进行截屏或录屏，并去掉其中用于展示操作选项的图像层，生成拍摄图像。
17. 根据权利要求15所述的方法，其特征在于，所述实景图像中还包括与所述指定对象进行合影的人物图像。
18. 根据权利要求15所述的方法，其特征在于，还包括：

    提供对拍摄图像进行分享的操作选项。
19. 根据权利要求15所述的方法，其特征在于，还包括：

    提供对拍摄图像进行浏览以及分享的承接页面。
20. 根据权利要求1至19任一项所述的方法，其特征在于，所述指定对象包括指定人物的信息。
21. 根据权利要求1至19任一项所述的方法，其特征在于，所述指定对象包括指定商品的信息。
22. 根据权利要求21所述的方法，其特征在于，所述将所述指定对象素材添加到所述实景图像中之后，还包括：

    提供用于对所述指定商品关联的数据对象进行抢购的操作选项；

    通过该操作选项接收到抢购操作时，提交到服务端，由服务端确定抢购结果。
23. 根据权利要求1至19任一项所述的方法，其特征在于，所述指定对象包括线下游戏相关的道具信息。
24. 根据权利要求23所述的方法，其特征在于，所述将所述指定对象素材添加到所述实景图像中之后，还包括：

    接收到对所述目标道具进行操作信息时，将所述操作信息提交到服务端，由所述服务端确定该操作所获得的奖励信息并返回；

    提供所获得的奖励信息。
25. 根据权利要求1至19任一项所述的方法，其特征在于，所述指定对象素材包括通过对所述指定对象进行拍摄所获得的视频素材。
26. 根据权利要求1至19任一项所述的方法，其特征在于，所述指定对象素材包括：以所述指定对象的形象为原型制作的卡通形象，以及基于该卡通形象制作的动画素 材。
27. 一种多屏互动方法，其特征在于，包括：

    第一服务端保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

    将所述互动素材提供给第一终端，由所述第一终端采集实景图像，当第二终端中的视频播放到与所述指定对象对应的目标事件时，将所述指定对象素材添加到所述实景图像中。
28. 根据权利要求27所述的方法，其特征在于，所述指定对象包括指定人物。
29. 根据权利要求27所述的方法，其特征在于，所述保存互动素材，包括：

    保存通过对所述指定对象进行拍摄所获得的视频素材。
30. 根据权利要求27所述的方法，其特征在于，所述保存互动素材，包括：

    保存以所述指定对象的形象为原型制作的卡通形象，以及基于该卡通形象制作的动画素材。
31. 根据权利要求27所述的方法，其特征在于，所述指定对象包括指定人物，所述保存互动素材，还包括：

    保存由所述指定人物录制的语音样本素材。
32. 根据权利要求27所述的方法，其特征在于，所述方法之前还包括：

    向所述第二终端对应的第二服务端提供预置频率的声波信号，以用于在所述第二终端中的视频播放到与所述指定对象对应的目标事件时，添加到所述视频中，以便所述第一终端通过检测所述预置频率的声波信号获知所述目标事件的发生。
33. 根据权利要求27所述的方法，其特征在于，还包括：

    对各第一终端的互动情况进行统计；

    将统计信息提供给所述第二终端对应的第二服务端，由所述第二服务端将所述统计信息添加到所述第二终端播放的视频中。
34. 一种多屏互动方法，其特征在于，包括：

    第二终端播放视频；

    在所述视频播放到与指定对象相关的目标事件时，播放预置频率的声波信号，以便第一终端通过检测所述声波信号获知所述目标事件的发生，并将指定对象素材添加到采集到的实景图像中。
35. 根据权利要求34所述的方法，其特征在于，不同指定对象对应不同频率的声波信号。
36. 一种多屏互动方法，其特征在于，包括：

    第二服务端接收第一服务端提供的预置频率的声波信号信息；

    在视频中与指定对象相关的目标事件发生的位置插入所述预置频率的声波信号，以便在通过第二终端播放所述视频的过程中，由第一终端通过检测所述声波信号获知所述目标事件的发生，并将指定对象素材添加到采集到的实景图像中。
37. 根据权利要求36所述的方法，其特征在于，还包括：

    接收所述第一服务端提供的对第一终端互动情况的统计信息；

    将所述统计信息添加到所述视频中进行发送，以用于通过所述第二终端进行播放。
38. 一种视频互动方法，其特征在于，包括：

    第一终端加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

    当所述第一终端中的视频播放到与所述指定对象相关的目标事件时，跳转到互动界面；

    在所述互动界面中展示实景图像采集结果，并将所述指定对象素材添加到所述实景图像中。
39. 一种视频互动方法，其特征在于，包括：

    第一服务端保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

    将所述互动素材提供给第一终端，以便所述第一终端中的视频播放到与所述指定对象相关的目标事件时，跳转到互动界面，并在所述互动界面中展示实景图像采集结果，并将所述指定对象素材添加到所述实景图像中。
40. 一种互动方法，其特征在于，包括：

    加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

    采集实景图像；

    当检测到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。
41. 一种多屏互动装置，其特征在于，应用于第一终端，包括：

    第一素材加载单元，用于加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

    第一实景图像采集单元，用于采集实景图像；

    第一素材添加单元，用于当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。
42. 一种多屏互动装置，其特征在于，应用于第一服务端，包括：

    第一互动素材保存单元，用于保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

    第一互动素材提供单元，用于将所述互动素材提供给第一终端，由所述第一终端采集实景图像，当第二终端中的视频播放到与所述指定对象对应的目标事件时，将所述指定对象素材添加到所述实景图像中。
43. 一种多屏互动装置，其特征在于，应用于第二终端，包括：

    视频播放单元，用于播放视频；

    声波信号播放单元，用于在所述视频播放到与指定对象相关的目标事件时，播放预置频率的声波信号，以便第一终端通过检测所述声波信号获知所述目标事件的发生，并将指定对象素材添加到采集到的实景图像中。
44. 一种多屏互动装置，其特征在于，应用于第二服务端，包括：

    声波信号信息接收单元，用于接收第一服务端提供的预置频率的声波信号信息；

    声波信号信息插入单元，用于在视频中与指定对象相关的目标事件发生的位置插入所述预置频率的声波信号，以便在通过第二终端播放所述视频的过程中，由第一终端通过检测所述声波信号获知所述目标事件的发生，并将指定对象素材添加到采集到的实景图像中。
45. 一种视频互动装置，其特征在于，应用于第一终端，包括：

    加载单元，用于加载互动素材，所述互动素材包括根据指定对象创建的指定对象素 材；

    界面跳转单元，用于当所述第一终端中的视频播放到与所述指定对象相关的目标事件时，跳转到互动界面；

    素材添加单元，用于在所述互动界面中展示实景图像采集结果，并将所述指定对象素材添加到所述实景图像中。
46. 一种视频互动装置，其特征在于，应用于第一服务端，包括：

    第二素材保存单元，用于保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

    第二素材提供单元，用于将所述互动素材提供给第一终端，以便所述第一终端中的视频播放到与所述指定对象相关的目标事件时，跳转到互动界面，并在所述互动界面中展示实景图像采集结果，并将所述指定对象素材添加到所述实景图像中。
47. 一种互动装置，其特征在于，包括：

    第二素材加载单元，用于加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

    第二实景图像采集单元，用于采集实景图像；

    第二素材添加单元，用于当检测到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。
48. 一种电子设备，其特征在于，包括：

    一个或多个处理器；以及

    与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

    加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

    采集实景图像；

    当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中。

Images