WO2019134235A1 - 一种直播互动方法、装置、终端设备及存储介质 - Google Patents

一种直播互动方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
WO2019134235A1
WO2019134235A1 PCT/CN2018/077327 CN2018077327W WO2019134235A1 WO 2019134235 A1 WO2019134235 A1 WO 2019134235A1 CN 2018077327 W CN2018077327 W CN 2018077327W WO 2019134235 A1 WO2019134235 A1 WO 2019134235A1
Authority
WO
WIPO (PCT)
Prior art keywords
interaction
client
live
video
video stream
Prior art date
Application number
PCT/CN2018/077327
Other languages
English (en)
French (fr)
Inventor
张国梁
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2019134235A1 publication Critical patent/WO2019134235A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

本申请公开了一种直播互动方法、装置、终端设备及存储介质，该直播互动方法包括服务端执行的如下步骤：实时接收第一客户端上传的直播视频流；对直播视频流进行动画合成处理，得到第一合成视频流；将第一合成视频流发送到第二客户端进行播放；若接收到第二客户端发送的互动操作指令，则获取互动操作指令对应的目标反应视频；对目标反应视频进行动画转换，并将转换后的目标反应视频与当前的直播视频流进行合成，得到第二合成视频流；将第二合成视频流发送到第二客户端进行播放。本申请的技术方案提高了网络直播过程中主播与每个用户的直播互动性，也使用户增加交互的积极性和主动性，提高直播互动的智能化水平。

Description

一种直播互动方法、装置、终端设备及存储介质
本专利申请以2018年1月8日提交的申请号为201810014420.3，名称为“一种直播互动方法、装置、终端设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
技术领域
本申请涉及互联网技术领域，尤其涉及一种直播互动方法、装置、终端设备及存储介质。
背景技术
网络直播吸取和延续了互联网的优势，利用视讯方式进行网上现场直播，可以将产品展示、相关会议、背景介绍、方案测评、网上调查、对话访谈、在线培训等内容现场发布到互联网上，利用互联网的直观、快速、表现形式好、内容丰富、交互性强，以及地域不受限制等特点，加强活动现场的推广效果。现场直播完成后，还可以随时为读者继续提供重播、点播，有效延长了直播的时间和空间，发挥直播内容的最大价值。
目前，随着网络直播行业的兴起，网络直播的传播模式也越来越受到大众的欢迎，随着网络直播行业的快速发展，网络直播的用户也在不断的增加。在直播间的主播进行直播时，观众的参与度也越来越高，观众通过弹幕或者送礼物与主播进行互动，已经越来越频繁。
但是由于直播和观众是一对多的关系，观众通过弹幕或者送礼物与主播进行互动时，主播很难针对每个观众的请求作出响应，从而在一定程度上限制了观众交互的主动性。
发明内容
本申请实施例提供一种直播互动方法、装置、终端设备及存储介质，以解决当前一对多的直播互动方式导致直播互动性和交互主动性均不高的问题。
第一方面，本申请实施例提供一种直播互动方法，包括服务端执行的如下步骤：
实时接收第一客户端上传的直播视频流；
对所述直播视频流进行动画合成处理，得到第一合成视频流；
将所述第一合成视频流发送到第二客户端进行播放；
在所述第一合成视频流的播放过程中，若接收到所述第二客户端发送的互动操作指令，则根据预设的互动操作与反应视频之间的映射关系，获取所述互动操作指令对应的目标反应视频，其中，所述互动操作指令由所述第二客户端根据用户的触摸操作生成；
对所述目标反应视频进行动画转换，并将转换后的目标反应视频与当前的所述直播视频流进行合成，得到第二合成视频流；
将所述第二合成视频流发送到所述第二客户端进行播放。
第二方面，本申请实施例提供一种直播互动方法，包括第二客户端执行的如下步骤：
接收并播放服务端发送的第一合成视频流，使得在所述第二客户端的直播窗口显示所述第一合成视频流包含的第一直播视频，在所述第二客户端的动画窗口显示所述第一直播视频对应的第一动画视频；
在所述第一合成视频流的播放过程中，对所述第一直播视频的图像进行图像识别，确定互动对象在所述直播窗口中的区域位置；
若检测到用户在所述直播窗口中的特定触摸操作，则根据所述特定触摸操作和所述互动对象的所述区域位置，确定所述特定触摸操作对应的互动操作指令；
将所述互动操作指令发送给所述服务端；
若接收到所述服务端发送的所述第二合成视频流，则播放所述第二合成视频流，使得在所述直播窗口显示所述第二合成视频流包含的第二直播视频，在所述动画窗口显示第二动画视频，其中，所述第二动画视频为根据所述互动操作指令得到的目标反应视频对应的动画视频。
第三方面，本申请实施例提供一种直播互动装置，包括服务端，服务端包括：
直播视频接收模块，用于实时接收第一客户端上传的直播视频流；
第一视频合成模块，用于对所述直播视频流进行动画合成处理，得到第一合成视频流；
第一视频发送模块，用于将所述第一合成视频流发送到第二客户端进行播放；
反应视频匹配模块，用于在所述第一合成视频流的播放过程中，若接收到所述第 二客户端发送的互动操作指令，则根据预设的互动操作与反应视频之间的映射关系，获取所述互动操作指令对应的目标反应视频，其中，所述互动操作指令由所述第二客户端根据用户的触摸操作生成；
第二视频合成模块，用于对所述目标反应视频进行动画转换，并将转换后的目标反应视频与当前的所述直播视频流进行合成，得到第二合成视频流；
第二视频发送模块，用于将所述第二合成视频流发送到所述第二客户端进行播放。
第四方面，本申请实施例提供一种直播互动装置，包括第二客户端，第二客户端包括：
第一视频播放模块，用于接收并播放服务端发送的第一合成视频流，使得在所述第二客户端的直播窗口显示所述第一合成视频流包含的第一直播视频，在所述第二客户端的动画窗口显示所述第一直播视频对应的第一动画视频；
对象识别模块，用于在所述第一合成视频流的播放过程中，对所述第一直播视频的图像进行图像识别，确定互动对象在所述直播窗口中的区域位置；
互动指令生成模块，用于若检测到用户在所述直播窗口中的特定触摸操作，则根据所述特定触摸操作和所述互动对象的所述区域位置，确定所述特定触摸操作对应的互动操作指令；
互动指令发送模块，用于将所述互动操作指令发送给所述服务端；
第二视频播放模块，用于若接收到所述服务端发送的所述第二合成视频流，则播放所述第二合成视频流，使得在所述直播窗口显示所述第二合成视频流包含的第二直播视频，在所述动画窗口显示第二动画视频，其中，所述第二动画视频为根据所述互动操作指令得到的目标反应视频对应的动画视频。
第五方面，本申请实施例提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现直播互动方法的步骤。
第六方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现直播互动方法的步骤。
本申请实施例与现有技术相比具有如下优点：本申请实施例提供的直播互动方法、装置、终端设备及存储介质，在直播过程中，服务端通过对直播视频流进行动画 合成处理，得到第一合成视频流，并将该第一合成视频流发送到第二客户端进行播放，使得在第二客户端的直播窗口显示直播视频，在动画窗口同步显示该直播视频对应的具有动画效果的动画视频，当第二客户端的用户在直播窗口进行特定触摸操作时，第二客户端根据该特定触摸操作以及直播窗口中互动对象的区域位置确定该特定触摸操作对应的互动操作指令，并将该互动操作指令发送给服务端，服务端根据该互动操作指令匹配对应的目标反应视频，并对目标反应视频进行动画转换，将转换后的目标反应视频流与当前的直播视频流进行合成，得到第二合成视频流，并将该第二合成视频流发送到第二客户端进行播放，使得在第二客户端的直播窗口继续显示直播视频的同时，在动画窗口显示目标反应视频对应的动画视频，从而实现了第二客户端的观众用户在直播窗口发起特定动作时，能够在动画窗口播放该特定动作对应的反应视频的动画效果画面，并且该动画窗口显示的动画效果画面仅与该用户的特定动作相关，使得用户与主播之间从一对多的直播互动方式转变为一对一的直播互动方式，从而提高网络直播过程中主播与每个用户的直播互动性，也使用户增加交互的积极性和主动性，提高直播互动的智能化水平。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例1提供的直播互动方法中直播互动系统的网络结构示意图；
图2是本申请实施例1提供的直播互动方法的实现流程图；
图3是本申请实施例1提供的直播互动方法中服务端建立互动操作与反应视频之间的映射关系的实现流程图；
图4是本申请实施例1提供的直播互动方法中服务端生成互动操作记录的实现流程图；
图5是本申请实施例1提供的直播互动方法中步骤S106的实现流程图；
图6是本申请实施例2提供的直播互动装置的示意图；
图7是本申请实施例4提供的终端设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例1
本申请实施例的直播互动方法应用于直播互动系统中。如图1所示，图1为直播互动系统的网络结构示意图，该直播互动系统包括第一客户端、第二客户端和服务端。其中，第一客户端为网络直播的主播端，第二客户端为网络直播的观众端，并且第二客户端可以同时存在多个。第一客户端和第二客户端之间通过服务端实现信息交互。
第一客户端和第二客户端具体可以是手机、平板电脑、个人计算机(Personal Computer，PC)等智能终端设备，服务端具体可以是流媒体服务器，其可以是一台服务器，或者由若干服务器组成的服务器集群，还可以是一个云计算服务中心。
第一客户端与服务端之间，以及第二客户端与服务端之间均通过网络传播介质进行连接，具体网络传播介质可以是有线或无线等。
本申请实施例中的直播互动方法具体包括服务端执行的如下步骤：
实时接收第一客户端上传的直播视频流；
对所述直播视频流进行动画合成处理，得到第一合成视频流；
将所述第一合成视频流发送到第二客户端进行播放；
在所述第一合成视频流的播放过程中，若接收到所述第二客户端发送的互动操作指令，则根据预设的互动操作与反应视频之间的映射关系，获取所述互动操作指令对应的目标反应视频，其中，所述互动操作指令由所述第二客户端根据用户的触摸操作生成；
对所述目标反应视频进行动画转换，并将转换后的目标反应视频与当前的所述直播视频流进行合成，得到第二合成视频流；
将所述第二合成视频流发送到所述第二客户端进行播放。
本申请实施例中的直播互动方法具体还包括第二客户端执行的如下步骤：
接收并播放服务端发送的第一合成视频流，使得在所述第二客户端的直播窗口显示所述第一合成视频流包含的第一直播视频，在所述第二客户端的动画窗口显示所述第一直播视频对应的第一动画视频；
在所述第一合成视频流的播放过程中，对所述第一直播视频的图像进行图像识别，确定互动对象在所述直播窗口中的区域位置；
若检测到用户在所述直播窗口中的特定触摸操作，则根据所述特定触摸操作和所述互动对象的所述区域位置，确定所述特定触摸操作对应的互动操作指令；
将所述互动操作指令发送给所述服务端；
若接收到所述服务端发送的所述第二合成视频流，则播放所述第二合成视频流，使得在所述直播窗口显示所述第二合成视频流包含的第二直播视频，在所述动画窗口显示第二动画视频，其中，所述第二动画视频为根据所述互动操作指令得到的目标反应视频对应的动画视频。
请参阅图2，图2示出了本实施例提供的直播互动方法的实现流程。详述如下：
S101：服务端实时接收第一客户端上传的直播视频流。
在本申请实施例中，直播视频流为第一客户端的主播用户在进行网络直播时向服务端传输的视频流，具体地，该直播视频流可以通过实时消息传输协议(Real Time Messaging Protocol，RTMP)进行传输。
S102：服务端对直播视频流进行动画合成处理，得到第一合成视频流。
具体地，服务端对直播视频流进行解码，得到连续的直播视频帧组，该直播视频帧组包含预设帧数的直播视频帧，服务端使用预设的动画转换器对直播视频帧组进行动画转换，得到具有动画效果的动画视频帧组，并将直播视频帧组与动画视频帧组进行视频合成，得到第一合成视频流。
优选地，直播视频流是采用H.264编码格式的基本码流(Elementary Stream，ES)，服务端通过FFMPEG(Fast Forward Mpeg)对直播视频流进行解码，得到YUV编码格式的YUV码流，再将YUV码流转换为RGB格式的RGB码流，即连续的直播视频帧组，服务端使用动画转换器对直播视频帧组进行动画转化得到的动画视频帧组也为RGB格式的RGB码流，服务端通过对RGB码流的合成将动画视频帧组中的动画视频帧与直播视频帧组的直播视频帧按照预设的位置关系进行合并，并将合成后的RGB码流转换为YUV码流，再通过FFMPEG对该YUV码流进行编码得到第一合成视频流。
S103：服务端将第一合成视频流发送到第二客户端进行播放。
具体地，服务端将第一合成视频流通过RTMP协议传输给第二客户端。
S104：第二客户端接收并播放服务端发送的第一合成视频流，使得在第二客户端的直播窗口显示直播视频，在第二客户端的动画窗口显示第一动画视频，其中，该第 一动画视频为该直播视频对应的动画视频。
具体地，第二客户端通过RTMP协议接收服务端发送的第一合成视频流，并在第二客户端的播放界面播放。
第二客户端的播放界面包括按照预设的位置关系设置的直播窗口和动画窗口，其中，直播窗口用于显示第一客户端的第一直播视频，动画窗口用于同步显示与该第一直播视频对应的具有动画效果的第一动画视频，容易理解地，第一直播视频为当前直播视频流。
需要说明的是，直播窗口和动画窗口之间的预设的位置关系，与步骤S102中服务端对动画视频帧和直播视频帧合并时的位置关系相同。
S105：第二客户端在第一合成视频流的播放过程中，对直播视频的图像进行图像识别，确定互动对象在直播窗口中的区域位置。
具体地，第二客户端在第一合成视频流的播放过程中，实时对该第一合成视频流进行解码，得到连续的RGB格式的视频帧。
第二客户端根据直播窗口和动窗口之间的预设的位置关系，确定直播视频在视频帧中对应的直播区域，并且每隔预定的时间间隔对预设帧数的视频帧的直播区域进行图像识别，以确定互动对象在直播窗口中的区域位置。其中，互动对象是指直播视频中进行直播的主播的五官，包括脸、眼睛、耳朵、鼻子、额头，以及嘴等。
优选地，第二客户端在对直播区域进行图像识别时，对每一帧视频帧中的直播区域的图像进行特征提取，并根据预存的每个五官图形的特征模板，将提取出的特征与该五官图形的特征模板进行匹配，若预设帧数的视频帧均匹配成功，则根据匹配成功的特征在直播区域中对应的图像区域确定该五官图形在直播区域中的区域位置，即互动对象在直播窗口中的区域位置。
作为本申请实施例的另一优选实施例，由于五官在面部的位置相对固定，因此第二客户端在对直播区域进行图像识别时，还可以通过人脸识别技术识别直播区域的人脸图形，然后根据预设的五官在面部的位置，确定五官在该人脸图形上的位置，进而确定五官在该直播区域中的区域位置，即互动对象在直播窗口中的区域位置。
需要说明的是，预定的时间间隔可以设置为300毫秒，但并不限于此，具体可以根据实际应用的需要进行设置，此处不做限制。
可以理解的是，预定的时间间隔越短，第二客户端进行图像识别的次数越多，其图像识别结果的准确度越高，但由于频繁进行图像识别，其执行效率降低，而预定的 时间间隔越长，第二客户端进行图像识别的次数越少，其图像识别结果的准确度会降低，但会提高执行效率。
S106：第二客户端若检测到用户在直播窗口中的特定触摸操作，则根据该特定触摸操作和互动对象在直播窗口中的区域位置，确定该特定触摸操作对应的互动操作指令。
在本申请实施例中，第二客户端的用户在观看直播的过程中，可以对直播窗口中的主播的五官位置进行特定触摸操作，该特定触摸操作包括但不限于点击、滑动、缩放、滚动、双击等操作，以及不同操作的组合等。
不同的特定触摸操作，代表不同的互动动作，例如，“点击”代表“弹”、“滑动”代表“抚摸”、“缩放”代表“掐”等。
具体地，当第二客户端检测到用户在直播窗口中的特定触摸操作时，第二客户端识别该特定触摸操作代表的目标互动动作，并获取该特定触摸操作的触摸位置，根据步骤S105确定的互动对象在直播窗口中的区域位置，确定该触摸位置对应的目标互动对象。
第二客户端根据目标互动动作和目标互动对象确定该特定触摸操作对应的互动操作指令。
例如，若特定触摸操作是用户在直播窗口中主播的耳朵上进行的点击操作，则目标互动动作为“弹”，目标互动对象为“耳朵”，该特定触摸操作对应的互动操作指令为“弹耳朵”。
S107：第二客户端将互动操作指令发送给服务端。
具体地，第二客户端具体可以通过套接字(socket)进程通信将互动操作指令发送给服务端。
S108：服务端在第一合成视频流的播放过程中，若接收到第二客户端发送的互动操作指令，则根据预设的互动操作与反应视频之间的映射关系，获取互动操作指令对应的目标反应视频。
在本申请实施例中，不同的互动操作对应不同的反应视频，反应视频可以是服务端预先保存的视频文件，也可以是由第一客户端的主播用户预先录制并上传到服务端保存，互动操作与反应视频之间的映射关系由第一客户端的主播用户预先设置并上传服务端保存。
具体地，服务端根据接收到第二客户端发送的互动操作指令，识别该互动操作指 令中的互动操作信息，并根据该互动操作信息在映射关系中查找对应的目标反应视频。
S109：服务端对目标反应视频进行动画转换，并将转换后的目标反应视频流与当前的直播视频流进行合成，得到第二合成视频流。
具体地，服务端对目标反应视频的视频流进行解码，得到连续的目标反应视频帧组，该目标反应视频帧组包含预设帧数的目标反应视频帧，服务端使用预设的动画转换器对该目标反应视频帧组进行动画转换，得到具有动画效果的目标反应动画视频帧组，同时，服务端对当前接收到的直播视频流进行解码，得到连续的直播视频帧组，该直播视频帧组包含预设帧数的直播视频帧，服务端将直播视频帧组与目标反应动画视频帧组进行视频合成，得到第二合成视频流。
需要说明的是，本步骤中进行视频合成的具体实现过程与步骤S102相同，此处不再赘述。
S110：服务端将第二合成视频流发送到第二客户端进行播放。
具体地，服务端将第二合成视频流通过RTMP协议传输给第二客户端。
S111：第二客户端若接收到服务端发送的第二合成视频流，则播放该第二合成视频流，使得在直播窗口显示直播视频，在动画窗口显示第二动画视频，其中，该第二动画视频为根据互动操作指令得到的目标反应视频对应的动画视频。
具体地，第二客户端播放接收到的第二和成视频流，其中，直播窗口显示的是第二直播视频，动画窗口显示的是目标反应视频对应的动画视频。
以“弹耳朵”的互动操作指令为例，当第二客户端的用户在直播窗口点击主播的耳朵后，第二客户端在直播窗口仍然继续显示直播视频，同时在动画窗口显示“弹耳朵”的目标反应视频对应的动画视频。
可以理解的是，针对每个第二客户端的用户，在该第二客户端的动画窗口显示的动画视频仅与该用户的特定触摸操作相关，不同的第二客户端的用户其特定触摸操作不同，则在其动画窗口显示的动画视频也不相同。
在图1对应的实施例中，在直播过程中，服务端通过对直播视频流进行动画合成处理，得到第一合成视频流，并将该第一合成视频流发送到第二客户端进行播放，使得在第二客户端的直播窗口显示直播视频，在动画窗口同步显示该直播视频对应的具有动画效果的动画视频，当第二客户端的用户在直播窗口进行特定触摸操作时，第二客户端根据该特定触摸操作以及直播窗口中互动对象的区域位置确定该特定触摸操 作对应的互动操作指令，并将该互动操作指令发送给服务端，服务端根据该互动操作指令匹配对应的目标反应视频，并对目标反应视频进行动画转换，将转换后的目标反应视频流与当前的直播视频流进行合成，得到第二合成视频流，并将该第二合成视频流发送到第二客户端进行播放，使得在第二客户端的直播窗口继续显示直播视频的同时，在动画窗口显示目标反应视频对应的动画视频，从而实现了第二客户端的观众用户在直播窗口发起特定动作时，能够在动画窗口播放该特定动作对应的反应视频的动画效果画面，并且该动画窗口显示的动画效果画面仅与该用户的特定动作相关，使得用户与主播之间从一对多的直播互动方式转变为一对一的直播互动方式，从而提高网络直播过程中主播与每个用户的直播互动性，也使用户增加交互的积极性和主动性，提高直播互动的智能化水平。
接下来，在图2对应的实施例的基础之上，在步骤S101提及的实时接收第一客户端上传的直播视频流之前，服务端还包括建立互动操作与反应视频之间的映射关系的处理过程。
请参阅图3，图3示出了服务端建立互动操作与反应视频之间的映射关系的具体实现流程，详述如下：
S201：服务端设置预设数量的互动操作。
具体地，服务端预先设置互动模式下的预设数量的互动操作，互动操作由互动动作和互动对象组合而成，例如：“掐脸”、“弹脑门”、“刮鼻子”、“弹耳朵”等。
互动模式是第一客户端的主播用户与第二客户端的用户进行一对一互动的模式开关。
需要说明的是，预设数量可以根据实际应用的需要进行选择，此处不做限制。
S202：服务端获取第一客户端选取的互动操作，并接收该第一客户端在选取的互动操作下上传的反应视频。
具体地，第一客户端的主播用户根据服务端提供的互动操作，选取需要设置反应视频的互动操作，并设置互动操作对应的至少一个反应视频，一个互动操作可以同时设置多个反应视频。
反应视频可以是主播用户自主录制的一段视频，也可以是主播用户选取的现有视频文件。主播用户可以根据应用的需要选择需要设置的互动操作，并将该互动操作和该互动操作对应的反应视频发送给服务端。
例如，主播客户选择需要设置的互动操作为“弹脑门”，则主播用户上传的“弹脑门”对应的反应视频可以为受到惊吓表情的视频。
S203：服务端建立选取的互动操作与反应视频之间的映射关系，并将选取的互动操作与反应视频关联保存。
具体地，服务端接收到第一客户端发送的选取的互动操作与反应视频后，建立该互动操作与该反应视频之间的映射关系，将该互动操作与该反应视频进行关联保存。
反应视频以反应视频文件的形式保存，反应视频文件支持多种常见的视频格式，如：MPEG-1格式、MPEG-2格式、MPEG4格式、AVI格式和RM格式、ASF和WMV格式等。
可选地，第一客户端的主播用户在开始直播前或者在直播过程中，均可开启互动模式，并选择服务端提供的一个或者多个互动操作以满足与第二客户端的用户进行互动，若主播用户选择的互动操作尚未设置对应的反应视频，则服务端向第一客户端发送反应视频的设置提醒消息，以提示主播用户进行设置。
在图3对应的实施例中，第一客户端的主播用户根据服务端预先设置的互动操作，设置对应的反应视频，使得服务端按照主播用户的定制建立互动操作与反应视频之间的映射关系，一方面，主播用户可以对直播过程中的互动方式进行定制化，另一方面，在直播过程中，第二客户端的用户可以通过不同的特定动作与主播用户进行多种互动，从而增强互动方式的灵活性和多样性。
在图2或图3对应的实施例的基础之上，在步骤S110提及的将第二合成视频流发送到第二客户端进行播放之后，服务端还包括生成互动操作记录的处理过程。
请参阅图4，图4示出了服务端生成互动操作记录的具体实现流程，详述如下：
S301：服务端获取第二客户端的用户信息。
具体地，服务端根据接收到的互动操作指令，确定发送该互动操作指令的第二客户端的用户信息。
用户信息包括但不限于用户昵称和用户发送互动操作指令的时间等。
S302：服务端根据第二客户端的用户信息和互动操作指令，生成互动操作记录。
具体地，服务端根据接收到的第二客户端的互动操作指令，以及步骤S301获取的该第二客户端的用户信息，生成相应的互动操作记录。
例如，若第二客户端用户的用户昵称为张三，该用户发送的互动操作指令为“弹脑门”，该互动操作指令的发送时间为9点10分，则服务端生成的互动操作记录为“张 三在9点10分弹了一下主播的脑门”。
S303：服务端将互动操作记录发送到第一客户端和第二客户端进行显示。
具体地，服务端将步骤S302确定的互动操作记录发送到第一客户端和第二客户端，第一客户端和第二客户端接收到该互动操作记录后，在预设的显示位置显示该互动操作记录。
进一步地，服务端还可以将该互动操作记录发送到参与直播的其他第二客户端进行显示。
在图4对应的实施例中，服务端根据第二客户端的用户信息和互动操作指令生成互动操作记录，并将该互动操作记录发送到第一客户端和第二客户端进行实时显示，从而让第一客户端的主播用户和第二客户端的用户能够及时了解互动的内容，同时，将该互动操作记录发送到参与直播的其他第二客户端进行显示，也有利于向其他用户推广该互动操作方法，提高其他用户主动参与互动的积极性和主动性。
在图2对应的实施例的基础上，下面通过一个具体的实施例对步骤S106中所提及的第二客户端若检测到用户在直播窗口中的特定触摸操作，则根据该特定触摸操作和互动对象的区域位置，确定该特定触摸操作对应的互动操作指令的具体实现方法进行详细说明。
请参阅图5，图5示出了本申请实施例提供的步骤S106的具体实现流程，详述如下：
S401：第二客户端若检测到用户在直播窗口中的特定触摸操作，则根据预设的触摸操作和互动动作之间的对应关系，确定该特定触摸操作对应的目标互动动作。
具体地，第二客户端预先设置触摸操作和互动动作之间的对应关系，该对应关系定义了不同的触摸操作代表的不同互动动作，例如，“点击”代表“弹”、“滑动”代表“抚摸”、“缩放”代表“掐”等。
当第二客户端检测到用户在直播窗口中的特定触摸操作时，识别该特定触摸操作，并根据预设的触摸操作和互动动作之间的对应关系，确定该特定触摸操作对应的目标互动动作。例如，若用户在直播窗口中的特定触摸操作为“滑动”，则第二客户单根据预设的对应关系确定“滑动”对应的互动动作为“抚摸”。
S402：第二客户端获取特定触摸操作在直播窗口中的目标位置。
具体地，第二客户端在识别该特定触摸操作的同时，获取该特定触摸操作发生的时间，以及该特定触摸操作在第二客户端的显示屏幕的位置信息等。
第二客户端根据获取的位置信息，以及直播窗口在显示屏幕的位置，确定该特定 触摸操作在直播窗口中的目标位置。
优选地，第二客户端通过显示屏幕的坐标与直播窗口的坐标之间的坐标系转换来确定该特定触摸操作在直播窗口中的目标位置。例如，若第二客户端的用户在第二客户端的显示屏幕的坐标点(200，100)处执行了“点击”操作，直播窗口的左顶点在第二客户端的显示屏幕的坐标位置为(100，10),则可以理解地，经过转换后该用户的“点击”操作在直播窗口的目标位置为(100，90)。
S403：第二客户端将目标位置与互动对象在直播窗口中的区域位置进行匹配，获取该目标位置对应的目标互动对象。
具体地，在步骤S105中，第二客户端通过对直播视频的图像进行图像识别，已经确定每个互动对象在直播窗口中的区域位置，因此，第二客户端根据步骤S402得到的特定触摸操作在直播窗口中的目标位置，将该目标位置与每个互动对象的区域位置进行匹配，若目标位置的起点坐标落在该互动对象的区域位置，则确认匹配成功，将该互动对象作为该目标位置对应的目标互动对象。
S404：第二客户端根据目标互动动作和目标互动对象，确定特定触摸操作对应的互动操作指令。
具体地，第二客户端对步骤S401确定的目标互动动作和步骤S403得到的目标互动对象进行组合，得到触摸操作对应的互动操作指令。
例如，若特定触摸操作是用户在直播窗口中主播的脑门上进行的点击操作，则目标互动动作为“弹”，目标互动对象为“脑门”，将“弹”和“脑门”进行组合后得到的互动操作指令为“弹脑门”。
在图5对应的实施例中，第二客户端通过识别特定触摸操作来确定目标互动动作，并通过对特定触摸操作在直播窗口中的目标位置与互动对象在直播窗口中的区域位置进行匹配，确定目标互动对象，进而根据目标互动对象和目标互动动作确定特定触摸操作对应的互动操作指令，使得第二客户端能够及时准确的将用户的特定触摸操作转换为对应的互动操作指令，以便服务端根据该互动操作指令匹配对应的目标反应视频，并及时在第二客户端的动画窗口播放该目标反应视频对应的动画视频，实现了第二客户端的用户能够通过简单的触摸操作即可实现与第一客户端的主播用户之间的互动，从而在提高直播互动性的同时，增加用户交互的积极性和主动性，提高直播互动的智能化水平。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程 的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例2
对应于实施例1中的直播互动方法，图6示出了与实施例1中直播互动方法一一对应的直播互动装置。该直播互动装置包括服务端、第一客户端和第二客户端。为了便于说明，仅示出了与本申请实施例相关的部分。
如图6所示，该直播互动装置的服务端包括直播视频接收模块611、第一视频合成模块612、第一视频发送模块613、反应视频匹配模块614、第二视频合成模块615和第二视频发送模块616。各功能模块详细说明如下：
直播视频接收模块611，用于实时接收第一客户端上传的直播视频流；
第一视频合成模块612，用于对直播视频流进行动画合成处理，得到第一合成视频流；
第一视频发送模块613，用于将第一合成视频流发送到第二客户端进行播放；
反应视频匹配模块614，用于在第一合成视频流的播放过程中，若接收到第二客户端发送的互动操作指令，则根据预设的互动操作与反应视频之间的映射关系，获取该互动操作指令对应的目标反应视频，其中，互动操作指令由第二客户端根据用户的触摸操作生成；
第二视频合成模块615，用于对目标反应视频进行动画转换，并将转换后的目标反应视频与当前的直播视频流进行合成，得到第二合成视频流；
第二视频发送模块616，用于将第二合成视频流发送到第二客户端进行播放。
进一步地，该直播互动装置的服务端还包括：
设置模块601，用于设置预设数量的互动操作；
反应视频接收模块602，用于获取第一客户端选取的互动操作，并接收第一客户端在该选取的互动操作下上传的反应视频；
映射模块603，用于建立第一客户端选取的互动操作与反应视频之间的映射关系，并将该选取的互动操作与该反应视频关联保存。
进一步地，该直播互动装置的服务端还包括：
信息获取模块617，用于获取第二客户端的用户信息；
记录生成模块618，用于根据用户信息和互动操作指令，生成互动操作记录；
显示模块619，用于将互动操作记录发送到第一客户端和第二客户端进行显示。
请继续参阅图6，如图6所示，该直播互动装置的第二客户端包括第一视频播放模块621、对象识别模块622、互动指令生成模块623、互动指令发送模块624和第二视频播放模块625。各功能模块详细说明如下：
第一视频播放模块621，用于接收并播放服务端发送的第一合成视频流，使得在第二客户端的直播窗口显示第一合成视频流包含的第一直播视频，在第二客户端的动画窗口显示该第一直播视频对应的第一动画视频；
对象识别模块622，用于在第一合成视频流的播放过程中，对第一直播视频的图像进行图像识别，确定互动对象在直播窗口中的区域位置；
互动指令生成模块623，用于若检测到用户在直播窗口中的特定触摸操作，则根据该特定触摸操作和互动对象的区域位置，确定特定触摸操作对应的互动操作指令；
互动指令发送模块624，用于将互动操作指令发送给服务端；
第二视频播放模块625，用于若接收到服务端发送的第二合成视频流，则播放该第二合成视频流，使得在直播窗口显示第二合成视频流包含的第二直播视频，在动画窗口显示第二动画视频，其中，该第二动画视频为根据互动操作指令得到的目标反应视频对应的动画视频。
进一步地，互动指令生成模块623包括：
互动动作确定单元6231，用于若检测到用户在直播窗口中的特定触摸操作，则根据预设的触摸操作和互动动作之间的对应关系，确定该特定触摸操作对应的目标互动动作；
目标位置获取单元6232，用于获取特定触摸操作在直播窗口中的目标位置；
互动对象确定单元6233，用于将目标位置与互动对象的区域位置进行匹配，获取该目标位置对应的目标互动对象；
互动指令确定单元6234，用于根据目标互动动作和目标互动对象，确定特定触摸操作对应的互动操作指令。
本实施例提供的一种直播互动装置中各模块/单元实现各自功能的过程，具体可参考前述实施例1的描述，此处不再赘述。
实施例3
本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机可读指令，该计算机可读指令被处理器执行时实现实施例1中直播互动方法，为避免重复，这里不再赘述。或者，该计算机可读指令被处理器执行时实现实施例2中直播互 动装置中各模块/单元的功能，为避免重复，这里不再赘述。
可以理解地，所述计算机可读存储介质可以包括：能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号和电信信号等。
实施例4
图7是本申请一实施例提供的终端设备的示意图。如图7所示，该实施例的终端设备7包括：处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机可读指令73。处理器71执行计算机可读指令73时实现上述实施例1中直播互动方法的步骤，例如图1所示的步骤S101至步骤S111。或者，处理器71执行计算机可读指令73时实现上述实施例2中直播互动装置的各模块/单元的功能，例如图6所示服务端的模块611至模块616的功能，以及第二客户端的模块621至模块625的功能。
示例性的，计算机可读指令73可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器72中，并由处理器71执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令73的指令段，该指令段用于描述计算机可读指令73在终端设备7中的执行过程。例如，计算机可读指令73可以被分割成直播视频接收模块、第一视频合成模块、第一视频发送模块、反应视频匹配模块、第二视频合成模块和第二视频发送模块。各模块的具体功能如实施例2所示，为避免重复，这里不再赘述。终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等终端设备。终端设备7可包括，但不仅限于，处理器71、存储器72及计算机可读指令73。本领域技术人员可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备7还可以包括输入输出设备、网络接入设备、总线等。
处理器71可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器72可以是终端设备7的内部存储单元，例如终端设备7的硬盘或内存。存储 器72也可以是终端设备7的外部存储设备，例如终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器72还可以既包括终端设备7的内部存储单元也包括外部存储设备。存储器72用于存储所述计算机可读指令以及终端设备7所需的其他可读指令和数据。存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种直播互动方法，其特征在于，所述直播互动方法包括服务端执行的如下步骤：
    实时接收第一客户端上传的直播视频流；
    对所述直播视频流进行动画合成处理，得到第一合成视频流；
    将所述第一合成视频流发送到第二客户端进行播放；
    在所述第一合成视频流的播放过程中，若接收到所述第二客户端发送的互动操作指令，则根据预设的互动操作与反应视频之间的映射关系，获取所述互动操作指令对应的目标反应视频，其中，所述互动操作指令由所述第二客户端根据用户的触摸操作生成；
    对所述目标反应视频进行动画转换，并将转换后的目标反应视频与当前的所述直播视频流进行合成，得到第二合成视频流；
    将所述第二合成视频流发送到所述第二客户端进行播放。
  2. 如权利要求1所述的直播互动方法，其特征在于，在所述实时接收第一客户端上传的直播视频流之前，所述直播互动方法还包括所述服务端执行的如下步骤：
    设置预设数量的所述互动操作；
    获取所述第一客户端选取的互动操作，并接收所述第一客户端在所述选取的互动操作下上传的反应视频；
    建立所述选取的互动操作与所述反应视频之间的映射关系，并将所述选取的互动操作与所述反应视频关联保存。
  3. 如权利要求1或2所述的直播互动方法，其特征在于，在所述将所述第二合成视频流发送到所述第二客户端进行播放之后，所述直播互动方法还包括所述服务端执行的如下步骤：
    获取所述第二客户端的用户信息；
    根据所述用户信息和所述互动操作指令，生成互动操作记录；
    将所述互动操作记录发送到所述第一客户端和所述第二客户端进行显示。
  4. 一种直播互动方法，其特征在于，所述直播互动方法包括第二客户端执行的如下步骤：
    接收并播放服务端发送的第一合成视频流，使得在所述第二客户端的直播窗口显示所述第一合成视频流包含的第一直播视频，在所述第二客户端的动画窗口显示所述第一直播视频对应的第一动画视频；
    在所述第一合成视频流的播放过程中，对所述第一直播视频的图像进行图像识别，确定互动对象在所述直播窗口中的区域位置；
    若检测到用户在所述直播窗口中的特定触摸操作，则根据所述特定触摸操作和所述互动对象的所述区域位置，确定所述特定触摸操作对应的互动操作指令；
    将所述互动操作指令发送给所述服务端；
    若接收到所述服务端发送的所述第二合成视频流，则播放所述第二合成视频流，使得在所述直播窗口显示所述第二合成视频流包含的第二直播视频，在所述动画窗口显示第二动画视频，其中，所述第二动画视频为根据所述互动操作指令得到的目标反应视频对应的动画视频。
  5. 如权利要求4所述的直播互动方法，其特征在于，所述若检测到用户在所述直播窗口中的特定触摸操作，则根据所述特定触摸操作和所述互动对象的所述区域位置，确定所述特定触摸操作对应的互动操作指令包括：
    若检测到用户在所述直播窗口中的特定触摸操作，则根据预设的触摸操作和互动动作之间的对应关系，确定所述特定触摸操作对应的目标互动动作；
    获取所述特定触摸操作在所述直播窗口中的目标位置；
    将所述目标位置与所述互动对象的所述区域位置进行匹配，获取所述目标位置对应的目标互动对象；
    根据所述目标互动动作和所述目标互动对象，确定所述特定触摸操作对应的互动操作指令。
  6. 一种直播互动装置，其特征在于，所述直播互动装置包括服务端，所述服务端包括：
    直播视频接收模块，用于实时接收第一客户端上传的直播视频流；
    第一视频合成模块，用于对所述直播视频流进行动画合成处理，得到第一合成视频流；
    第一视频发送模块，用于将所述第一合成视频流发送到第二客户端进行播放；
    反应视频匹配模块，用于在所述第一合成视频流的播放过程中，若接收到所述第二客户端发送的互动操作指令，则根据预设的互动操作与反应视频之间的映射关系，获取所述互动操作指令对应的目标反应视频，其中，所述互动操作指令由所述第二客户端根据用户的触摸操作生成；
    第二视频合成模块，用于对所述目标反应视频进行动画转换，并将转换后的目标反应视频与当前的所述直播视频流进行合成，得到第二合成视频流；
    第二视频发送模块，用于将所述第二合成视频流发送到所述第二客户端进行播放。
  7. 如权利要求6所述的直播互动装置，其特征在于，所述直播互动装置还包括所述服务端的如下模块：
    设置模块，用于设置预设数量的互动操作；
    反应视频接收模块，用于获取第一客户端选取的互动操作，并接收第一客户端在该选取的互动操作下上传的反应视频；
    映射模块，用于建立第一客户端选取的互动操作与反应视频之间的映射关系，并将该选取的互动操作与该反应视频关联保存。
  8. 如权利要求6或7所述的直播互动装置，其特征在于，所述直播互动装置还包括所述服务端的如下模块：
    信息获取模块，用于获取第二客户端的用户信息；
    记录生成模块，用于根据用户信息和互动操作指令，生成互动操作记录；
    显示模块，用于将互动操作记录发送到第一客户端和第二客户端进行显示。
  9. 一种直播互动装置，其特征在于，所述直播互动装置包括第二客户端，所述第二客户端包括：
    第一视频播放模块，用于接收并播放服务端发送的第一合成视频流，使得在所述第二客户端的直播窗口显示所述第一合成视频流包含的第一直播视频，在所述第二客户端的动画窗口显示所述第一直播视频对应的第一动画视频；
    对象识别模块，用于在所述第一合成视频流的播放过程中，对所述第一直播视频的图像进行图像识别，确定互动对象在所述直播窗口中的区域位置；
    互动指令生成模块，用于若检测到用户在所述直播窗口中的特定触摸操作，则根据所述特定触摸操作和所述互动对象的所述区域位置，确定所述特定触摸操作对应的互动操作指令；
    互动指令发送模块，用于将所述互动操作指令发送给所述服务端；
    第二视频播放模块，用于若接收到所述服务端发送的所述第二合成视频流，则播放所述第二合成视频流，使得在所述直播窗口显示所述第二合成视频流包含的第二直播视频，在所述动画窗口显示第二动画视频，其中，所述第二动画视频为根据所述互动操作指令得到的目标反应视频对应的动画视频。
  10. 如权利要求9所述的直播互动装置，其特征在于，所述互动指令生成模块包括：
    互动动作确定单元，用于若检测到用户在所述直播窗口中的特定触摸操作，则根据预设的触摸操作和互动动作之间的对应关系，确定所述特定触摸操作对应的目标互动动作；
    目标位置获取单元，用于获取所述特定触摸操作在所述直播窗口中的目标位置；
    互动对象确定单元，用于将所述目标位置与所述互动对象的所述区域位置进行匹配，获取所述目标位置对应的目标互动对象；
    互动指令确定单元，用于根据所述目标互动动作和所述目标互动对象，确定所述特定触摸操作对应的互动操作指令。
  11. 一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现服务端执行的如下步骤：
    实时接收第一客户端上传的直播视频流；
    对所述直播视频流进行动画合成处理，得到第一合成视频流；
    将所述第一合成视频流发送到第二客户端进行播放；
    在所述第一合成视频流的播放过程中，若接收到所述第二客户端发送的互动操作指令，则根据预设的互动操作与反应视频之间的映射关系，获取所述互动操作指令对应的目标反应视频，其中，所述互动操作指令由所述第二客户端根据用户的触摸操作生成；
    对所述目标反应视频进行动画转换，并将转换后的目标反应视频与当前的所述直播视频流进行合成，得到第二合成视频流；
    将所述第二合成视频流发送到所述第二客户端进行播放。
  12. 如权利要求11所述的终端设备，其特征在于，在所述实时接收第一客户端上传的直播视频流之前，所述处理器执行所述计算机可读指令时还包括实现所述服务端执行的如下步骤：
    设置预设数量的所述互动操作；
    获取所述第一客户端选取的互动操作，并接收所述第一客户端在所述选取的互动操作下上传的反应视频；
    建立所述选取的互动操作与所述反应视频之间的映射关系，并将所述选取的互动操作与所述反应视频关联保存。
  13. 如权利要求11或12所述的终端设备，其特征在于，在所述将所述第二合成视频流发送到所述第二客户端进行播放之后，所述处理器执行所述计算机可读指令时还包括实现所述服务端执行的如下步骤：
    获取所述第二客户端的用户信息；
    根据所述用户信息和所述互动操作指令，生成互动操作记录；
    将所述互动操作记录发送到所述第一客户端和所述第二客户端进行显示。
  14. 一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现第二客户端执行的如下步骤：
    接收并播放服务端发送的第一合成视频流，使得在所述第二客户端的直播窗口显示所述第一合成视频流包含的第一直播视频，在所述第二客户端的动画窗口显示所述第一直播视频对应的第一动画视频；
    在所述第一合成视频流的播放过程中，对所述第一直播视频的图像进行图像识别，确定互动对象在所述直播窗口中的区域位置；
    若检测到用户在所述直播窗口中的特定触摸操作，则根据所述特定触摸操作和所述互动对象的所述区域位置，确定所述特定触摸操作对应的互动操作指令；
    将所述互动操作指令发送给所述服务端；
    若接收到所述服务端发送的所述第二合成视频流，则播放所述第二合成视频流，使得在所述直播窗口显示所述第二合成视频流包含的第二直播视频，在所述动画窗口显示第二动画视频，其中，所述第二动画视频为根据所述互动操作指令得到的目标反应视频对应的动画视频。
  15. 如权利要求14所述的终端设备，其特征在于，所述若检测到用户在所述直播窗口中的特定触摸操作，则根据所述特定触摸操作和所述互动对象的所述区域位置，确定所述特定触摸操作对应的互动操作指令包括：
    若检测到用户在所述直播窗口中的特定触摸操作，则根据预设的触摸操作和互动动作之间的对应关系，确定所述特定触摸操作对应的目标互动动作；
    获取所述特定触摸操作在所述直播窗口中的目标位置；
    将所述目标位置与所述互动对象的所述区域位置进行匹配，获取所述目标位置对应的目标互动对象；
    根据所述目标互动动作和所述目标互动对象，确定所述特定触摸操作对应的互动操作指令。
  16. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现服务端执行的如下步骤：
    实时接收第一客户端上传的直播视频流；
    对所述直播视频流进行动画合成处理，得到第一合成视频流；
    将所述第一合成视频流发送到第二客户端进行播放；
    在所述第一合成视频流的播放过程中，若接收到所述第二客户端发送的互动操作指令，则根据预设的互动操作与反应视频之间的映射关系，获取所述互动操作指令对应的目标反应视频，其中，所述互动操作指令由所述第二客户端根据用户的触摸操作生成；
    对所述目标反应视频进行动画转换，并将转换后的目标反应视频与当前的所述直播视频流进行合成，得到第二合成视频流；
    将所述第二合成视频流发送到所述第二客户端进行播放。
  17. 如权利要求16所述的计算机可读存储介质，其特征在于，在所述实时接收第一客户端上传的直播视频流之前，所述计算机可读指令被处理器执行时还包括实现所述服务端执行的如下步骤：
    设置预设数量的所述互动操作；
    获取所述第一客户端选取的互动操作，并接收所述第一客户端在所述选取的互动操作下上传的反应视频；
    建立所述选取的互动操作与所述反应视频之间的映射关系，并将所述选取的互动操作与所述反应视频关联保存。
  18. 如权利要求16或17所述的计算机可读存储介质，其特征在于，在所述将所述第二合成视频流发送到所述第二客户端进行播放之后，所述计算机可读指令被处理器执行时实现还包括实现所述服务端执行的如下步骤：
    获取所述第二客户端的用户信息；
    根据所述用户信息和所述互动操作指令，生成互动操作记录；
    将所述互动操作记录发送到所述第一客户端和所述第二客户端进行显示。
  19. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现第二客户端执行的如下步骤：
    接收并播放服务端发送的第一合成视频流，使得在所述第二客户端的直播窗口显示所述第一合成视频流包含的第一直播视频，在所述第二客户端的动画窗口显示所述第一直播视频对应的第一动画视频；
    在所述第一合成视频流的播放过程中，对所述第一直播视频的图像进行图像识别，确定互动对象在所述直播窗口中的区域位置；
    若检测到用户在所述直播窗口中的特定触摸操作，则根据所述特定触摸操作和所述互动对象的所述区域位置，确定所述特定触摸操作对应的互动操作指令；
    将所述互动操作指令发送给所述服务端；
    若接收到所述服务端发送的所述第二合成视频流，则播放所述第二合成视频流，使得在所述直播窗口显示所述第二合成视频流包含的第二直播视频，在所述动画窗口显示第二动画视频，其中，所述第二动画视频为根据所述互动操作指令得到的目标反应视频对应的动画视频。
  20. 如权利要求19所述的计算机可读存储介质，其特征在于，所述若检测到用户在所述直播窗口中的特定触摸操作，则根据所述特定触摸操作和所述互动对象的所述区域位置，确定所述特定触摸操作对应的互动操作指令包括：
    若检测到用户在所述直播窗口中的特定触摸操作，则根据预设的触摸操作和互动动作之间的对应关系，确定所述特定触摸操作对应的目标互动动作；
    获取所述特定触摸操作在所述直播窗口中的目标位置；
    将所述目标位置与所述互动对象的所述区域位置进行匹配，获取所述目标位置对应的目标互动对象；
    根据所述目标互动动作和所述目标互动对象，确定所述特定触摸操作对应的互动操作指令。
PCT/CN2018/077327 2018-01-08 2018-02-27 一种直播互动方法、装置、终端设备及存储介质 WO2019134235A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810014420.3 2018-01-08
CN201810014420.3A CN108462883B (zh) 2018-01-08 2018-01-08 一种直播互动方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
WO2019134235A1 true WO2019134235A1 (zh) 2019-07-11

Family

ID=63221253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/077327 WO2019134235A1 (zh) 2018-01-08 2018-02-27 一种直播互动方法、装置、终端设备及存储介质

Country Status (2)

Country Link
CN (1) CN108462883B (zh)
WO (1) WO2019134235A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166842B (zh) * 2018-11-19 2020-10-16 深圳市腾讯信息技术有限公司 一种视频文件操作方法、装置和存储介质
CN110113256B (zh) * 2019-05-14 2022-11-11 北京达佳互联信息技术有限公司 信息互动方法、装置、服务器、用户终端及可读存储介质
CN110740346B (zh) * 2019-10-23 2022-04-22 北京达佳互联信息技术有限公司 视频数据处理方法、装置、服务器、终端和存储介质
CN110989910A (zh) * 2019-11-28 2020-04-10 广州虎牙科技有限公司 交互方法、系统、装置、电子设备及存储介质
CN113038149A (zh) 2019-12-09 2021-06-25 上海幻电信息科技有限公司 直播视频互动方法、装置以及计算机设备
CN113038174B (zh) 2019-12-09 2021-12-21 上海幻电信息科技有限公司 直播视频互动方法、装置以及计算机设备
CN113448475A (zh) * 2021-06-30 2021-09-28 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、存储介质与电子设备
CN113542844A (zh) * 2021-07-28 2021-10-22 北京优酷科技有限公司 视频数据处理方法、装置及存储介质
CN114051151B (zh) * 2021-11-23 2023-11-28 广州博冠信息科技有限公司 直播互动方法、装置、存储介质与电子设备
CN114501103B (zh) * 2022-01-25 2023-05-23 腾讯科技（深圳）有限公司 基于直播视频的互动方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634681A (zh) * 2013-11-29 2014-03-12 腾讯科技(成都)有限公司 直播互动方法、装置、客户端、服务器及系统
CN105959718A (zh) * 2016-06-24 2016-09-21 乐视控股（北京）有限公司 一种视频直播中实时互动的方法及装置
CN106231368A (zh) * 2015-12-30 2016-12-14 深圳超多维科技有限公司 主播类互动平台道具呈现方法及其装置、客户端
CN106231434A (zh) * 2016-07-25 2016-12-14 武汉斗鱼网络科技有限公司 一种基于人脸检测的直播互动特效实现方法及系统
CN106878820A (zh) * 2016-12-09 2017-06-20 北京小米移动软件有限公司 直播互动方法及装置
CN107071580A (zh) * 2017-03-20 2017-08-18 北京潘达互娱科技有限公司 数据处理方法及装置
CN107360160A (zh) * 2017-07-12 2017-11-17 广州华多网络科技有限公司 直播视频与动画融合方法、装置及终端设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131692B (zh) * 2016-07-14 2019-04-26 广州华多网络科技有限公司 基于视频直播的互动控制方法、装置及服务器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634681A (zh) * 2013-11-29 2014-03-12 腾讯科技(成都)有限公司 直播互动方法、装置、客户端、服务器及系统
CN106231368A (zh) * 2015-12-30 2016-12-14 深圳超多维科技有限公司 主播类互动平台道具呈现方法及其装置、客户端
CN105959718A (zh) * 2016-06-24 2016-09-21 乐视控股（北京）有限公司 一种视频直播中实时互动的方法及装置
CN106231434A (zh) * 2016-07-25 2016-12-14 武汉斗鱼网络科技有限公司 一种基于人脸检测的直播互动特效实现方法及系统
CN106878820A (zh) * 2016-12-09 2017-06-20 北京小米移动软件有限公司 直播互动方法及装置
CN107071580A (zh) * 2017-03-20 2017-08-18 北京潘达互娱科技有限公司 数据处理方法及装置
CN107360160A (zh) * 2017-07-12 2017-11-17 广州华多网络科技有限公司 直播视频与动画融合方法、装置及终端设备

Also Published As

Publication number Publication date
CN108462883B (zh) 2019-10-18
CN108462883A (zh) 2018-08-28

Similar Documents

Publication Publication Date Title
WO2019134235A1 (zh) 一种直播互动方法、装置、终端设备及存储介质
US11895426B2 (en) Method and apparatus for capturing video, electronic device and computer-readable storage medium
EP3606082B1 (en) Panoramic video playback method and client terminal
WO2020077854A1 (zh) 视频生成的方法、装置、电子设备及计算机存储介质
US20180316948A1 (en) Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources
US20180316939A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
WO2017148294A1 (zh) 基于移动终端的设备控制方法、装置和移动终端
WO2020077855A1 (zh) 视频拍摄方法、装置、电子设备及计算机可读存储介质
US20180316947A1 (en) Video processing systems and methods for the combination, blending and display of heterogeneous sources
KR101467430B1 (ko) 클라우드 컴퓨팅 기반 어플리케이션 제공 방법 및 시스템
US20170105053A1 (en) Video display system
WO2022087920A1 (zh) 视频播放方法、装置、终端及存储介质
US20180316942A1 (en) Systems and methods and interfaces for video processing, combination and display of heterogeneous sources
US11284137B2 (en) Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US20180316944A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20180316943A1 (en) Fpga systems and methods for video processing, combination and display of heterogeneous sources
TWI610180B (zh) 使用共享及個人裝置合作提供個人化使用者功能
US20220103873A1 (en) Computer program, method, and server apparatus
US20180316946A1 (en) Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
CN111491174A (zh) 虚拟礼物获取及展示方法、装置、设备及存储介质
US20200259931A1 (en) Multimedia information sharing method, related apparatus, and system
KR100889367B1 (ko) 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법
WO2023083186A1 (zh) 直播内容的处理方法、电子设备、可读存储介质及计算机程序产品
US20180316940A1 (en) Systems and methods for video processing and display with synchronization and blending of heterogeneous sources
WO2014190655A1 (zh) 应用同步方法、应用服务器及终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18898848

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 15.10.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18898848

Country of ref document: EP

Kind code of ref document: A1