WO2017162012A1 - 多方会议系统及其实现多方会议的方法和装置 - Google Patents

多方会议系统及其实现多方会议的方法和装置 Download PDF

Info

Publication number
WO2017162012A1
WO2017162012A1 PCT/CN2017/075421 CN2017075421W WO2017162012A1 WO 2017162012 A1 WO2017162012 A1 WO 2017162012A1 CN 2017075421 W CN2017075421 W CN 2017075421W WO 2017162012 A1 WO2017162012 A1 WO 2017162012A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
terminal
stream
audio
type
Prior art date
Application number
PCT/CN2017/075421
Other languages
English (en)
French (fr)
Inventor
高扬
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2017162012A1 publication Critical patent/WO2017162012A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本文公布了一种多方会议系统及其实现多方会议的方法和装置，包括应用服务器，用于多方会议功能的控制，以及指示对音频服务器和视频分发服务器的控制；视频分发服务器，用于按照AS的指示，对来自终端的视频流进行处理和传送；音频服务器，用于按照AS的指示，对来自终端的音频流进行处理并传送；终端包括第一类终端、和/或第二类终端、和/或第三类终端，其中，第一类终端支持多方视频应用下接收多个视频流并自行进行混屏处理；第二类终端为普通的支持视频通话的终端；第三类终端为传统的仅支持音频通话的终端。本发明实施例无需在网络侧集中进行混屏处理，简化了网络侧处理，并有利于推广普及。而且由于不需要MCU，也降低了硬件成本。

Description

多方会议系统及其实现多方会议的方法和装置 技术领域
本发明实施例涉及但不限于多媒体通信技术，尤指一种多方会议系统及其实现多方会议的方法和装置。
背景技术
多媒体通信一直是通信领域的追求目标，并在不断完善。4G背景下，基于IP多媒体子系统(IMS，IP Multimedia Subsystem)的语音业务(VoLTE，Voice over LTE)为移动用户普及使用多媒体通信带来了机遇窗，多方视频，在VoLTE和IMS背景下，也成为可能。因为VoLTE的核心控制使用的是IMS，下文将针对IMS展开描述。
多方视频的关键在于视频混屏。目前，IMS使用的视频混屏方式为：使用网络侧集中的媒体服务器(MCU)进行视频混屏的方式。典型的应用如企业级视频会议、IMS媒体资源控制器(MRFC，Media Resource Function Controller)/媒体资源处理器(MRFP，Media Resource Function Processor)。
由网络侧集中进行视频混屏的实现方式，对于传统企业级视频会议模式迁移到IMS领域使用，技术相对成熟，但是，MCU使用硬解码或软解码处理，均存在过程复杂、成本高等问题；而且，统一在MCU实现编解码，存在使用不同厂商的VoLTE手机会有业务体验不一致的问题如由于操作界面的不同而存在的差异或多方视频画面的布局存在差异等，难以得到推广普及。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
为了达到本发明目的，本发明实施例提供了一种多方会议系统，包括；应用服务器AS、视频分发服务器、音频服务器，以及终端；其中，
AS，设置为多方会议功能的控制，以及指示对音频服务器和视频分发服务器的控制；
视频分发服务器，设置为按照AS的指示，对来自终端的视频流进行处 理和传送；
音频服务器，设置为按照AS的指示，对来自终端的音频流进行处理并传送；
终端包括第一类终端、和/或第二类终端、和/或第三类终端，其中，第一类终端支持多方视频应用下接收多个视频流，并支持混屏处理；第二类终端为支持视频通话的终端；第三类终端为仅支持音频通话的终端。
可选地，所述第一类终端与所述AS之间的控制接口使用会话初始协议SIP，信令采用SIP信令；
所述第一类终端与所述视频分发服务器之间的视频媒体流接口，上行包含采集的视频信号的一条视频流，下行包含非自身的多个远端用户的视频信号的多条视频流；
所述第一类终端与所述音频服务器之间的音频媒体接口包括包含从用户侧采集的视频信号的一路上行音频，以及一路下行音频。
可选地，对于信令面屏蔽多流的模式，所述多个视频流封包在一个实时传输协议RTP流中；
对于信令面识别多流的模式，所述多个视频流分别独立封装在多个RTP流中。
可选地，所述第二类终端与所述AS之间的控制接口使用SIP协议，信令采用SIP信令；
所述第二类终端与所述视频分发服务器之间的视频媒体接口，上行包含从用户侧采集的视频信号的一条视频流，下行包含当前发言者的视频信号的一条视频流；
所述第二类终端与所述音频服务器的音频媒体接口包括包含从用户侧采集的视频信号的一路上行音频，以及一路下行音频。
可选地，所述第三类终端与所述AS之间的控制接口使用SIP协议，信令采用现有SIP信令；
所述第三类终端与所述音频服务器的音频媒体接口包括从用户侧采集的音频信号的一路上行音频，以及一路下行音频。
可选地，所述视频分发服务器至少包括第二接收模块，第二处理模块；其中，
第二接收模块，设置为接收来自AS的视频信息；
第二处理模块，设置为根据接收到的视频信息实现视频的媒体协商并返回给AS；与终端之间传递视频媒体流；
其中，视频媒体流包括上行实时传输协议RTP流、下行RTP流，其中，下行的RTP流中会承载多路视频流；
可选地，所述第二接收模块还设置为：接收来自所述AS的需要信令面指示的参数；当接收来自所述AS的信令面指示时，相应地，
所述第二处理模块还设置为：在所述下行RTP流中加入新增终端对应的视频流。
可选地，所述在下行RTP流中加入新用户对应的视频流具体包括：在一路所述下行RTP流中包括所述多方视频中所有用户的视频流；或者，所述多方会议中各用户的视频流分别对应一路所述下行RTP流。
可选地，所述第二接收模块还设置为：接收来自所述AS的将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容的请求；
所述第二处理模块还设置为：完成相应的转发关系变换，以使当前多方会议中所有的终端接收的视频内容被切换至当前发言人对应的上行视频的内容。
可选地，所述第二处理模块还设置为：在有新增终端加入时，直接在所述下行RTP流中加入新用户对应的视频流。
可选地，所述第二处理模块还设置为：根据所述多方会议的用户数调整用户上行视频分辨率。
可选地，所述第二处理模块还设置为：接收来自各终端的上行视频流，按照终端类型和模式进行转发。
可选地，所述按照终端类型和模式进行转发具体包括：
对于第一类终端，当采用信令面屏蔽多流的模式时，将所述来自各终端 的多个视频封装在一个RTP流中发送给所述第一类终端；当采用信令面识别多流的模式时，将所述来自各终端的多个视频分别封装在各自的RTP流中发送给所述第一类终端；
对于第二类终端，根据所述AS最新指示的当前发言人，选定对应当前发言人的一路视频流进行转发。
可选地，所述视频分发服务器为视频中继Video Relay。
本发明实施例还提供了一种实现多方会议的方法，包括：AS接收来自终端的加入多方会议的请求；
将请求中的音频信息发送给音频服务器，以实现音频的媒体协商；和/或将视频信息发送给视频分发服务器，以实现视频的媒体协商；
将协商好的视频和/或音频进行处理后返回给终端。
可选地，该方法还包括：所述在向视频分发服务器发送视频信息时，同时将需要信令面指示的参数发送给视频分发服务器。
可选地，当接收到来自音频服务器的需要将多方视频切换至当前发言人的请求消息，该方法还包括：
所述AS根据当前发言人的信息，向视频分发服务器请求将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容；并接收来自视频分发服务器的完成相应的转发关系变换的响应。
可选地，如果有新的用户加入，该方法还包括：
所述AS向终端请求重协商视频参数，并携带单个视频流，或者所有视频流；
接收到来自终端的完成媒体协商的响应，向视频分发服务器发送信令面指示，以指示信令面更新完成。
本发明实施例再提供了一种实现多方会议的方法，包括：视频分发服务器接收到来自AS的视频信息，根据接收到的视频信息实现视频的媒体协商并返回给AS；与终端之间传递视频媒体流；
其中，视频媒体流包括上行RTP流、下行RTP流，其中，下行的RTP 流中会承载多路视频流。
可选地，如果所述视频分发服务器接收来自AS的需要信令面指示的参数，则当接收来自AS的信令面指示，该方法还包括：
所述视频分发服务器在所述下行RTP流中加入新用户对应的视频流。
可选地，在下行RTP流中加入新用户对应的视频流具体包括：
一路所述下行RTP流中包括多方会议中所有用户的视频流；或者，多方视频会中各用户的视频流分别对应一路所述下行RTP流。
可选地，当接收到来自AS的将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容的请求消息，该方法还包括：
完成相应的转发关系变换，以使当前多方会议中所有的终端接收的视频内容被切换至当前发言人对应的上行视频的内容。
可选地，在有新用户加入时，该方法还包括：所述视频分发服务器直接在所述下行RTP流中加入新用户对应的视频流。
可选地，该方法还包括：所述视频分发服务器根据多方会议的用户数调整用户上行视频分辨率。
可选地，该方法还包括：所述视频分发服务器接收来自各终端的上行视频流，按照终端类型和模式进行转发。
可选地，所述按照终端类型和模式进行转发包括：
对于第一类终端，当采用信令面屏蔽多流的模式时，将多个视频流封装在一个所述下行RTP流中发送给第一类终端；当采用信令面识别多流的模式时，将多个视频流分别封装在各自的一路下行RTP流中发送给第一类终端；
对于第二类终端，根据所述AS最新指示的当前发言人，选定对应当前发言人的一路视频进行转发。
本发明实施例又提供了一种实现多方会议的方法，包括：
第一类终端向AS发送加入多方会议的请求，其中携带音频信息和/或视频信息；
接收到来自AS的处理后的协商好的视频和/或音频，与音频服务器和/ 或视频分发服务器传递音频媒体流和/或视频媒体流。
可选地，当接收到来自AS的重协商视频参数的请求，该方法还包括：
所述第一类终端完成媒体协商；
当采用信令面屏蔽多流的模式时，接收来自视频分发服务器的封装有多个视频流的一个RTP流；当采用信令面识别多流的模式时，接收来自视频分发服务器的分别封装有与不同用户对应的视频流的多个RTP流。
本发明实施例还提供了一种实现多方会议的装置，至少包括第一接收模块、控制模块，以及第一处理模块，其中，
第一接收模块，设置为接收来自终端的加入多方会议的请求，
控制模块，设置为将请求中的音频信息发送给音频服务器，以实现音频的媒体协商；和/或将视频信息发送给视频分发服务器，以实现视频的媒体协商；
第一处理模块，设置为将协商好的视频和/或音频进行处理后返回给终端。
可选地，所述控制模块在向视频分发服务器发送视频信息时还用于：同时将需要信令面指示的参数发送给视频分发服务器。
可选地，所述第一接收模块还设置为：接收来自音频服务器的需要将多方视频切换至当前发言人的请求；
所述控制模块还设置为：根据当前发言人的信息，向视频分发服务器请求将所有终端接收的视频内容切换为当前发言人对应的上行视频流的内容；并接收来自视频分发服务器的完成相应的转发关系变换的响应。
可选地，如果有新的用户加入，所述控制模块还用于：向终端请求重协商视频参数，并携带单个视频流或者所有视频流。
可选地，所述第一处理模块还设置为，接收到来自终端的完成媒体协商的响应，向视频分发服务器发送信令面指示，以指示信令面更新完成。
可选地，所述装置设置在AS中。
本发明实施例再提供了一种实现多方会议的装置，至少包括第二接收模 块，第二处理模块；其中，
第二接收模块，设置为接收来自AS的视频信息；
第二处理模块，设置为根据接收到的视频信息实现视频的媒体协商并返回给AS；与终端之间传递视频媒体流；
其中，视频媒体流包括上行RTP流、下行RTP流，其中，下行的RTP流中会承载多路视频流。
可选地，所述第二接收模块还设置为：接收来自AS的需要信令面指示的参数；
当所述第二接收模块接收到来自AS的信令面指示，所述第二处理模块还设置为：在所述下行RTP流中会加入新用户对应的视频流。
可选地，所述在下行RTP流中会加入新用户对应的视频流包括：在一路所述下行RTP流中包括多方视频会中所有用户的视频流；或者，多方视频会中各用户的视频流分别对应在一路所述下行RTP流中。
可选地，所述第二接收模块还设置为：接收来自AS的将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容的请求；
第二处理模块还设置为：完成相应的转发关系变换，以使当前多方会议中所有的终端接收的视频内容被切换至当前发言人对应的上行视频的内容。
可选地，所述第二处理模块还设置为：在有新用户加入时，直接在下行RTP流中加入新用户对应的视频流。
可选地，所述第二处理模块还设置为：根据多方会议的用户数调整用户上行视频分辨率。
可选地，所述第二处理模块还设置为：接收来自各终端的上行视频流，按照终端类型和模式进行转发。
可选地，所述按照终端类型和模式进行转发包括：
对于第一类终端，当采用信令面屏蔽多流的模式时，将所述来自各终端的多个视频封装在一个所述下行RTP流中发送给第一类终端；当采用信令面识别多流的模式时，将所述来自各终端的多个视频分别封装在各自的一个所 述下行RTP流中发送给第一类终端；
对于第二类终端，根据AS最新指示的当前发言人，选定对应当前发言人的一路视频流进行转发。
可选地，所述装置设置在视频分发服务器中。
可选地，所述视频分发服务器为视频中继。
本发明实施例又提供了一种实现多方会议的装置，至少包括发送模块，第三处理模块；其中，
发送模块，设置为向AS发送加入多方会议的请求，其中携带音频信息和/或视频信息；
第三处理模块，设置为接收来自AS的处理后的协商好的视频和/或音频；与音频服务器和/或视频分发服务器传递音频媒体流和/或视频媒体流。
可选地，对于新用户加入后，所述第三处理模块还设置为：
接收来自AS的重协商视频参数的请求，完成媒体协商；
当采用信令面屏蔽多流的模式时，接收来自视频分发服务器的封装有多个视频的一个所述下行RTP流；当采用信令面识别多流的模式时，接收来自视频分发服务器的分别封装有与不同用户对应的视频的多个所述下行RTP流。
可选地，所述装置设置在第一类终端中。
本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项实现多方会议的方法。
本申请提供的多方视频架构包括应用服务器、视频分发服务器、音频服务器，以及终端；其中，AS，用于多方会议功能的控制，以及指示对音频服务器和视频分发服务器的控制；视频分发服务器，用于按照AS的指示，对来自终端的视频流进行处理和传送；音频服务器，用于按照AS的指示，对来自终端的音频流进行处理并传送；终端包括第一类终端、和/或第二类终端、和/或第三类终端，其中，第一类终端支持多方视频应用下接收多个视频流，并支持混屏处理；第二类终端为支持视频通话的终端；第三类终端为仅支持音频通话的终端。本发明实施例无需在网络侧集中进行混屏处理，简化了网 络侧处理，并有利于推广普及。而且由于不需要MCU，也降低了硬件成本。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
在阅读并理解了附图和详细描述后，可以明白其他方面。
附图概述
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例多方视频架构的组成结构示意图；
图2为图1中的A类终端的视频/音频媒体接口A的媒体流构成示意图；
图3为图1中的B类终端的视频/音频媒体接口B的媒体流构成示意图；
图4为图1中的C类终端的视频/音频媒体接口C的媒体流构成示意图；
图5为本发明实施例中的第一类终端/第二类终端加入多方视频的第一实施例的流程图；
图6为本发明实施例中的第一类终端/第二类终端加入多方视频的第二实施例的流程图；
图7为本发明实施例中第三类终端加入多方视频的实施例的流程图；
图8为本发明实施例中第二类终端单视频流切换画面的实施例的流程图；
图9为本发明实施例中新用户加入后，信令面屏蔽多流的模式下网络侧的实现过程的第一实施例的流程图；
图10为本发明实施例中新用户加入后，信令面屏蔽多流的模式下网络侧的实现过程的第二实施例的流程图；
图11为本发明实施例中新用户加入后，信令面识别多流的模式下网络侧的实现过程的实施例的流程图；
图12为本发明实施例中Video Relay通过RTCP调整用户上行视频分辨 率的实施例的示意图；
图13为本发明实施例中Video Relay封包处理的实施例的示意图；
图14为本发明实施例实现多方会议的一种装置的组成结构示意图；
图15为本发明实施例实现多方会议的另一种装置的组成结构示意图；
图16为本发明实施例实现多方会议的又一种装置的组成结构示意图。
本发明的较佳实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1为本发明实施例多方视频架构的组成结构示意图，如图1所示，至少包括：应用服务器(AS，Application Server)、视频分发服务器、音频服务器，以及终端；其中，
AS，可以是多方视频功能的应用服务器，用于指示多方会议功能的控制如创建多方视频、加成员、踢成员等，以及指示对音频服务器和视频分发服务器的控制。AS与各类终端之间通过相应的控制接口实现控制、与视频分发服务器和音频服务器之间分别通过视频控制接口和音频控制接口实现控制的指示。
视频分发服务器，用于按照AS的指示，对来自终端(即用户)的视频流进行处理如复制和传送如中继，但是对视频流本身不进行编码/解码操作；本文中，视频分发服务器也可以称为视频中继(Video Relay)。其中，复制是指复制各终端的视频流，中继是指将复制的视频流转发给多方会议中的终端，这里转发给终端的复制的视频流中可以包括当前多方会议中所有终端的视频流，也可以是除该接收终端自身的视频流之外的其它所有终端的视频流即非自身的多个远端用户的视频信号的多条视频流。
音频服务器，用于按照AS的指示，对来自终端(即用户)的音频流进行处理如采用混音、复制等处理并传送给用户。这里，对音频流需要进行编码/解码操作。音频服务器可以是音频MRFP。
终端，可以包括第一类终端、和/或第二类终端、和/或第三类终端，其 中，
第一类终端即扩展的终端，如图1中的A类终端，支持多方视频应用下接收多个视频流，并支持混屏处理。典型的第一类终端如扩展的VoLTE终端。其中，如何实现混屏可以采用如四宫格、九宫格等技术，这里并不做限制，也不用于限定本发明实施例的保护范围。混屏的实现具体可以是采用内置在手机中的Native模式来实现，也可以是采用App模式来实现，对于本领域技术人员来讲，具体如何实现方式也很多，并不用于限定本发明实施例的保护范围，这里不再赘述，这里强调的是在第一类终端处才进行混屏处理。
第二类终端即支持视频通话的终端，如图1中的B类终端。典型的第二类终端如普通的VoLTE终端。
第三类终端即仅支持音频通话的终端，如图1中的C类终端。典型的第三类终端如传统的2G/3G的电路域(CS，Circuit Switch)终端。第三类终端接入IMS需要通过媒体网关控制功能/媒体网关(MGCF，Media Gateway Control Function)/(MGW，Media Gateway)进行信令、媒体转换，这里不再赘述。
需要说明的是：Video Relay的中继功能的意义主要在于视频，本文中仅以对视频采用Relay为例进行描述，但是，本质上音频也可以用Relay，因此，本文并不限定Relay仅应用于视频的情况，也包括应用于音频的情况。
下面结合图1对不同的控制接口介绍如下：
控制接口A为A类终端与AS之间的控制接口，使用会话初始协议(SIP，Session Initiation Protocol)，信令采用现有SIP信令。
视频媒体接口A为A类终端与Video Relay之间的视频媒体流接口，如图2所示，上行为一条视频流，为从用户侧采集的视频信号；下行为多条视频流(即非自身的多个远端用户的视频信号)。根据信令面屏蔽多流的模式或信令面识别多流的模式，多个视频流可以由Video Relay封包在一个实时传输协议(RTP，Real-time Transport Protocol)流中，也可以是分别封装在多个独立的RTP流中。
音频媒体接口A包括一路上行音频，为从用户侧采集的视音频信号；一 路下行音频，为混音的音频。音频媒体接口A与现有的终端的音频媒体接口相同。
控制接口B为B类终端与AS之间的控制接口，使用SIP协议，信令采用现有SIP信令。
视频媒体接口B为B类终端与Video Relay之间的视频媒体流接口，如图3所示，上行为一条视频流，为从用户侧采集的视频信号；下行为一条视频流(即当前发言者的视频信号)。
音频媒体接口B包括一路上行音频，为从用户侧采集的视频信号；一路下行音频，为混音的音频。音频媒体接口B与现有的终端的音频媒体接口相同。
控制接口C为C类终端与AS之间的控制接口，使用SIP协议，信令采用现有SIP信令。
音频媒体接口C包括一路上行音频，为从用户侧采集的视频信号；一路下行音频，为混音的音频。音频媒体接口C与现有的终端的音频媒体接口相同。
相应地，本发明实施例实现多方会议的方法包括：
AS接收来自终端的加入多方会议的请求；将请求中的音频信息发送给音频服务器，以实现音频的媒体协商；和/或将视频信息发送给视频分发服务器，以实现视频的媒体协商；将协商好的视频和/或音频进行处理后返回给终端。
该方法还包括：在向视频分发服务器发送视频信息时，同时将需要信令面指示的参数发送给视频分发服务器。
当接收来自音频服务器的需要将多方视频切换至当前发言人的请求，该方法还包括：
AS根据当前发言人的信息，向视频分发服务器请求将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容；并接收来自视频分发服务器的完成相应的转发关系变换的响应。
进一步地，如果有新的用户加入即新增终端，该方法还包括：
AS向终端请求重协商视频参数，并携带单个视频流，或者所有视频流；AS接收到来自终端的完成媒体协商的响应，向视频分发服务器发送信令面指示，以指示信令面更新完成。
而对于视频分发服务器，相应地，包括：接收到来自AS的视频信息，根据接收到的视频信息实现视频的媒体协商并返回给AS；与终端之间传递视频媒体流；其中，视频媒体流包括上行RTP流、下行RTP流，其中，下行的RTP流中会承载多路视频流。
如果视频分发服务器接收来自AS的需要信令面指示的参数，则当接收来自AS的信令面指示，该方法还包括：
视频分发服务器在下行RTP流中加入新用户对应的视频流。
其中，在下行RTP流中加入新用户对应的视频流具体包括：
一路下行RTP流中包括多方视频中所有用户的视频流；或者，多方视频中各用户的视频流分别对应一路下行RTP流。
当接收来自AS的将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容的请求时，该方法还包括：
完成相应的转发关系变换，以使当前多方会议中所有的终端接收的视频内容被切换至当前发言人对应的上行视频的内容。
进一步地，在有新用户加入时，该方法还包括：视频分发服务器直接在下行RTP流中加入新用户对应的视频流。
该方法还包括：视频分发服务器根据多方会议的用户数，调整用户上行视频分辨率。
该方法还包括：视频分发服务器接收来自各终端的上行视频流，按照终端类型和模式进行转发。其中，
按照终端类型和模式进行转发包括：
对于第一类终端，当采用信令面屏蔽多流的模式时，将多个视频封装在一个下行RTP流中发送给第一类终端；当采用信令面识别多流的模式时，将多个视频分别封装在各自的一路下行RTP流中发送给第一类终端；
对于第二类终端，根据AS最新指示的当前发言人，选定对应当前发言人的一路视频进行转发。
对于第一终端，相应地，包括：第一类终端向AS发送加入多方会议的请求，其中携带音频信息和/或视频信息；接收到来自AS的处理后的协商好的视频和/或音频，与音频服务器和/或视频分发服务器传递音频媒体流和/或视频媒体流。
当接收到来自AS的重协商视频参数的请求，该方法还包括：
所述第一类终端完成媒体协商；
当采用信令面屏蔽多流的模式时，接收来自视频分发服务器的封装有多个视频流的一个RTP流；当采用信令面识别多流的模式时，接收来自视频分发服务器的分别封装有与不同用户对应的视频流的多个RTP流。
本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项的实现多方会议的方法。
下面结合具体实施例和本发明实施例架构详细描述本发明实施例实现多方会议的方法。
图5为本发明实施例中第一类终端/第二类终端加入多方视频的第一实施例的流程图，本实施例为无后续AS指示的实施例，即新用户加入后，Video Relay的后续操作无需按照AS的指示进行，如图5所示，包括以下步骤：
步骤500：A类终端或B类终端(UE_A/UE_B)向AS发送邀请(INVITE)请求，以请求获取会议的统一资源标识符(URI，Uniform Resource Identifier)，INVITE请求中携带的会话描述协议(SDP，Session Description Protocol)包含音频信息和频信息。
本步骤也可以是由AS直接邀请终端加入多方视频会议。
步骤501：AS收到邀请(INVITE)请求，将SDP音频部分通过INVITE请求发送给Voice MRFP。
步骤502：Voice MRFP在返回的200OK中携带SDP，完成音频的媒体协商。
步骤503：AS向Voice MRFP返回响应ACK。
步骤504：AS将SDP视频部分通过INVITE请求发送给Video Relay。
步骤505：Video Relay在返回的200OK中携带SDP，完成视频的媒体协商。
步骤506：AS向Video Relay返回ACK。
需要说明的是，步骤501～步骤503所述的音频的媒体协商，以及步骤504～步骤506所述的视频的媒体协商之间并没有严格的先后执行顺序。
步骤507：AS将音频SDP和视频SDP进行合并处理，并携带在200OK中发送给UE_A/UE_B。
至此，即建立好了UE_A/UE_B与Voice MRFP之间的音频媒体流，音频媒体流包括：上行、下行各一路实时传输协议(RTP，Real-time Transport Protocol)流；以及，建立好了UE_A/UE_B与Video Relay之间的视频媒体流，视频媒体流包括上行、下行各一路RTP流，其中，下行的RTP流中会承载多路视频流。
这样，Video Relay会按照新的视频流组合对各A类终端进行转发，即对于新加入多方视频的UE_A，会在一路RTP流中接收到多个视频流，而对于原有的UE_A，会在原有的一路RTP流中加入新加入的UE_A的视频流即在原有的一路RTP流中多接收新加入的UE_A的视频流。
图5所示的方法中，需要加入多方视频的新用户UE_A在发送INVITE请求之前，还可以包括：
预先计算出多个视频的带宽需求，然后根据计算出的带宽折算出SDP中的视频参数。比如基于900*900的分辨率，如果后续最大支持9人会议，也就是说需要同时接收8路300*300分辨率的视频，这样容易得出，8路的视频带宽折算出需要按照720p(一般的会高于一路900*900)设置视频参数。
图6为本发明实施例中第一类终端/第二类终端加入多方视频的第二实施例的流程图，本实施例为有后续AS指示的实施例，即新用户加入后，Video Relay的后续操作需要按照AS的指示进行。如图6所示，包括以下步骤：
步骤600：UE_A/UE_B向AS发送INVITE请求，以请求获取会议的URI，INVITE请求中携带的SDP包含音频信息和视频信息。
本步骤也可以是由AS直接邀请终端加入多方视频会议。
步骤601：AS收到INVITE请求，将SDP音频部分通过INVITE请求发送给Voice MRFP。
步骤602：Voice MRFP在返回的200OK中携带SDP，完成音频的媒体协商。
步骤603：AS向Voice MRFP返回响应ACK。
步骤604：AS将SDP视频部分通过INVITE请求发送给Video Relay，同时，在INVITE请求中携带“需要信令面指示”的参数，即新用户加入后，Video Relay后续如何操作是需要按照AS的指示进行的。
步骤605：Video Relay在返回的200OK中携带SDP，完成视频的媒体协商。
步骤606：AS向Video Relay返回ACK。
步骤607：AS将音频SDP和视频SDP进行合并处理，并携带在200OK中发送给UE_A/UE_B。
至此，即建立好了UE与Voice MRFP之间的音频媒体流，音频媒体流包括上行、下行各一路RTP流；以及，建立好了UE与Video Relay之间的视频媒体流，视频媒体流包括上行、下行各一路RTP流。而且，Video Relay后续如何操作是需要按照AS的后续指示进行的。
需要说明的是，对于信令面识别多流的模式，加入多方视频采用图6所示的流程，即Video Relay后续如何操作，需要等AS与各UE重协商媒体后再指示。对于信令面屏蔽多流的模式，也可能使用图6所示的流程，比如AS发现新用户加入多方视频会议后，如果存在UE_A/UE-B当前的视频参数不满足多流的带宽需要时，可能会带来承载层无法保障服务质量(QoS)，这种情况下，Video Relay后续如何操作也是需要等到AS与各相关UE重协商媒体后指示的。其中，视频参数是否满足多流的带宽需要，可以有终端自行根据视频的情况计算得出，或者按照预先存储的视频情况与所需带宽需求之间的映射关系确定。具体实现属于本领域技术人员容易想到的，这里并不用于限定本发明实施例的保护范围，这里不再赘述。
图7为本发明实施例中第三类终端加入多方视频的实施例的流程图，如图7所示，包括以下步骤：
步骤700：第三类终端(UE_C)向AS发送INVITE请求，以请求获取会议的URI，INVITE请求中携带的SDP包含音频信息。
步骤701：AS收到INVITE请求，将SDP音频部分通过INVITE请求发送到Voice MRFP。
步骤702：Voice MRFP在返回的200OK中携带SDP，完成音频的媒体协商。
步骤703：AS向Voice MRFP返回响应ACK。
步骤704：AS将音视频SDP携带在200OK中发送给UE_C。
至此，即建立好了UE_C与Voice MRFP之间的音频媒体流，音频媒体流包括上行、下行各一路RTP流。
图8为本发明实施例中第二类终端单视频流切换画面的实施例的流程图，如图8所示，当第二类终端的发言人发生改变时，需要将多方视频切换至当前发言人，具体切换包括以下步骤：
步骤800：Voice MRFP向AS发送事件报告，其中携带当前发言人的信息。AS与Voice MRFP之间可以使用如MSML控制协议，即为<asn>Event。
步骤801：AS向Voice MRFP返回事件报告响应。
步骤802：AS根据当前发言人的信息，向Video Relay发送切换UE_B的视频流内容的请求，以请求将所有UE_B接收的视频内容切换为当前发言人对应的上行视频的内容。
步骤803～步骤804：Video Relay根据指示，完成相应的转发关系变换并向AS返回请求响应。
这样，UE_B即当前多方视频会议中所有的B类终端接收的视频内容被切换至当前发言人对应的上行视频的内容。
图9为本发明实施例中新用户加入后，信令面屏蔽多流的模式下网络侧的实现过程的第一实施例的流程图，本实施例基于无后续AS指示的实施例， 即新用户加入后，Video Relay的后续操作无需按照AS的指示进行的实施例，如图9所示，本实施例以有新的UE_A用户即新的第一类终端加入视频会议为例，需要将多方视频会议中的所有UE_A的下行RTP流更新为包含所有的视频流，包括：
步骤900：对于信令面屏蔽多流的模式，此操作由Video Relay在新用户加入后单独完成，即在下行RTP流中加入新用户对应的视频流。
假设该UE_A原先下行RTP流包括有视频流1、视频流2，当一个新用户加入，假设该新用户对应的视频流经过Video Relay封包转发后为视频流3，那么，Video Relay会将该新加入的UE_A的视频流3加入针对UE_A的下行RTP流中，也就是说，在发送给A类终端机UE_A的下行RTP流中包括视频流1、视频流2和视频流3。
从如图5或图6所示的流程可见，用户加入多方视频会议时，是向AS请求加入的，而AS在有新用户加入，会指示Video Relay有新的视频流加入到Video Relay，因此，Video Relay是能够感知有新用户加入的。
需要说明的是，有新的第二类终端即UE_B加入时，同样适用图9所示的方法。
图10为本发明实施例中新用户加入后，信令面屏蔽多流的模式下网络侧的实现过程的第二实施例的流程图，本实施例基于有后续AS指示的实施例，即新用户加入后，Video Relay的后续操作需要按照AS的指示进行的实施例，如图10所示，本实施例以有新的UE_A用户即新的第一类终端加入视频会议为例，需要将多方视频会议中的所有UE_A的下行RTP流更新为包含所有的视频流，包括：
步骤1000：有新的UE_A用户即新的第一类终端加入多方视频会议，并且在加入时，AS已经指示Video Relay等待信令面指示如图6中步骤604所示。
步骤1001：AS向UE_A发送重邀请(Re-INVITE)请求以重协商视频参数。需要说明的是，本步骤也可以是由UE_A主动发起加入请求。
由于本实施例中假设采用的是信令面屏蔽多流的模式，因此，Re-INVITE 请求中携带的SDP只有单个视频(One Video)流。
步骤1002：UE返回200OK以完成媒体协商。
步骤1003：AS返回响应ACK。
步骤1004：AS向Video Relay发送信令面指示，以指示信令面更新完成。
步骤1005：Video Relay返回指示响应。
这样，在下行RTP流中会加入新用户对应的视频流。
比如UE_A原先下行RTP流包括有视频流1、视频流2，当一个新用户加入，假设该新用户对应的视频流经过Video Relay封包转发后为视频流3，那么，Video Relay会将该新加入的UE_A的视频流3加入针对UE_A的下行RTP流中，也就是说，在发送给A类终端即UE_A的下行RTP流中包括视频流1、视频流2和视频流3。
需要说明的是，有新的第二类终端即UE_B加入时，同样适用图10所示的方法。
图11为本发明实施例中新用户加入后，信令面识别多流的模式下网络侧的实现过程的实施例的流程图，本实施例基于有后续AS指示的实施例，即新用户加入后，Video Relay的后续操作需要按照AS的指示进行的实施例，如图10所示，本实施例以有新的UE_A用户即新的第一类终端加入视频会议为例，需要将多方视频会议中的所有UE_A的下行RTP流更新为包含所有的视频流，包括：
步骤1100：有新的UE_A用户即新的第一类终端加入视频会议，并且在加入时，AS已经指示Video Relay等待信令面指示如图6中步骤604所示。
步骤1101：AS向UE_A发送重邀请(Re-INVITE)请求以重协商视频参数。需要说明的是，本步骤也可以是由UE_A主动发起加入请求。
由于本实施例中采用的是信令面识别多流的模式，因此，Re-INVITE请求中携带的SDP包含所有视频(All Video)流即原先所有的Video流和新加入的终端的这一路RTP流对应的Video流。
步骤1102：UE返回200OK以完成媒体协商，即增加了一路下行的视频；
步骤1103：AS返回响应ACK。
步骤1104：AS向Video Relay发送信令面指示，以指示信令面更新完成。
步骤1105：Video Relay返回指示响应。
这样，在下行RTP组中会加入新用户对应的RTP流。如该UE原先下行有包含视频流1的RTP1流、包含视频流2的RTP2流，当一个新用户加入(该新用户对应的视频流经过Video Relay封包转发后为包含视频流3的RTP3流)，该UE的下行将包含RTP1流、RTP2流、RTP3流。
需要说明的是，有新的第二类终端即UE_B加入时，同样适用图11所示的方法。
图12为本发明实施例中Video Relay通过实时流协议(RTCP，Real-time Streaming Protocol)调整用户上行视频分辨率的实施例的示意图，如图12所示，假设当前会议中有4个提供视频的用户即UE_A1、UE2、UE3和UE4，其中，对于A类终端，此时可以按照如表1(a)的四宫格显示：整个画面分辨率为900*900，每一路(包括1、2、3和4路)分辨率为450*450。
假设有新加入的UE5，此时，多方视频会议中有5个用户，需要按九宫格显示：每一路分辨率可以降为300*300，当Video Relay识别出需要调整用户的上行视频分辨率时，会通过RTCP与各UE(支持视频的UE)交互，调整分辨率及相应的视频参数，具体如何调整可参见相关协议，这里不再详述。
各UE(支持视频的UE)都按照调整后的300*300分辨率采样，并在上行视频中发送给Video Relay；Video Relay将收到的多路(包括1、2、3、4和5路)300*300视频流封包转发给每个A类UE，A类UE的呈现效果为表1(b)的九宫格所示。
Figure PCTCN2017075421-appb-000001
当有第6个用户如UE6再加入时，还可以继续按当前的九宫格(多路 300*300)呈现，Video Relay就不需要通过RTCP调整用户的上行视频分辨率了。
图13为本发明实施例中Video Relay封包处理的实施例的示意图，如图13所示，Video Relay接收来自各UE(支持视频的UE)的上行视频，按照终端类型和模式进行转发，具体地：
对于A类终端，
当采用信令面屏蔽多流的模式时，Video Relay将多个视频封装在一个RTP流中发送给终端，即Video Relay需要对RTP包进行封包处理，并且需要替换地址信息为Video Relay的地址信息。如13图中Video Relay对于UE_A1的处理；
当采用信令面识别多流的模式时，Video Relay将多个视频分别封装在各自的RTP流中发送给UE，即Video Relay需要替换地址信息为Video Relay的地址信息。如图13中Video Relay对于UE_A2的处理。
对于B类终端，
Video Relay根据AS最新指示的当前发言人，选定对应的视频进行转发，即仅转一路视频即可。
本发明实施例中各终端的视频格式是统一的，目前VoLTE、GSMA可以采用如H.264(未来H.265)等协议。
图14为本发明实施例实现多方会议的装置的一种组成结构示意图，该装置可以设置在AS中，如图14所示，至少包括第一接收模块、控制模块，以及第一处理模块，其中，
第一接收模块，设置为接收来自终端的加入多方会议的请求，
控制模块，设置为将请求中的音频信息发送给音频服务器，以实现音频的媒体协商；和/或将视频信息发送给视频分发服务器，以实现视频的媒体协商；
第一处理模块，设置为将协商好的视频和/或音频进行处理后返回给终端。
对于新用户加入后，Video Relay的后续操作需要按照AS的指示进行的 情况，进一步地，
控制模块在向视频分发服务器发送视频信息时，还设置为同时将需要信令面指示的参数发送给视频分发服务器。
进一步地，
第一接收模块还设置为：接收来自音频服务器的需要将多方视频切换至当前发言人的请求；相应地，
控制模块还设置为：根据当前发言人的信息，向视频分发服务器请求将所有终端接收的视频内容切换为当前发言人对应的上行视频流的内容；并接收来自视频分发服务器的完成相应的转发关系变换的响应。
进一步地，对于已经建立的多方会议，如果有新的用户加入，且对于新用户加入后，Video Relay的后续操作需要按照AS的指示进行的情况，
控制模块还设置为：向终端请求重协商视频参数，并携带单个视频(One Video)流(信令面屏蔽多流的模式)或者所有视频(All Video)流(信令面识别多流的模式)。
第一处理模块还设置为，接收到来自终端的完成媒体协商的响应，向视频分发服务器发送信令面指示，以指示信令面更新完成。
图15为本发明实施例实现多方会议的另一种装置的组成结构示意图，该装置可以设置在视频分发服务器如Video Relay中，如图15所示，至少包括第二接收模块，第二处理模块；其中，
第二接收模块，设置为接收来自AS的视频信息；
第二处理模块，设置为根据接收到的视频信息实现视频的媒体协商并返回给AS；与终端之间传递视频媒体流。
其中，视频媒体流包括上行RTP流、下行RTP流，其中，下行的RTP流中会承载多路视频流。
值得注意的是：本发明实施例提供的视频分发服务器对视频流本身并不进行编码/解码操作。
进一步地，
第二接收模块还设置为：接收来自AS的需要信令面指示的参数；这种情况下，当接收来自AS的信令面指示时，相应地，
第二处理模块还设置为：在下行RTP流中会加入新用户对应的视频流。具体包括：在一路下行RTP流中包括多方会议中所有用户的视频流；或者，多方会议中各用户的视频流分别对应一路下行RTP流中(也可称为下行RTP组)。
进一步地，
第二接收模块还设置为：接收来自AS的将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容的请求；
第二处理模块还设置为：完成相应的转发关系变换，以使当前多方会议中所有的终端接收的视频内容被切换至当前发言人对应的上行视频的内容。
进一步地，第二处理模块还设置为：在有新用户加入时，直接在下行RTP流中加入新用户对应的视频流。
进一步地，第二处理模块还设置为：根据多方会议的用户数调整用户上行视频分辨率。
进一步地，第二处理模块还设置为：接收来自各终端的上行视频流，按照终端类型和模式进行转发。具体包括：
对于第一类终端，当采用信令面屏蔽多流的模式时，将来自各终端的多个视频封装在一个下行RTP流中发送给第一类终端；当采用信令面识别多流的模式时，将来自各终端的多个视频分别封装在各自的一个下行RTP流中发送给第一类终端。
对于第二类终端，根据AS最新指示的当前发言人，选定对应当前发言人的一路视频流进行转发。
图16为本发明实施例实现多方会议的又一种装置的组成结构示意图，该装置可以设置在第一类终端中，如图16所示，至少包括发送模块，第三处理模块；其中，
发送模块，设置为向AS发送加入多方会议的请求，其中携带音频信息和/或视频信息；
第三处理模块，设置为接收来自AS的处理后的协商好的视频和/或音频；与音频服务器和/或视频分发服务器传递音频媒体流和/或视频媒体流。
对于新用户加入后，Video Relay的后续操作需要按照AS的指示进行的情况，进一步地，
第三处理模块还设置为：接收来自AS的重协商视频参数的请求，完成媒体协商；当采用信令面屏蔽多流的模式时，接收来自视频分发服务器的封装有多个视频流的一个下行RTP流；当采用信令面识别多流的模式时，接收来自视频分发服务器的分别封装有与不同用户对应的视频流的多个下行RTP流。
以上所述，仅为本发明的较佳实例而已，并非用于限定本发明实施例的保护范围。凡在本发明实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的每个模块/单元可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明不限制于任何特定形式的硬件和软件的结合。”。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
工业实用性
本发明实施例提出的多方会议系统及其实现多方会议的方法和装置，包括应用服务器，用于多方会议功能的控制，以及指示对音频服务器和视频分 发服务器的控制；视频分发服务器，用于按照AS的指示，对来自终端的视频流进行处理和传送；音频服务器，用于按照AS的指示，对来自终端的音频流进行处理并传送；终端包括第一类终端、和/或第二类终端、和/或第三类终端，其中，第一类终端支持多方视频应用下接收多个视频流并自行进行混屏处理；第二类终端为普通的支持视频通话的终端；第三类终端为传统的仅支持音频通话的终端。本发明实施例无需在网络侧集中进行混屏处理，简化了网络侧处理，并有利于推广普及。而且由于不需要MCU，也降低了硬件成本。

Claims (41)

  1. 一种多方会议系统，其特征在于，包括；应用服务器AS、视频分发服务器、音频服务器，以及终端；其中，
    AS，设置为多方会议功能的控制，以及指示对音频服务器和视频分发服务器的控制；
    视频分发服务器，设置为按照AS的指示，对来自终端的视频流进行处理和传送；
    音频服务器，设置为按照AS的指示，对来自终端的音频流进行处理并传送；
    终端包括第一类终端、和/或第二类终端、和/或第三类终端，其中，第一类终端支持多方视频应用下接收多个视频流，并支持混屏处理；第二类终端为支持视频通话的终端；第三类终端为仅支持音频通话的终端。
  2. 根据权利要求1所述的多方会议系统，其特征在于，所述第一类终端与所述AS之间的控制接口使用会话初始协议SIP，信令采用SIP信令；
    所述第一类终端与所述视频分发服务器之间的视频媒体流接口，上行包含采集的视频信号的一条视频流，下行包含非自身的多个远端用户的视频信号的多条视频流；
    所述第一类终端与所述音频服务器之间的音频媒体接口包括包含从用户侧采集的视频信号的一路上行音频，以及一路下行音频。
  3. 根据权利要求2所述的多方会议系统，其特征在于，对于信令面屏蔽多流的模式，所述多个视频流封包在一个实时传输协议RTP流中；
    对于信令面识别多流的模式，所述多个视频流分别独立封装在多个RTP流中。
  4. 根据权利要求1所述的多方会议系统，其特征在于，所述第二类终端与所述AS之间的控制接口使用SIP协议，信令采用SIP信令；
    所述第二类终端与所述视频分发服务器之间的视频媒体接口，上行包含从用户侧采集的视频信号的一条视频流，下行包含当前发言者的视频信号的 一条视频流；
    所述第二类终端与所述音频服务器的音频媒体接口包括包含从用户侧采集的视频信号的一路上行音频，以及一路下行音频；
    所述第三类终端与所述AS之间的控制接口使用SIP协议，信令采用现有SIP信令；
    所述第三类终端与所述音频服务器的音频媒体接口包括从用户侧采集的音频信号的一路上行音频，以及一路下行音频。
  5. 根据权利要求1所述的多方会议系统，其特征在于，所述视频分发服务器至少包括第二接收模块，第二处理模块；其中，
    第二接收模块，设置为接收来自AS的视频信息；
    第二处理模块，设置为根据接收到的视频信息实现视频的媒体协商并返回给AS；与终端之间传递视频媒体流；
    其中，视频媒体流包括上行实时传输协议RTP流、下行RTP流，其中，下行的RTP流中会承载多路视频流。
  6. 根据权利要求5所述的多方会议系统，其特征在于，所述第二接收模块还设置为：接收来自所述AS的需要信令面指示的参数；当接收来自所述AS的信令面指示时，相应地，
    所述第二处理模块还设置为：在所述下行RTP流中加入新增终端对应的视频流。
  7. 根据权利要求5所述的多方会议系统，其特征在于，所述第二接收模块还设置为：接收来自所述AS的将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容的请求；
    所述第二处理模块还设置为：完成相应的转发关系变换，以使当前多方会议中所有的终端接收的视频内容被切换至当前发言人对应的上行视频的内容。
  8. 根据权利要求5、6或7所述的多方会议系统，其特征在于，所述第二处理模块还设置为：在有新增终端加入时，直接在所述下行RTP流中加入新用户对应的视频流。
  9. 根据权利要求5所述的多方会议系统，其特征在于，所述第二处理模块还设置为：根据所述多方会议的用户数调整用户上行视频分辨率。
  10. 根据权利要求5所述的多方会议系统，其特征在于，所述第二处理模块还设置为：接收来自各终端的上行视频流，按照终端类型和模式进行转发。
  11. 根据权利要求10所述的多方会议系统，其特征在于，所述按照终端类型和模式进行转发具体包括：
    对于第一类终端，当采用信令面屏蔽多流的模式时，将所述来自各终端的多个视频封装在一个RTP流中发送给所述第一类终端；当采用信令面识别多流的模式时，将所述来自各终端的多个视频分别封装在各自的RTP流中发送给所述第一类终端；
    对于第二类终端，根据所述AS最新指示的当前发言人，选定对应当前发言人的一路视频流进行转发。
  12. 一种实现多方会议的方法，其特征在于，包括：AS接收来自终端的加入多方会议的请求；
    将请求中的音频信息发送给音频服务器，以实现音频的媒体协商；和/或将视频信息发送给视频分发服务器，以实现视频的媒体协商；
    将协商好的视频和/或音频进行处理后返回给终端。
  13. 根据权利要求12所述的方法，其特征在于，该方法还包括：所述在向视频分发服务器发送视频信息时，同时将需要信令面指示的参数发送给视频分发服务器。
  14. 根据权利要求12所述的方法，其特征在于，当接收到来自音频服务器的需要将多方视频切换至当前发言人的请求消息，该方法还包括：
    所述AS根据当前发言人的信息，向视频分发服务器请求将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容；并接收来自视频分发服务器的完成相应的转发关系变换的响应。
  15. 根据权利要求13所述的方法，其特征在于，如果有新的用户加入，该方法还包括：
    所述AS向终端请求重协商视频参数，并携带单个视频流，或者所有视频流；
    接收到来自终端的完成媒体协商的响应，向视频分发服务器发送信令面指示，以指示信令面更新完成。
  16. 一种实现多方会议的方法，其特征在于，包括：视频分发服务器接收到来自AS的视频信息，根据接收到的视频信息实现视频的媒体协商并返回给AS；与终端之间传递视频媒体流；
    其中，视频媒体流包括上行RTP流、下行RTP流，其中，下行的RTP流中会承载多路视频流。
  17. 根据权利要求16所述的方法，其特征在于，如果所述视频分发服务器接收来自AS的需要信令面指示的参数，则当接收来自AS的信令面指示，该方法还包括：
    所述视频分发服务器在所述下行RTP流中加入新用户对应的视频流。
  18. 根据权利要求17所述的方法，其特征在于，在下行RTP流中加入新用户对应的视频流具体包括：
    一路所述下行RTP流中包括多方会议中所有用户的视频流；或者，多方视频会中各用户的视频流分别对应一路所述下行RTP流。
  19. 根据权利要求16所述的方法，其特征在于，当接收到来自AS的将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容的请求消息，该方法还包括：
    完成相应的转发关系变换，以使当前多方会议中所有的终端接收的视频内容被切换至当前发言人对应的上行视频的内容。
  20. 根据权利要求16所述的方法，其特征在于，在有新用户加入时，该方法还包括：所述视频分发服务器直接在所述下行RTP流中加入新用户对应的视频流。
  21. 根据权利要求16所述的方法，其特征在于，该方法还包括：所述视频分发服务器根据多方会议的用户数调整用户上行视频分辨率。
  22. 根据权利要求16所述的方法，其特征在于，该方法还包括：所述视 频分发服务器接收来自各终端的上行视频流，按照终端类型和模式进行转发。
  23. 根据权利要求22所述的方法，其特征在于，所述按照终端类型和模式进行转发包括：
    对于第一类终端，当采用信令面屏蔽多流的模式时，将多个视频流封装在一个所述下行RTP流中发送给第一类终端；当采用信令面识别多流的模式时，将多个视频流分别封装在各自的一路下行RTP流中发送给第一类终端；
    对于第二类终端，根据所述AS最新指示的当前发言人，选定对应当前发言人的一路视频进行转发。
  24. 一种实现多方会议的方法，其特征在于，包括：
    第一类终端向AS发送加入多方会议的请求，其中携带音频信息和/或视频信息；
    接收到来自AS的处理后的协商好的视频和/或音频，与音频服务器和/或视频分发服务器传递音频媒体流和/或视频媒体流。
  25. 根据权利要求24所述的方法，其特征在于，当接收到来自AS的重协商视频参数的请求，该方法还包括：
    所述第一类终端完成媒体协商；
    当采用信令面屏蔽多流的模式时，接收来自视频分发服务器的封装有多个视频流的一个RTP流；当采用信令面识别多流的模式时，接收来自视频分发服务器的分别封装有与不同用户对应的视频流的多个RTP流。
  26. 一种实现多方会议的装置，其特征在于，至少包括第一接收模块、控制模块，以及第一处理模块，其中，
    第一接收模块，设置为接收来自终端的加入多方会议的请求，
    控制模块，设置为将请求中的音频信息发送给音频服务器，以实现音频的媒体协商；和/或将视频信息发送给视频分发服务器，以实现视频的媒体协商；
    第一处理模块，设置为将协商好的视频和/或音频进行处理后返回给终端。
  27. 根据权利要求26所述的装置，其特征在于，所述控制模块在向视频分发服务器发送视频信息时还设置为：同时将需要信令面指示的参数发送给视频分发服务器。
  28. 根据权利要求26所述的装置，其特征在于，
    所述第一接收模块还设置为：接收来自音频服务器的需要将多方视频切换至当前发言人的请求；
    所述控制模块还设置为：根据当前发言人的信息，向视频分发服务器请求将所有终端接收的视频内容切换为当前发言人对应的上行视频流的内容；并接收来自视频分发服务器的完成相应的转发关系变换的响应。
  29. 根据权利要求26所述的装置，其特征在于，如果有新的用户加入，所述控制模块还设置为：向终端请求重协商视频参数，并携带单个视频流或者所有视频流。
  30. 根据权利要求26所述的装置，其特征在于，所述第一处理模块还设置为，接收到来自终端的完成媒体协商的响应，向视频分发服务器发送信令面指示，以指示信令面更新完成。
  31. 一种实现多方会议的装置，其特征在于，至少包括第二接收模块，第二处理模块；其中，
    第二接收模块，设置为接收来自AS的视频信息；
    第二处理模块，设置为根据接收到的视频信息实现视频的媒体协商并返回给AS；与终端之间传递视频媒体流；
    其中，视频媒体流包括上行RTP流、下行RTP流，其中，下行的RTP流中会承载多路视频流。
  32. 根据权利要求31所述的装置，其特征在于，所述第二接收模块还设置为：接收来自AS的需要信令面指示的参数；
    当所述第二接收模块接收到来自AS的信令面指示，所述第二处理模块还用于：在所述下行RTP流中会加入新用户对应的视频流。
  33. 根据权利要求32所述的装置，其特征在于，所述在下行RTP流中会加入新用户对应的视频流包括：在一路所述下行RTP流中包括多方视频会 中所有用户的视频流；或者，多方视频会中各用户的视频流分别对应在一路所述下行RTP流中。
  34. 根据权利要求31所述的装置，其特征在于，所述第二接收模块还设置为：接收来自AS的将所有终端接收的视频内容切换为当前发言人对应的上行视频的内容的请求；
    第二处理模块还设置为：完成相应的转发关系变换，以使当前多方会议中所有的终端接收的视频内容被切换至当前发言人对应的上行视频的内容。
  35. 根据权利要求31所述的装置，其特征在于，所述第二处理模块还设置为：在有新用户加入时，直接在下行RTP流中加入新用户对应的视频流。
  36. 根据权利要求31所述的装置，其特征在于，所述第二处理模块还设置为：根据多方会议的用户数调整用户上行视频分辨率。
  37. 根据权利要求31所述的装置，其特征在于，所述第二处理模块还设置为：接收来自各终端的上行视频流，按照终端类型和模式进行转发。
  38. 根据权利要求37所述的装置，其特征在于，所述按照终端类型和模式进行转发包括：
    对于第一类终端，当采用信令面屏蔽多流的模式时，将所述来自各终端的多个视频封装在一个所述下行RTP流中发送给第一类终端；当采用信令面识别多流的模式时，将所述来自各终端的多个视频分别封装在各自的一个所述下行RTP流中发送给第一类终端；
    对于第二类终端，根据AS最新指示的当前发言人，选定对应当前发言人的一路视频流进行转发。
  39. 一种实现多方会议的装置，其特征在于，至少包括发送模块，第三处理模块；其中，
    发送模块，设置为向AS发送加入多方会议的请求，其中携带音频信息和/或视频信息；
    第三处理模块，设置为接收来自AS的处理后的协商好的视频和/或音频；与音频服务器和/或视频分发服务器传递音频媒体流和/或视频媒体流。
  40. 根据权利要求39所述的装置，其特征在于，对于新用户加入后，所 述第三处理模块还设置为：
    接收来自AS的重协商视频参数的请求，完成媒体协商；
    当采用信令面屏蔽多流的模式时，接收来自视频分发服务器的封装有多个视频的一个所述下行RTP流；当采用信令面识别多流的模式时，接收来自视频分发服务器的分别封装有与不同用户对应的视频的多个所述下行RTP流。
  41. 一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求12～权利要求15，和/或权利要求16～权利要求23，和/或权利要求24～权利要求25任一项实现多方会议的方法。
PCT/CN2017/075421 2016-03-21 2017-03-02 多方会议系统及其实现多方会议的方法和装置 WO2017162012A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610159900.XA CN107222707A (zh) 2016-03-21 2016-03-21 多方会议系统及其实现多方会议的方法和装置
CN201610159900.X 2016-03-21

Publications (1)

Publication Number Publication Date
WO2017162012A1 true WO2017162012A1 (zh) 2017-09-28

Family

ID=59899214

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/075421 WO2017162012A1 (zh) 2016-03-21 2017-03-02 多方会议系统及其实现多方会议的方法和装置

Country Status (2)

Country Link
CN (1) CN107222707A (zh)
WO (1) WO2017162012A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115589400A (zh) * 2021-07-05 2023-01-10 中移系统集成有限公司 设备数据处理方法和装置、电子设备及可读存储介质
CN116700838A (zh) * 2023-06-09 2023-09-05 广州万彩信息技术有限公司 一种as语言接口函数、音视频处理方法和系统
WO2023185648A1 (zh) * 2022-03-31 2023-10-05 华为技术有限公司 一种通信方法、装置及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120881B (zh) * 2018-09-21 2020-10-02 上海赛连信息科技有限公司 一种多方会议控制方法、系统及终端
CN109743530B (zh) * 2019-01-10 2020-10-20 苏州华兴源创科技股份有限公司 多方视频会议方法及系统、服务器、计算机设备及介质
CN110769413A (zh) * 2019-09-24 2020-02-07 厦门大学 多方会议的数据传输方法及系统
CN112652408A (zh) * 2020-12-14 2021-04-13 河南经方云科技有限公司 一种基于互联网的中医远程会诊辅助系统及方法
CN115134628A (zh) * 2022-06-27 2022-09-30 深圳市欢太科技有限公司 流媒体传输方法、装置、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668162A (zh) * 2009-10-14 2010-03-10 中国电信股份有限公司 视频会议的实现方法和视频会议系统
CN102256101A (zh) * 2011-07-26 2011-11-23 中兴通讯股份有限公司 一种视频会议中媒体能力的转换方法、系统及应用服务器
CN103039072A (zh) * 2010-05-25 2013-04-10 维德约股份有限公司 用于使用多个摄影机和多个监视器的可缩放视频通信的系统和方法
US20140184720A1 (en) * 2012-12-28 2014-07-03 Ittiam Systems Pte. Ltd. Platform for end point and digital content centric real-time shared experience for collaboration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668162A (zh) * 2009-10-14 2010-03-10 中国电信股份有限公司 视频会议的实现方法和视频会议系统
CN103039072A (zh) * 2010-05-25 2013-04-10 维德约股份有限公司 用于使用多个摄影机和多个监视器的可缩放视频通信的系统和方法
CN102256101A (zh) * 2011-07-26 2011-11-23 中兴通讯股份有限公司 一种视频会议中媒体能力的转换方法、系统及应用服务器
US20140184720A1 (en) * 2012-12-28 2014-07-03 Ittiam Systems Pte. Ltd. Platform for end point and digital content centric real-time shared experience for collaboration

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115589400A (zh) * 2021-07-05 2023-01-10 中移系统集成有限公司 设备数据处理方法和装置、电子设备及可读存储介质
WO2023185648A1 (zh) * 2022-03-31 2023-10-05 华为技术有限公司 一种通信方法、装置及系统
CN116700838A (zh) * 2023-06-09 2023-09-05 广州万彩信息技术有限公司 一种as语言接口函数、音视频处理方法和系统
CN116700838B (zh) * 2023-06-09 2024-02-02 广州万彩信息技术有限公司 一种as语言接口函数、音视频处理方法和系统

Also Published As

Publication number Publication date
CN107222707A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
WO2017162012A1 (zh) 多方会议系统及其实现多方会议的方法和装置
US9294111B2 (en) Remote media IMS sessions
US10638351B2 (en) Service rate adjustment method and apparatus
US20160134835A1 (en) Multiple channel communication using multiple cameras
US9825997B2 (en) Mediator for optimizing the transmission of media contents between a multimedia resource function and a plurality of terminals
CN111147893B (zh) 一种视频自适应方法、相关设备以及存储介质
CN101924772B (zh) 支持跨网络、跨终端实现多媒体会话合并的通信方法
US9848022B2 (en) Method and apparatus for inter-device transfer (handoff) between IMS and generic IP clients
US20140267578A1 (en) Video injection for video communication
US11711550B2 (en) Method and apparatus for supporting teleconferencing and telepresence containing multiple 360 degree videos
US20110116495A1 (en) Method and apparatus for inter-device session transfer between internet protocol (ip) multimedia subsystem (ims) and h.323 based clients
WO2011088656A1 (zh) 一种移动终端实现可视电话三方通话的方法及系统
CN101030961A (zh) 一种在基于ngn网络实现时移电视业务的方法及其系统
WO2012075937A1 (zh) 视频通话方法及可视电话
US20110116473A1 (en) METHOD AND APPARATUS FOR INTER-DEVICE HANDOVER (HO) BETWEEN INTERNET PROTOCOL (IP) MULTIMEDIA SUBSYSTEM (IMS) AND CIRCUIT SWITCHED (CS) WIRELESS TRANSMIT/RECEIVE UNITS (WTRUs)
WO2015062454A1 (zh) 音视频通话方法、设备和系统
WO2021180202A1 (zh) 一种辅助链路补偿通话的系统、装置及芯片
WO2010003385A1 (zh) 一种应用服务器控制多媒体会议的方法及装置
CN106488173B (zh) 一种移动终端视频会议的实现方法、装置及相关设备
WO2014166366A1 (zh) 一种在长期演进集群网络中进行能力协商的方法及装置
WO2019128266A1 (zh) 视频会议的传输方法及装置、mcu
US20110188449A1 (en) Inter-device session duplication
WO2023005524A1 (zh) 订单支付方法、装置、存储介质、设备及系统
EP3560161B1 (en) H.248 control for multistream multimedia conferences
WO2021196860A1 (zh) 视频传输方法、系统、相关设备及存储介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17769289

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17769289

Country of ref document: EP

Kind code of ref document: A1