WO2016082578A1 - 多画面处理方法、多点控制单元及视频系统 - Google Patents

多画面处理方法、多点控制单元及视频系统 Download PDF

Info

Publication number
WO2016082578A1
WO2016082578A1 PCT/CN2015/086162 CN2015086162W WO2016082578A1 WO 2016082578 A1 WO2016082578 A1 WO 2016082578A1 CN 2015086162 W CN2015086162 W CN 2015086162W WO 2016082578 A1 WO2016082578 A1 WO 2016082578A1
Authority
WO
WIPO (PCT)
Prior art keywords
mcu
video image
terminal
synthesized
screen layout
Prior art date
Application number
PCT/CN2015/086162
Other languages
English (en)
French (fr)
Inventor
陈军
范旭彤
黄强
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Priority to US15/531,580 priority Critical patent/US20170332043A1/en
Priority to EP15863177.0A priority patent/EP3226552A4/en
Publication of WO2016082578A1 publication Critical patent/WO2016082578A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Definitions

  • the demand for multi-point video communication is increasing.
  • the capacity of each central office device is limited. Multiple central office devices need to be cascaded to solve the capacity problem.
  • the central office device can also be called Multi Control Unit (MCU for short). ).
  • the embodiments of the present invention provide a multi-picture processing method, a multi-point control unit, and a video system, to at least solve the problems caused by using a multi-channel cascade in a related art to implement a multi-picture function.
  • the predetermined rule includes at least one of the following: selecting an MCU where the specific terminal is located as the destination MCU, the MCU with the largest bandwidth as the destination MCU, selecting the MCU with the strongest processing capability as the destination MCU, and selecting the idle resource at most.
  • the MCU is used as the destination MCU and is determined according to the administrator's settings. Click on the MCU.
  • FIG. 1 is a flow chart of a multi-picture processing method according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the structure of a multipoint control unit according to an embodiment of the present invention
  • FIG. 3 is a block diagram showing an optional structure of a multipoint control unit according to an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of an optional networking according to an embodiment of the present invention.
  • FIG. 5 is a schematic diagram of an alternative multi-screen layout in accordance with an embodiment of the present invention.
  • FIG. 6 is a schematic diagram of an optional MCU decoding a terminal according to a layout after decoding by a terminal of the MCU according to an embodiment of the present invention
  • FIG. 7 is a schematic diagram 1 of another optional networking according to an embodiment of the present invention.
  • FIG. 9 is a schematic diagram 1 of another alternative zooming according to a layout according to an embodiment of the present invention.
  • FIG. 11 is a second schematic diagram of another alternative scaled synthesis according to an embodiment of the present invention.
  • FIG. 1 is a multi-screen processing according to an embodiment of the present invention.
  • a flow chart of the method, as shown in FIG. 1, the process includes the following steps:
  • Step S104 each MCU encodes and transmits the synthesized video image
  • Step S108 the end point MCU synthesizes and extracts the synthesized video image according to the multi-screen layout using the extracted video image and the video image of the terminal under the end MCU.
  • each MCU may have the function of the destination MCU and the function of the slave MCU (in the present embodiment, for convenience of explanation, other MCUs other than the destination MCU are referred to as slave MCUs)
  • This can negotiate and determine an MCU as an endpoint MCU from multiple MCUs according to predetermined rules.
  • the MCU where the specific terminal is located is the destination MCU, and the MCU with the largest bandwidth can be selected as the destination MCU; for example, the MCU with the strongest processing capability can be selected as the destination MCU; in some cases, the MCU with high bandwidth computing capability It also has a lot of processing tasks, and there may not be many idle resources. Therefore, as an alternative, the MCU with the most free resources can also be selected as the destination MCU.
  • the destination MCU can also be determined according to the administrator's settings.
  • These rules can be used in combination or separately. In practical applications, at least one of these rules can be selected according to the status of each MCU in the network or the network architecture. Of course, these rules are merely illustrative and are not limited thereto.
  • the endpoint MCU can determine the bandwidth resources that each MCU can use in order to better control its own bandwidth resources; then, each MCU will be synthesized according to the bandwidth it can use.
  • the video image is encoded and sent.
  • the bandwidth resources of the destination MCU can be controlled to some extent.
  • the method for saving bandwidth resources is not limited to the above-mentioned optional implementation manners, and can be flexibly processed according to actual needs.
  • the terminals under one MCU only want to see the video images of six of them, in which case the destination MCU can receive The information sent by the MCU, wherein the information is used to represent a video image of the terminal required by the MCU; and the destination MCU synthesizes the video image of the terminal required by the MCU according to the information according to the multi-screen layout and And/or the MCU that needs this composite image sends the synthesized video image.
  • This processing can further save bandwidth and allow you to get the terminal image you want from the MCU.
  • the MCU may have only the function of the slave MCU, or may only have the function of the destination MCU, and of course may also have the functions of the destination MCU and the slave MCU.
  • Another multi-picture processing method is also provided in this embodiment, which is the same as the method shown in FIG. 1, except that the method describes a multi-picture processing method from the perspective of an MCU. The method includes:
  • the MCU scales and combines the video images of the terminal in the MCU in the multi-screen layout according to the multi-screen layout, and encodes and transmits the synthesized video image; or the MCU receives the synthesis according to the multi-screen layout sent by other MCUs.
  • the video image is decoded and extracted, and the video image of each terminal is extracted, and the extracted video image and the video image of the terminal under the MCU are synthesized according to the multi-screen layout and the synthesized video image is transmitted.
  • the MCU negotiates with the other MCU according to a predetermined rule and determines an MCU as the destination MCU; if the MCU is not the destination MCU, the MCU will be in the multi-screen layout under the MCU
  • the video image of the terminal is scaled and combined according to the multi-screen layout, and the synthesized video image is encoded and transmitted.
  • the MCU receives the other MCU and sends the synthesized according to the multi-screen layout.
  • the video image is decoded and extracted, and the video image of each terminal is extracted, and the extracted video image and the video image of the terminal under the end MCU are synthesized according to the multi-screen layout and the synthesized video image is transmitted.
  • the predetermined rule includes at least one of selecting an MCU where the specific terminal is located as the destination MCU, selecting the MCU with the largest bandwidth as the destination MCU, selecting the MCU with the strongest processing capability as the destination MCU, and selecting the idle resource. The most MCU is used as the destination MCU, and the destination MCU is determined according to the administrator's settings.
  • the MCU can encode and transmit the synthesized video image according to the bandwidth it can use, wherein the bandwidth that can be used is determined by the destination MCU.
  • the MCU receives information of a multi-screen of another MCU, where the information is used to represent a video image of a terminal required by the other MCU; the MCU according to the information
  • the video image of the desired terminal is synthesized in accordance with the above-described multi-screen layout and transmitted to the terminal and/or the MCU requiring the composite image.
  • FIG. 2 is a structural block diagram of a multi-point control unit according to an embodiment of the present invention.
  • the multi-point control unit MCU includes: a first processing module. 22 and / or the first a processing module 24, wherein the first processing module 22 is configured to scale and synthesize the video image of the terminal in the MCU in the multi-screen layout according to the multi-screen layout, and encode and send the synthesized video image;
  • the second processing module 24 is configured to receive a video image synthesized by the other MCU according to the multi-screen layout and decode the video image of each terminal, and use the extracted video image and the video image of the terminal under the end MCU.
  • the composite video image is synthesized and transmitted in accordance with the multi-screen layout.
  • the multipoint control unit may further include: a negotiation module 32, configured to negotiate with the other MCU according to a predetermined rule.
  • the MCU as the end point MCU is determined; in the case where the MCU is not the end MCU, the first processing module 22 is enabled; in the case where the MCU is the end MCU, the second processing module 24 is enabled.
  • the predetermined rule includes at least one of: selecting an MCU with the largest bandwidth as the destination MCU, selecting the MCU with the strongest processing capability as the destination MCU, and selecting the MCU with the most idle resource as the destination MCU, according to the setting of the administrator. End point MCU.
  • the first processing module 22 is configured to encode and transmit the synthesized video image according to a bandwidth that can be used by the MCU where the first processing module is located, where the available bandwidth is the end point. MCU determined.
  • the second processing module 24 is configured to receive information of a multi-screen of another MCU, wherein the information is used to represent a video image of a terminal required by the other MCU; and according to the information
  • the video image of the terminal required by the other MCU is synthesized according to the multi-screen layout described above, and the combined video image is transmitted to the other MCU.
  • a video system comprising: at least two multi-point controllers, wherein one of the at least two multi-point controllers has the second processing module 24, and the remaining multi-point control
  • the device has the first processing module 22 described above.
  • each MCU will decode the terminal under the MCU in the multi-screen layout; each MCU will decode and synthesize according to the layout after decoding the terminal in the MCU in the multi-screen layout; each sub-MCU will synthesize the sub-picture
  • the image is encoded and sent to the cascade port; the destination MCU receives the code stream of each sub-MCU; the destination MCU will each sub-port After the MCU code stream is decoded, each sub-picture image is extracted and spliced into a complete multi-picture with the synthesized picture of the current level; the end MCU encodes the complete multi-picture and sends it to each terminal and each sub-MCU under the end MCU; each sub-MCU will have multiple pictures.
  • the code stream is forwarded to each terminal under the MCU.
  • FIG. 5 is a schematic diagram of an optional multi-screen layout according to an embodiment of the present invention.
  • a user may select the multi-screen layout illustrated in FIG. 5, and then each MCU will decode the terminal under the MCU in the multi-screen layout; each MCU will After the terminal in the MCU is decoded in the multi-screen layout, the frame is scaled and combined according to the layout, as shown in FIG. 6; each sub-MCU encodes the synthesized sub-picture image and sends it to the cascade port; the end MCU receives the code stream of each sub-MCU. The end MCU decodes each sub-MCU code stream, extracts each sub-picture image, and splices it into a complete multi-picture with the synthesized picture of the same level. The complete picture is shown in FIG. 5; the end MCU encodes the complete multi-picture and sends it to the destination MCU.
  • Each terminal and each sub-MCU; each sub-MCU forwards the multi-picture code stream to each
  • FIG. 7 is a schematic diagram 1 of another optional networking according to an embodiment of the present invention. As shown in FIG. 7 , each MCU no longer forms a tree cascade, but uses a cross connection, and each MCU can directly obtain Other MCU images;
  • terminal A For a specific terminal, such as terminal A, if you want to see the multi-screen layout as shown in Figure 8, you need to obtain the screen composite image of other terminals. Then select the MCU where terminal A is located, that is, MCU1 is the destination MCU, and each MCU will be in the multi-screen layout.
  • the MCU is decoded by the terminal under the MCU; each MCU will decode and synthesize according to the layout after decoding the terminal in the MCU in the multi-screen layout; each sub-MCU encodes the synthesized sub-picture image and sends it to the cascade port; the end MCU receives each sub-port.
  • the code stream of the MCU decodes each sub-MCU code stream, extracts each sub-picture image, and splices into a complete multi-picture with the synthesized picture of the current level; the end MCU encodes the complete multi-picture and sends it to the terminal A under the end MCU. .
  • FIG. 9 is a schematic diagram 1 of another optional scalable scaling according to the embodiment of the present invention.
  • the MCU2-MCUn encodes the synthesized sub-picture image and sends it to the MCU1 through the cascade port, and then the MCU1.
  • each sub-picture image is extracted and spliced into a complete multi-picture with the synthesized picture of the same level, and the complete picture is as shown in FIG. 8.
  • MCU1 will send a complete multi-picture encoding to terminal A.
  • the MCU1 is also selected as the destination MCU, and the multi-screen synthesis replaces itself with the data of the terminal A, so that each terminal can see that there is no self in the multi-picture, and the terminal DEF selects the MCU2 as the destination MCU to repeat the above operation.
  • each terminal sees multiple pictures, and each terminal sees no multiple images in its own.
  • FIG. 10 is a schematic diagram 2 of another optional networking according to an embodiment of the present invention.
  • each MCU is connected in a ring, MCUn is sent to MCU4, MCU4 is sent to MCU3, and MCU3 is sent to MCU2, MCU2.
  • Each MCU can obtain other MCU images from the loop;
  • each The MCU superimposes the local terminal image on the multi-picture received by itself, and sends the superimposed image to the next MCU.
  • a specific terminal such as terminal A
  • MCU4 will decode and synthesize the local terminal JKL image and send the multi-picture to MCU3.
  • MCU3 will decode and synthesize the local terminal GHI image and send it to MCU2.
  • the MCU 2 decodes the local terminal DEF image and sends the synthesized multi-picture to the MCU 1.
  • the MCU 1 superimposes the synthesized image on the local terminal BC image and sends it to the terminal A. This scheme is more suitable for multi-screen layout.
  • the size of each sub-picture is the same.
  • Each terminal can get all the sub-picture images in the loop. In the end, each terminal can see multiple pictures, and there is no self in the multi-picture. .
  • the video processing capability of the MCU is scaled and synthesized according to the multi-screen layout, and then transmitted to the destination MCU, thereby reducing the consumption of bandwidth resources.
  • each MCU in one or more MCUs is used to scale and synthesize video images of terminals in the MCU in the multi-screen layout according to the multi-screen layout; each MCU will be synthesized
  • the video image is encoded and transmitted; the destination MCU decodes the synthesized video image sent by each MCU and extracts the video image of each terminal; the destination MCU uses the extracted video image and the terminal under the destination MCU
  • the video image is synthesized according to the multi-screen layout and the combined video image is transmitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了多画面处理方法、多点控制单元及视频系统,该方法包括:一个或多个MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照该多画面布局进行缩放合成;该每个MCU将合成后的视频图像进行编码并发送;终点MCU将接收到该每个MCU发送的合成后的视频图像解码并提取每个终端的视频图像;该终点MCU使用提取到的视频图像以及该终点MCU下的终端的视频图像按照该多画面布局进行合成并发送合成后的视频图像。通过本发明解决相关技术中使用简单的多通道级联来实现多画面功能所导致的问题,节约了带宽资源。

Description

多画面处理方法、多点控制单元及视频系统 技术领域
本发明涉及通信领域,具体而言,涉及多画面处理方法、多点控制单元及视频系统。
背景技术
多点视频通讯需求越来越大,每台局端设备容量有限,需要多台局端设备级联来解决容量问题,局端设备也可以称为多点控制单元(Multi Control Unit,简称为MCU)。
目前,在多点视频通讯中通常会使用多画面功能,在相关技术中,多画面功能的实现是基于每台局端设备(MCU)内部多点实现的,级联时由于局端设备(MCU)间的带宽有限,一般只有一路图像的带宽,很难实现多个子画面在不同局端设备的多画面功能。针对这个问题有多种解决方案,例如,最简单的解决方案就是多通道级联,这种方案牺牲了的局端间的带宽。
针对相关技术中使用简单的多通道级联来实现多画面功能所导致的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了多画面处理方法、多点控制单元及视频系统,以至少解决相关技术中使用简单的多通道级联来实现多画面功能所导致的问题。
根据本发明的一个实施例,提供了一种多画面处理方法,包括:一个或多个多点控制单元MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成;所述每个MCU将合成后的视频图像进行编码并发送;终点MCU将接收到所述每个MCU发送的合成后的视频图像解码并提取每个终端的视频图像;所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
在本发明实施例中,所述方法还包括:根据预定规则从多个MCU中协商并确定一个MCU作为所述终点MCU。
在本发明实施例中,所述预定规则包括以下至少之一:选择特定终端所在MCU为终点MCU、带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终 点MCU。
在本发明实施例中,所述方法还包括:所述终点MCU获取所述每个MCU所能够使用的带宽资源;所述每个MCU将合成后的视频图像进行编码并发送包括:所述每个MCU按照其所能使用的带宽将合成后的视频图像进行编码并发送。
在本发明实施例中,所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像包括:所述终点MCU获取另一MCU发送多画面的信息,所述信息用于表示所述另一MCU所需要的终端的视频图像;所述终点MCU根据所述信息将所述另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
根据本发明的另一个实施例,提供了一种多画面处理方法,包括:多点控制单元MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成,将合成后的视频图像进行编码并发送;或者,所述MCU接收其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像,使用提取到的视频图像以及该MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
在本发明实施例中,所述方法还包括:所述MCU与所述其他MCU根据预定规则进行协商并确定作为所述终点MCU的MCU;在所述MCU未作为终点MCU的情况下,所述MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成,将合成后的视频图像进行编码并发送;在所述MCU作为终点MCU的情况下,所述MCU接收所述其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像,使用提取到的视频图像以及所述MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
在本发明实施例中,所述预定规则包括以下至少之一:选择特定终端所在MCU为终点MCU、选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
在本发明实施例中,所述MCU将合成后的视频图像进行编码并发送包括:所述MCU按照其所能使用的带宽将合成后的视频图像进行编码并发送,其中,所能使用的带宽为所述终点MCU确定的。
在本发明实施例中,所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像包括:所述 MCU获取另一MCU的多画面的信息,其中,所述信息用于表示所述另一MCU所需要的终端的视频图像;所述MCU根据所述信息将所述另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
根据本发明的另一实施例,提供了一种多点控制单元,所述多点控制单元MCU包括:第一处理模块,设置为将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成,将合成后的视频图像进行编码并发送;和/或,第二处理模块,设置为接收其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像,使用提取到的视频图像以及所述MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
在本发明实施例中,所述多点控制单元还包括:协商模块,设置为与所述其他MCU根据预定规则进行协商并确定作为所述终点MCU的MCU;在所述MCU未作为终点MCU的情况下,所述第一处理模块使能;在所述MCU作为终点MCU的情况下,所述第二处理模块使能。
在本发明实施例中,所述预定规则包括以下至少之一:选择特定终端所在MCU为终点MCU、选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
在本发明实施例中,所述第一处理模块设置为按照所述第一处理模块所在的MCU所能使用的带宽将合成后的视频图像进行编码并发送,其中,所能使用的带宽为所述终点MCU确定的。
在本发明实施例中,所述第二处理模块设置为获取另一MCU发送的多画面的信息,其中,所述信息用于表示所述另一MCU所需要的终端的视频图像;并根据所述信息将所述另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
根据本发明的另一实施例,提供了一种视频系统,包括:至少两个多点控制器,其中,所述至少两个多点控制器中有一个具有上述的第二处理模块,其余多点控制器具有上述的第一处理模块。
通过本发明实施例,采用一个或多个MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照该多画面布局进行缩放合成;该每个MCU将合成后的视频图像进行编码并发送;终点MCU将接收到该每个MCU发送的合成后的视频图像解码并提取每个终端的视频图像;该终点MCU使用提取到的视频图像以及该终点 MCU下的终端的视频图像按照该多画面布局进行合成并发送合成后的视频图像。解决相关技术中使用简单的多通道级联来实现多画面功能所导致的问题,节约了带宽资源。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的多画面处理方法的流程图;
图2是根据本发明实施例的多点控制单元的结构框图;
图3是根据本发明实施例的多点控制单元的可选结构框图;
图4是根据本发明实施例的可选的组网示意图;
图5是根据本发明实施例的可选的多画面布局的示意图;
图6是根据本发明实施例的可选的各MCU将本MCU下终端解码后按照布局缩放合成的示意图;
图7是根据本发明实施例的另一可选的组网示意图一;
图8是根据本发明实施例的另一可选的多画面布局的示意图;
图9是根据本发明实施例的另一可选的按照布局缩放合成的示意图一;
图10是根据本发明实施例的另一可选的组网示意图二;以及,
图11是根据本发明实施例的另一可选的按照布局缩放合成的示意图二。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。以下实施例中的“第一”“第二”仅用于区分,并不对顺序进行限定。
在本实施例中提供了一种多画面处理方法,图1是根据本发明实施例的多画面处 理方法的流程图,如图1所示,该流程包括如下步骤:
步骤S102,一个或多个MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照多画面布局进行缩放合成;
步骤S104,每个MCU将合成后的视频图像进行编码并发送;
步骤S106,终点MCU将接收到每个MCU发送的合成后的视频图像解码并提取每个终端的视频图像;
步骤S108,终点MCU使用提取到的视频图像以及该终点MCU下的终端的视频图像按照多画面布局进行合成并发送合成后的视频图像。
在相关技术中采用的是简单的多通道级联的方式进行处理的,这样每个MCU都会将自己下的每个终端的视频图像不经过处理直接发送给终点MCU,这将浪费终点MCU的带宽。通过上述步骤,利用了MCU的视频处理能力按照多画面布局进行缩放合成,然后再发送给终点MCU,这相对于相关技术中的处理方式降低了对带宽资源的消耗。
在第一个可选的实施例中,每个MCU都可以具有终点MCU的功能以及从MCU的功能(在本实施例中为了便于说明,将除终点MCU之外的其他MCU称为从MCU),这可就可以根据预定规则从多个MCU中协商并确定一个MCU作为终点MCU。
例如,选择特定终端所在MCU为终点MCU、可以选择带宽最大的MCU作为终点MCU;又例如,还可以选择运算处理能力最强的MCU作为终点MCU;在某种情况下带宽大计算能力强的MCU其承担的处理任务也比较多,其空闲资源可能并不多,因此,作为一种可选的方式,也可以选择空闲资源最多的MCU作为终点MCU。当然为了更加简单的实现,也可以根据管理员的设置确定终点MCU。这几种规则可以结合使用也可以单独使用,在实际应用中可以根据网络中各个MCU的状况或者网络架构从这些规则中选择至少之一。当然,这些规则仅仅是一种举例说明,并不限于此。
由于终点MCU需要接收很多MCU发送的视频图像,这可能会使终点MCU的带宽资源有比较大的消耗。作为一个可选的实施方式,终点MCU为了可以更好的控制自己的带宽资源,终点MCU可以确定每个MCU所能够使用的带宽资源;然后,每个MCU按照其所能使用的带宽将合成后的视频图像进行编码并发送。通过该可选的实施方式,可以再一定程度上使得终点MCU的带宽资源可控。
节约带宽资源的方式不仅仅限于上述可选的实施方式,还可以根据实际的需要来灵活处理。例如,虽然多画面布局中有九个终端的视频图像,但是,在某个MCU下的终端均只希望看到其中6个终端的视频图像,在这种情况下,终点MCU可以接收 该MCU发送的信息,其中,该信息用于表示该从MCU所需要的终端的视频图像;终点MCU根据该信息将该从MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。这种处理方式可以进一步节约带宽,并且,可以使从MCU得到自己想要的终端图像。
在上述实施例中,MCU可以仅具有从MCU的功能,也可仅仅具有终点MCU的功能,当然也可以同时具有终点MCU和从MCU的功能。在本实施例还提供了另一种多画面处理方法,该方法与图1示出的方法原理相同,不同的是,该方法从一个MCU的角度上描述了多画面处理方法。该方法包括:
MCU将多画面布局中的本MCU下的终端的视频图像按照该多画面布局进行缩放合成,将合成后的视频图像进行编码并发送;或者,该MCU接收其他MCU发送的按照多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像,使用提取到的视频图像以及该MCU下的终端的视频图像按照该多画面布局进行合成并发送合成后的视频图像。
在一个可选实施例中,该MCU与该其他MCU根据预定规则进行协商并确定作为该终点MCU的MCU;在该MCU未作为终点MCU的情况下,该MCU将多画面布局中的本MCU下的终端的视频图像按照该多画面布局进行缩放合成,将合成后的视频图像进行编码并发送;在该MCU作为终点MCU的情况下,该MCU接收该其他MCU发送的按照该多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像,使用提取到的视频图像以及该终点MCU下的终端的视频图像按照该多画面布局进行合成并发送合成后的视频图像。
在一个可选实施例中,该预定规则包括以下至少之一:选择特定终端所在MCU为终点MCU、选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
可选地,作为从MCU,该MCU可以按照其所能使用的带宽将合成后的视频图像进行编码并发送,其中,所能使用的带宽为终点MCU确定的。
可选地,作为终点MCU,该MCU接收另一MCU的多画面的信息,其中,该信息用于表示该另一MCU所需要的终端的视频图像;该MCU根据该信息将该另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
在本实施例中还提供了一种多点控制单元,图2是根据本发明实施例的多点控制单元的结构框图,如图2所示,该多点控制单元MCU包括:第一处理模块22和/或第 二处理模块24;其中,第一处理模块22,设置为将多画面布局中的本MCU下的终端的视频图像按照该多画面布局进行缩放合成,将合成后的视频图像进行编码并发送;第二处理模块24,设置为接收其他MCU发送的按照该多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像,使用提取到的视频图像以及该终点MCU下的终端的视频图像按照该多画面布局进行合成并发送合成后的视频图像。
图3是根据本发明实施例的多点控制单元的可选结构框图,如图3所示,该多点控制单元还可以包括:协商模块32,设置为与该其他MCU根据预定规则进行协商并确定作为该终点MCU的MCU;在该MCU未作为终点MCU的情况下,第一处理模块22使能;在该MCU作为终点MCU的情况下,第二处理模块24使能。
可选地,该预定规则包括以下至少之一:选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
在一个可选的实施方式中,第一处理模块22设置为按照该第一处理模块所在的MCU所能使用的带宽将合成后的视频图像进行编码并发送,其中,所能使用的带宽为终点MCU确定的。
在另一个可选的实施方式中,第二处理模块24设置为接收另一MCU的多画面的信息,其中,该信息用于表示该另一MCU所需要的终端的视频图像;并根据该信息将该另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向该另一MCU发送合成后的视频图像。
在本实施例中还提供给了一种视频系统,包括:至少两个多点控制器,其中,该至少两个多点控制器中有一个具有上述的第二处理模块24,其余多点控制器具有上述的第一处理模块22。
上述的可选实施方式是可以结合的,也可以单独使用。
图4是根据本发明实施例的可选的组网示意图,图4所示出的方法简单易行的方法,即不增加带宽,也不比单级多画面消耗更多的编解码资源。下面结合图4进行说明。在图4中,终点MCU可以称为主MCU(该MCU称为终点MCU或主MCU并不构成限定,只有该MCU能够实现相应的功能即可),还有多个子MCU(也可以称为从MCU,从MCU1至MCUn),每个MCU下均有一个或几个终端,例如,终端A至终端P。
用户选择多画面布局;各MCU将在多画面布局中的本MCU下终端解码;各MCU将在多画面布局中的本MCU下终端解码后按照布局缩放合成;各子MCU将合成后的子画面图像编码后送级联口;终点MCU收到各子MCU的码流;终点MCU将各子 MCU码流解码后,提取各子画面图像,与本级合成画面拼接合成成完整多画面;终点MCU将完整多画面编码后发给终点MCU下各终端及各子MCU;各子MCU将多画面码流转发给本MCU下各个终端。
图5是根据本发明实施例的可选的多画面布局的示意图;用户可以选择图5所示出的多画面布局,然后各MCU将在多画面布局中的本MCU下终端解码;各MCU将在多画面布局中的本MCU下终端解码后按照布局缩放合成,如图6所示;各子MCU将合成后的子画面图像编码后送级联口;终点MCU收到各子MCU的码流;终点MCU将各子MCU码流解码后,提取各子画面图像,与本级合成画面拼接合成成完整多画面,完整画面如图5所示;终点MCU将完整多画面编码后发给终点MCU下各终端及各子MCU;各子MCU将多画面码流转发给本MCU下各个终端。
图7是根据本发明实施例的另一可选的组网示意图一,如图7所示,各MCU之间不再组成树状级联,而是采用交叉连接,每个MCU都可以直接获取其他MCU图像;
针对特定终端,比如终端A,想要看到如图8所示多画面布局,需要获取其他终端的画面合成图像,则选择终端A所在MCU即MCU1为终点MCU,各MCU将在多画面布局中的本MCU下终端解码;各MCU将在多画面布局中的本MCU下终端解码后按照布局缩放合成;各子MCU将合成后的子画面图像编码后送级联口;终点MCU收到各子MCU的码流;终点MCU将各子MCU码流解码后,提取各子画面图像,与本级合成画面拼接合成成完整多画面;终点MCU将完整多画面编码后发给终点MCU下的终端A。
图9是根据本发明实施例的另一可选的按照布局缩放合成的示意图一,如图9所示,MCU2-MCUn将合成后的子画面图像编码后通过级联口送给MCU1,然后MCU1将各MCU2-MCUn码流解码后,提取各子画面图像,与本级合成画面拼接合成成完整多画面,完整画面如图8所示。MCU1将完整多画面编码后发终端A。
针对终端BC同样选择MCU1为终点MCU,多画面合成时而以终端A的数据替代自己,可实现每个终端看到的多画面里都没有自己,而终端DEF则选择MCU2为终点MCU重复上面的操作,最终实现每个终端都看多画面,每个终端看到的多画面里都没有自己。
图10是根据本发明实施例的另一可选的组网示意图二,如图10所示,各MCU之间以环状相连,MCUn发送给MCU4,MCU4发送给MCU3,MCU3发送给MCU2,MCU2发送给MCU1,从而形成环路。每个MCU都可以从环路里获取其他MCU图像;
图11是根据本发明实施例的另一可选的按照布局缩放合成的示意图二,每个 MCU在自己收到的多画面上叠加本地终端图像,将叠加好的图像发送给下一个MCU,针对特定终端,比如终端A,想要看到如图8所示多画面布局,需要获取其他终端的画面合成图像,MCUn将本地终端XYZ图像解码多画面合成后发送给了MCU4,MCU4将本地终端JKL图像解码合成后将多画面发送给MCU3,MCU3将本地终端GHI图像解码合成后送给MCU2,MCU2将本地终端DEF图像解码后合成多画面发送给MCU1,MCU1将合成后的图像叠加上本地终端BC图像后,发送给了终端A。这种方案比较适用于多画面布局各子画面大小相同,则每个终端都可以拿到环路里的所有子画面图像,最终实现每个终端都能看到多画面,切多画面里没有自己。
通过上述实施例,利用了MCU的视频处理能力按照多画面布局进行缩放合成,然后再发送给终点MCU,降低了对带宽资源的消耗。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
工业实用性
通过本发明提供的上述技术方案,采用一个或多个MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照该多画面布局进行缩放合成;该每个MCU将合成后的视频图像进行编码并发送;终点MCU将接收到该每个MCU发送的合成后的视频图像解码并提取每个终端的视频图像;该终点MCU使用提取到的视频图像以及该终点MCU下的终端的视频图像按照该多画面布局进行合成并发送合成后的视频图像。解决相关技术中使用简单的多通道级联来实现多画面功能所导致的问题,节约了带宽资源。

Claims (16)

  1. 一种多画面处理方法,包括:
    一个或多个多点控制单元MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成;
    所述每个MCU将合成后的视频图像进行编码并发送;
    终点MCU将接收到所述每个MCU发送的合成后的视频图像解码并提取每个终端的视频图像;
    所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
  2. 根据权利要求1中所述的方法,其中,所述方法还包括:
    根据预定规则从多个MCU中协商并确定一个MCU作为所述终点MCU。
  3. 根据权利要求2中所述的方法,其中,所述预定规则包括以下至少之一:选择特定终端所在MCU为终点MCU、带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
  4. 根据权利要求1至3中任一项中所述的方法,其中,
    所述方法还包括:所述终点MCU获取所述每个MCU所能够使用的带宽资源;
    所述每个MCU将合成后的视频图像进行编码并发送包括:所述每个MCU按照其所能使用的带宽将合成后的视频图像进行编码并发送。
  5. 根据权利要求1至3中任一项所述的方法,其中,所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像包括:
    所述终点MCU获取另一MCU的多画面的信息,所述信息用于表示所述另一MCU所需要的终端的视频图像;
    所述终点MCU根据所述信息将所述另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
  6. 一种多画面处理方法,包括:
    多点控制单元MCU将多画面布局中的本MCU下的终端的视频图像按照所述 多画面布局进行缩放合成,将合成后的视频图像进行编码并发送;或者,
    所述MCU接收其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像,使用提取到的视频图像以及该MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
  7. 根据权利要求6中所述的方法,其中,
    所述方法还包括:所述MCU与所述其他MCU根据预定规则进行协商并确定作为终点MCU的MCU;
    在所述MCU未作为终点MCU的情况下,所述MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成,将合成后的视频图像进行编码并发送;
    在所述MCU作为终点MCU的情况下,所述MCU接收所述其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像,使用提取到的视频图像以及所述MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
  8. 根据权利要求7中所述的方法,其中,所述预定规则包括以下至少之一:选择特定终端所在MCU为终点MCU、选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
  9. 根据权利要求6至8中任一项中所述的方法,其中,所述MCU将合成后的视频图像进行编码并发送包括:
    所述MCU按照其所能使用的带宽将合成后的视频图像进行编码并发送,其中,所能使用的带宽为所述终点MCU确定的。
  10. 根据权利要求6至8中任一项中所述的方法,其中,所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像包括:
    所述MCU获取另一MCU的多画面的信息,其中,所述信息用于表示所述另一MCU所需要的终端的视频图像;
    所述MCU根据所述信息将所述另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
  11. 一种多点控制单元MCU,所述多点控制单元MCU包括:
    第一处理模块,设置为将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成,将合成后的视频图像进行编码并发送;和/或,
    第二处理模块,设置为接收其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像,使用提取到的视频图像以及所述MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
  12. 根据权利要求11中所述的多点控制单元,其中,所述多点控制单元还包括:
    协商模块,设置为与所述其他MCU根据预定规则进行协商并确定作为所述终点MCU的MCU;
    在所述MCU未作为终点MCU的情况下,所述第一处理模块使能;
    在所述MCU作为终点MCU的情况下,所述第二处理模块使能。
  13. 根据权利要求11中所述的多点控制单元,其中,所述预定规则包括以下至少之一:选择特定终端所在MCU为终点MCU、选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
  14. 根据权利要求11至13中任一项所述的多点控制单元,其中,所述第一处理模块设置为按照所述第一处理模块所在的MCU所能使用的带宽将合成后的视频图像进行编码并发送,其中,所能使用的带宽为所述终点MCU确定的。
  15. 根据权利要求11至13中任一项所述的多点控制单元,其中,所述第二处理模块设置为获取另一MCU的多画面的信息,其中,所述信息用于表示所述另一MCU所需要的终端的视频图像;并根据所述信息将所述另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
  16. 一种视频系统,包括:至少两个多点控制器,其中,所述至少两个多点控制器中有一个具有权利要求11至15任一项所述的第二处理模块,其余多点控制器具有权利要求11至15中任一项所述的第一处理模块。
PCT/CN2015/086162 2014-11-27 2015-08-05 多画面处理方法、多点控制单元及视频系统 WO2016082578A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/531,580 US20170332043A1 (en) 2014-11-27 2015-08-05 Multi-picture processing method, multi control unit (mcu) and video system
EP15863177.0A EP3226552A4 (en) 2014-11-27 2015-08-05 Multi-screen processing method, multi control unit and video system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410707407.8A CN105704424A (zh) 2014-11-27 2014-11-27 多画面处理方法、多点控制单元及视频系统
CN201410707407.8 2014-11-27

Publications (1)

Publication Number Publication Date
WO2016082578A1 true WO2016082578A1 (zh) 2016-06-02

Family

ID=56073542

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/086162 WO2016082578A1 (zh) 2014-11-27 2015-08-05 多画面处理方法、多点控制单元及视频系统

Country Status (4)

Country Link
US (1) US20170332043A1 (zh)
EP (1) EP3226552A4 (zh)
CN (1) CN105704424A (zh)
WO (1) WO2016082578A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI644565B (zh) * 2017-02-17 2018-12-11 陳延祚 視訊影像處理方法及其相關系統
CN109068166B (zh) * 2018-08-17 2020-02-14 北京达佳互联信息技术有限公司 一种视频合成方法、装置、设备及存储介质
CN109120867A (zh) * 2018-09-27 2019-01-01 乐蜜有限公司 视频合成方法及装置
CN113497963B (zh) * 2020-03-18 2023-04-18 阿里巴巴集团控股有限公司 视频处理方法、装置及设备
CN112887635A (zh) * 2021-01-11 2021-06-01 深圳市捷视飞通科技股份有限公司 多画面拼接方法、装置、计算机设备和存储介质
KR20220114326A (ko) * 2021-02-08 2022-08-17 삼성전자주식회사 미디어 스트림을 송수신하는 전자 장치 및 그 동작 방법
CN113923379B (zh) * 2021-09-30 2022-07-05 广州市保伦电子有限公司 一种自适应视窗的多画面合成方法及处理终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031065A (zh) * 2007-04-27 2007-09-05 华为技术有限公司 一种在视频业务中实现画面切换的方法、装置及系统
CN101094381A (zh) * 2007-06-21 2007-12-26 中兴通讯股份有限公司 一种会议电视系统中的多画面远端摄像机遥控方法
CN101262587A (zh) * 2008-03-31 2008-09-10 杭州华三通信技术有限公司 一种实现多画面视频会议的方法及多点控制单元
CN101895718A (zh) * 2010-07-21 2010-11-24 杭州华三通信技术有限公司 视频会议系统多画面广播方法及其装置和系统
CN102006451A (zh) * 2010-11-18 2011-04-06 中兴通讯股份有限公司 在级联会议中实现多画面的方法、系统及mcu
US20130106988A1 (en) * 2011-10-28 2013-05-02 Joseph Davis Compositing of videoconferencing streams

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7692683B2 (en) * 2004-10-15 2010-04-06 Lifesize Communications, Inc. Video conferencing system transcoder
US7800642B2 (en) * 2006-03-01 2010-09-21 Polycom, Inc. Method and system for providing continuous presence video in a cascading conference
US8319820B2 (en) * 2008-06-23 2012-11-27 Radvision, Ltd. Systems, methods, and media for providing cascaded multi-point video conferencing units

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031065A (zh) * 2007-04-27 2007-09-05 华为技术有限公司 一种在视频业务中实现画面切换的方法、装置及系统
CN101094381A (zh) * 2007-06-21 2007-12-26 中兴通讯股份有限公司 一种会议电视系统中的多画面远端摄像机遥控方法
CN101262587A (zh) * 2008-03-31 2008-09-10 杭州华三通信技术有限公司 一种实现多画面视频会议的方法及多点控制单元
CN101895718A (zh) * 2010-07-21 2010-11-24 杭州华三通信技术有限公司 视频会议系统多画面广播方法及其装置和系统
CN102006451A (zh) * 2010-11-18 2011-04-06 中兴通讯股份有限公司 在级联会议中实现多画面的方法、系统及mcu
US20130106988A1 (en) * 2011-10-28 2013-05-02 Joseph Davis Compositing of videoconferencing streams

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3226552A4 *

Also Published As

Publication number Publication date
CN105704424A (zh) 2016-06-22
US20170332043A1 (en) 2017-11-16
EP3226552A4 (en) 2017-11-15
EP3226552A1 (en) 2017-10-04

Similar Documents

Publication Publication Date Title
WO2016082578A1 (zh) 多画面处理方法、多点控制单元及视频系统
US11120677B2 (en) Transcoding mixing and distribution system and method for a video security system
US10250683B2 (en) Server node arrangement and method
US9088692B2 (en) Managing the layout of multiple video streams displayed on a destination display screen during a videoconference
CN101262587B (zh) 一种实现多画面视频会议的方法及多点控制单元
US8976220B2 (en) Devices and methods for hosting a video call between a plurality of endpoints
US9338401B2 (en) System and method for a hybrid topology media conferencing system
US9961303B2 (en) Video conference virtual endpoints
US9654516B2 (en) Method and device for negotiating media capability
CN107357585B (zh) 视频获取方法、装置、视频设备及存储介质
EP3253066B1 (en) Information processing device
JP2009021901A (ja) 画像送信装置、画像送信方法、受信装置および画像送信システム
US20180063477A1 (en) Tablet docking stations as adapter for video conferencing system
KR101641184B1 (ko) 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템
WO2011134224A1 (zh) 一种视频处理方法及其系统、mcu视频处理单元
WO2015003532A1 (zh) 多媒体会议的建立方法、装置及系统
CN101345844A (zh) 一种多媒体码流传输方法和一种多点控制单元
CN101350908A (zh) 用于网络视频会议的视频数据传输系统及方法
CN101998104B (zh) 一种视频电话及其替代视频的生成方法
US20220311814A1 (en) Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence for remote terminals
JP2016143954A (ja) 無線通信装置及び無線通信方法
US20140055471A1 (en) Method for providing scalable remote screen image and apparatus thereof
EP3641302A1 (en) Video conference server capable of providing multi-screen video conference by using plurality of terminals for video conference, and method therefor
TWI531244B (zh) 視訊會議資料處理方法及系統
CN112788429B (zh) 一种基于网络的屏幕共享系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15863177

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15531580

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015863177

Country of ref document: EP