WO2017219980A1 - 播放画面生成方法、装置及系统 - Google Patents

播放画面生成方法、装置及系统 Download PDF

Info

Publication number
WO2017219980A1
WO2017219980A1 PCT/CN2017/089371 CN2017089371W WO2017219980A1 WO 2017219980 A1 WO2017219980 A1 WO 2017219980A1 CN 2017089371 W CN2017089371 W CN 2017089371W WO 2017219980 A1 WO2017219980 A1 WO 2017219980A1
Authority
WO
WIPO (PCT)
Prior art keywords
layout information
layout
screen
terminal
code stream
Prior art date
Application number
PCT/CN2017/089371
Other languages
English (en)
French (fr)
Inventor
涂成义
朱兴昌
孔建华
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2017219980A1 publication Critical patent/WO2017219980A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements

Definitions

  • the present disclosure relates to the field of communications, and in particular, to a playback screen generating method, apparatus, and system.
  • the multi-picture technology is extended from the picture-in-picture technology. It refers to playing multiple content at the same time in one picture. It is widely used in scene lists, mosaic channels, etc., but at present, it basically uses integrated one-way code stream to display in the grid mode.
  • the picture is monotonous and cannot be freely laid out and arranged, affecting the user's operation and experience.
  • the embodiments of the present disclosure provide a method, an apparatus, and a system for generating a play picture, so as to at least solve the problem that the integrated video channel is used in the related art to display a play picture in a checkered mode, resulting in poor user experience.
  • a method for generating a play picture including: synthesizing a multiplex code stream into layout information of a code stream; and transmitting the layout information to a terminal through a content distribution network (CDN),
  • CDN content distribution network
  • the layout information is used for the terminal to parse and then perform screen cutting to generate a playback screen of the layout.
  • synthesizing the multiplexed code stream into the layout information of the one-way code stream comprises: compressing the plurality of code streams into screens of the same size, and combining the layout information of one code stream in the form of a grid.
  • the method before compressing the plurality of code streams into screens of the same size and combining them into layout information of one code stream in the form of a grid, the method further comprises: converting video content of different formats and different protocols into HLS The format of the protocol specification.
  • the method further comprises: writing the layout information to the m3u8 file.
  • Another aspect of the embodiments of the present disclosure provides a playback screen generating method, including: receiving layout information sent by an encoder through a content distribution network (CDN), wherein the layout information is that the encoder will multiplex code The stream is synthesized into layout information of one code stream; after parsing the layout information, the analyzed layout information is screen cut to generate a layout play screen.
  • CDN content distribution network
  • performing screen cut on the parsed layout information, and generating a layout play screen includes: parsing the layout information, and downloading a TS stream to cut out a screen of each code stream. , performing a modification process according to a predefined template, and filling the reserved position of the template to generate a playback screen of the layout, wherein
  • the template refers to a layout style finally presented on the terminal, including a background image, a text, and a content display bit.
  • the template is created by one of the following methods: local production, creating a user interaction interface UI in the terminal, setting a template through a local interface; performing online production, describing the location of each display element in the m3u8 file, and parsing by the terminal Generate a template.
  • a playback screen generating apparatus including: a synthesizing module configured to synthesize a multiplexed code stream into layout information of one code stream; and a sending module configured to pass the content distribution network (CDN)
  • CDN content distribution network
  • the synthesizing module comprises: a combining unit configured to compress the plurality of code streams into screens of the same size, and combine them into layout information of one code stream in the form of a grid.
  • a still further aspect of the embodiments of the present disclosure further provides a playback screen generating apparatus, including: a receiving module, configured to receive layout information sent by an encoder through a content distribution network (CDN), wherein the layout information is The encoder combines the multiplexed code streams into the layout information of the one-way code stream; the generating module is configured to, after parsing the layout information, perform screen cutting on the parsed layout information to generate a layout play screen.
  • CDN content distribution network
  • a playback screen generating system includes: an encoder, a content distribution network CDN, and a terminal, where
  • the encoder is configured to combine the multiplexed code streams into layout information of one code stream, and send the layout information to the CDN;
  • the CDN is configured to receive the layout information, and send the layout information to a terminal;
  • the terminal is configured to receive the layout information, and after parsing the layout information, perform screen cut on the parsed layout information to generate a layout play screen.
  • the layout information is layout information in which the encoder combines multiple streams into one stream; in parsing the layout information After that, the screen layout of the parsed layout information is generated, and the playback screen of the layout is generated, which solves the problem that the user experience is poor due to the use of the integrated code stream in the related art, and the user experience is poor, and can be improved according to the user's customization.
  • CDN content distribution network
  • FIG. 1 is a flowchart 1 of a method for generating a play screen according to an embodiment of the present disclosure
  • FIG. 2 is a second flowchart of a method for generating a play screen according to an embodiment of the present disclosure
  • FIG. 3 is a block diagram 1 of a playback picture generating apparatus according to an embodiment of the present disclosure
  • FIG. 4 is a block diagram 2 of a play screen generating apparatus according to an embodiment of the present disclosure
  • FIG. 5 is an overall architectural diagram of a playback screen generation according to an embodiment of the present disclosure
  • FIG. 6 is a schematic diagram of a play screen generation template according to an embodiment of the present disclosure.
  • FIG. 7 is a schematic diagram of making and setting a play screen generation template according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart of a player cut chart screen in accordance with an embodiment of the present disclosure.
  • FIG. 9 is a schematic diagram of a principle of screen cutting according to an embodiment of the present disclosure.
  • FIG. 10 is a schematic diagram of a cut screen at a player in accordance with an embodiment of the present disclosure.
  • FIG. 11 is a schematic diagram of an online production template in accordance with an embodiment of the present disclosure.
  • FIG. 1 is a flowchart 1 of a playback screen generating method according to an embodiment of the present disclosure. As shown in FIG. 1 , the flow includes the following steps:
  • Step S102 synthesizing the multiplexed code stream into the layout information of the one-way code stream
  • Step S104 The layout information is sent to the terminal through a content distribution network (CDN), and the layout information is used for parsing the terminal and performing screen cutting to generate a playback screen of the layout.
  • CDN content distribution network
  • the multiplexed code stream is synthesized into the layout information of one code stream, and the layout information is sent to the terminal through the content distribution network (CDN), and the terminal performs image cutting after parsing to generate a layout play screen, which solves the related art.
  • CDN content distribution network
  • the use of integrated one-way code stream to display the playback screen in the Gongge mode leads to a problem of poor user experience, which can improve the user experience according to user-defined.
  • synthesizing the multiplexed code stream into the layout information of the one-way code stream comprises: compressing the plurality of code streams into screens of the same size, and combining the layout information of one code stream in the form of a grid.
  • the video content of different formats and different protocols is converted into a format of the HLS protocol specification before compressing the plurality of code streams into pictures of the same size and combining them into the layout information of one code stream in the form of a grid.
  • the method further comprises: writing the layout information to the m3u8 file.
  • FIG. 2 is a second flowchart of a method for generating a play picture according to an embodiment of the present disclosure. As shown in FIG. 2, the process includes the following steps:
  • Step S202 receiving layout information sent by the encoder through a content distribution network (CDN), wherein the layout information is layout information that the encoder combines the multiple code streams into one code stream;
  • CDN content distribution network
  • Step S204 after parsing the layout information, performing screen cut on the analyzed layout information to generate a playback screen of the layout.
  • performing screen cut on the parsed layout information, and generating a layout play screen includes: parsing the layout information, downloading the TS code stream, and cutting out the image of each code stream, according to The pre-defined template is modified and filled into a reserved position of the template to generate a play screen of the layout, wherein the template refers to a layout style finally presented on the terminal, including a background image, a text and a content display bit.
  • the template is created by one of the following methods: local production, creating a user interaction interface UI in the terminal, setting a template through a local interface; performing online production, describing the location of each display element in the m3u8 file, and parsing by the terminal Generate a template.
  • FIG. 3 is a block diagram 1 of a playback screen generating apparatus according to an embodiment of the present disclosure. As shown in FIG. 3, the method includes:
  • the synthesizing module 32 is configured to synthesize the multiplexed code stream into the layout information of the one-way code stream;
  • the sending module 34 is configured to send the layout information to the terminal through a content distribution network (CDN), and the layout information is used for parsing the terminal and performing screen cutting to generate a playback screen of the layout.
  • CDN content distribution network
  • the block of synthesis mode 32 comprises:
  • the combining unit is configured to compress the plurality of code streams into screens of the same size, and combine them into the layout information of one code stream in the form of a grid.
  • FIG. 4 is a block diagram 2 of a playback screen generating apparatus according to an embodiment of the present disclosure. As shown in FIG. 4, the method includes:
  • the receiving module 42 is configured to receive layout information that is sent by the encoder through a content distribution network (CDN), where the layout information is layout information that the encoder combines the multiple streams into one stream;
  • CDN content distribution network
  • the generating module 44 is configured to, after parsing the layout information, perform screen cutting on the parsed layout information to generate a playback screen of the layout.
  • a playback picture generating system includes: an encoder, a content distribution network (CDN), and a terminal, where
  • An encoder configured to combine the multiplexed code stream into layout information of one code stream, and send the layout information to the CDN;
  • a CDN configured to receive the layout information, and send the layout information to the terminal
  • the terminal is configured to receive the layout information, and after parsing the layout information, perform screen cut on the parsed layout information to generate a layout play screen.
  • Embodiments of the present disclosure also provide a storage medium.
  • the foregoing storage medium may be configured to store program code for performing the following steps:
  • Step S1 synthesizing the multiplexed code stream into the layout information of one code stream
  • step S2 the layout information is sent to the terminal through a content distribution network (CDN), and the layout information is used for parsing the terminal and performing screen cutting to generate a playback screen of the layout.
  • CDN content distribution network
  • the foregoing storage medium may include, but not limited to, a USB flash drive, a Read-Only Memory (ROM), a Random Access Memory (RAM), a mobile hard disk, and a magnetic memory.
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • a mobile hard disk e.g., a hard disk
  • magnetic memory e.g., a hard disk
  • FIG. 5 is an overall architecture diagram of a playback screen generation according to an embodiment of the present disclosure.
  • the head end encoder is configured to multiple After the content is encoded, it combines one code stream to output the terminal, and writes the layout information to the m3u8 file; the terminal player reads the m3u8 file, parses the layout information, downloads the TS code stream, and then each content
  • the picture is cut out, stretched, rotated, etc. according to the requirements of the pre-made custom template, and filled into the reserved position of the template, displayed in multiple dimensions, Form a more beautiful playback interface to enhance the user experience.
  • the system function From the system function, it can be divided into two parts.
  • the first part is the encoder part.
  • the encoder combines the multiple streams into one channel, distributes it to the terminal through the CDN, and the second part is the terminal part.
  • the player of the terminal parses the code stream and performs The screen is cut to form a playback screen of the final layout.
  • the encoder converts the video content of different formats and protocols into the format of the HLS protocol specification. Multiple videos are simultaneously injected into the encoder. The encoder compresses each video into equal-sized images and combines them in the form of a grid. One way stream output. At the same time, write the information of the grid to the custom #EXT-X-LAYOUT tag, such as:
  • #EXT-X-LAYOUT 2X2, indicating that the number of cells is 2 rows and 2 columns.
  • FIG. 6 is a schematic diagram of a play screen generation template according to an embodiment of the present disclosure.
  • a template refers to a layout style finally presented to a user, including a background image, a text, a content display bit, and the like.
  • the template is composed of two modes, one is local production, that is, the UI interface is created in the client, and the player is set to the player through the local interface; the other is online production, that is, the position of each display element is described in the m3u8 file. , generated by the player to generate UI elements. Online templates are preferred, and local templates are used without online templates.
  • FIG. 7 is a schematic diagram of the creation and setting of a play screen generation template according to an embodiment of the present disclosure.
  • a customized m3u8 label description is used, and then sent to the player, and the player implements the pair.
  • Custom label recognition and drawing The template contains three elements: picture, picture and text, which are represented by the following tags:
  • Pictures include background images, renderings, etc. There can be more than one.
  • x, y, width, and height represent the x, y axis position of the upper left corner of the image display area, and the width and height of the area, respectively, and the url is the path of the image picture.
  • the screen is the area of the screen to be displayed and consists of multiple areas.
  • View1 represents the display area of the first index picture, where x, y, width, height, and url represent the x, y axis position of the upper left corner of the display area, and the width and height of the area, respectively.
  • View2 is the same as above.
  • x, y, width, and height represent the x, y axis position of the upper left corner of the display area, and the width and height of the area, respectively.
  • Content is text content.
  • the player when playing the video, the player first downloads the index.m3u8 file, and downloads the corresponding TS code stream according to the description.
  • FIG. 8 is a screenshot of the player cutting picture according to an embodiment of the present disclosure.
  • the flow chart, as shown in FIG. 8, specifically includes:
  • step S802 the player downloads index.m3u8 and parses it to obtain related layout information, including the number of rows and columns of the palace grid and the download template.
  • Step S804 acquiring a TS code stream, and decoding the output to a video buffer Buffer view
  • Step S806 acquiring location information.
  • Steps S808-S810 cutting the picture according to the obtained position information, decoding by the player, and obtaining a separate real video Real view according to the parsed layout information;
  • step S812 the video view is loaded into the template and displayed.
  • FIG. 9 is a schematic diagram of a screen cutting principle according to an embodiment of the present disclosure.
  • the player sets two layers of canvas, one is a background canvas, that is, invisible and hidden, and the other is a front canvas, that is, the user can See the interface.
  • the receiver inputs the TS stream to the back-end display, and the cutter outputs the stream of the multi-picture through soft decoding according to the layout information of the grid, and projects it to the front-end screen and associates it.
  • FIG. 10 is a schematic diagram of a screen cut at a player according to an embodiment of the present disclosure.
  • an encoder synthesizes one code stream, and an encoder side compresses a video stream of four contents into one code stream output, each of which outputs
  • the video frames are arranged in the form of a grid.
  • FIG. 11 is a schematic diagram of an online production template according to an embodiment of the present disclosure. As shown in FIG. 11, an online production module converts a template to be produced into a description of m3u8.
  • the specific content is as follows:
  • the player divides the screen to form an independent playback picture unit, parses the m3u8 file, forms a layout template, and then fills the picture into the template to form the final multi-picture.
  • Interface Description Set the pre-made template.
  • View is a layout object, including background image, content location and other elements.
  • Interface Description Get the number of rows and columns of multiple pictures in m3u8.
  • modules or steps of the present disclosure described above can be implemented by a general-purpose computing device that can be centralized on a single computing device or distributed across a network of multiple computing devices. Alternatively, they may be implemented by program code executable by the computing device such that they may be stored in the storage device by the computing device and, in some cases, may be different from the order herein.
  • the steps shown or described are performed, or they are separately fabricated into individual integrated circuit modules, or a plurality of modules or steps thereof are fabricated as a single integrated circuit module. As such, the disclosure is not limited to any specific combination of hardware and software.
  • the present disclosure is applicable to the field of communication, and improves the user experience when the screen mode displays a playback screen.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了一种播放画面生成方法、装置及系统，其中，该方法包括：接收布局信息，其中，所述布局信息为所述编码器将多路码流合成为一路码流的布局信息；在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面，解决了相关技术中采用集成一路码流采用宫格模式展示播放画面导致用户体验差的问题，可以根据用户自定义的，提高了用户体验。

Description

播放画面生成方法、装置及系统 技术领域
本公开涉及通信领域，具体而言，涉及播放画面生成方法、装置及系统。
背景技术
随着互联网和数字娱乐技术的发展，视频流量在网络数据消费的占比将超过95％，视频业务将成为互联网的下一个价值高地。播放器作为视频的终端呈现载体，近几年也在不断的发展和创新，从标清、高清到4k内容的播放，从2D到3D内容的展示，提升播放器的用户体验，增强操作的娱乐性，成为吸引用户的重要因素
多画面技术由画中画技术延伸而来，是指在一个画面中同时播放多个内容，广泛应用于频道列表，马赛克频道等场景，但是目前基本都是采用集成一路码流采用宫格模式展示，画面单调，无法实现自由的布局和排布，影响用户的操作和体验。
针对相关技术中采用集成一路码流采用宫格模式展示播放画面导致用户体验差的问题，还未提出有效的解决方案。
发明内容
本公开实施例提供了播放画面生成方法、装置及系统，以至少解决相关技术中采用集成一路码流采用宫格模式展示播放画面导致用户体验差的问题。
根据本公开的一个实施例，提供了一种播放画面生成方法，包括：将多路码流合成一路码流的布局信息；通过内容分发网络(CDN)将所述布局信息发送给终端，所述布局信息用于所述终端解析后进行画面切割，生成布局的播放画面。
优选地，将多路码流合成一路码流的布局信息包括：将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息。
优选地，在将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息之前，所述方法还包括：将不同格式和不同协议的视频内容转换成HLS协议规范的格式。
优选地，所述方法还包括：将所述布局信息写入到m3u8文件。
本公开实施例的另一方面，提供了一种播放画面生成方法，包括：接收编码器通过内容分发网络(CDN)发送的布局信息，其中，所述布局信息为所述编码器将多路码流合成为一路码流的布局信息；在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。
优选地，在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面包括：对所述布局信息进行解析，下载TS码流后将每个码流的画面切割出来，按照预先定义的模板进行变型处理，并填充到所述模板预留的位置，生成布局的播放画面，其中， 所述模板是指最终在所述终端上呈现的布局样式，包括背景图、文字和内容展示位。
优选地，通过以下方式之一制作所述模板：本地制作，在终端中创建用户交互界面UI，通过本地接口设置模板；在线制作，在m3u8文件中描述每个展示元素的位置，由终端解析后生成模板。
本公开实施例的另一方面，还提供了一种播放画面生成装置，包括：合成模块，设置为将多路码流合成一路码流的布局信息；发送模块，设置为通过内容分发网络(CDN)将所述布局信息发送给终端，所述布局信息用于所述终端解析后进行画面切割，生成布局的播放画面。
优选地，所述合成模块包括：组合单元，设置为将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息。
本公开实施例的再一方面，还提供了一种播放画面生成装置，包括：接收模块，设置为接收编码器通过内容分发网络(CDN)发送的布局信息，其中，所述布局信息为所述编码器将多路码流合成为一路码流的布局信息；生成模块，设置为在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。
本公开实施例的再一方面，还一种播放画面生成系统，其特征在于，包括编码器、内容分发网络CDN和终端，其中，
所述编码器，设置为将多路码流合成一路码流的布局信息，并将所述布局信息发送给所述CDN；
所述CDN，设置为接收所述布局信息，并将所述布局信息发送给终端；
所述终端，设置为接收所述布局信息，在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。
通过本公开，接收编码器通过内容分发网络(CDN)发送的布局信息，其中，所述布局信息为所述编码器将多路码流合成为一路码流的布局信息；在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面，解决了相关技术中采用集成一路码流采用宫格模式展示播放画面导致用户体验差的问题，可以根据用户自定义的，提高了用户体验。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1是根据本公开实施例的播放画面生成方法的流程图一；
图2是根据本公开实施例的播放画面生成方法的流程图二；
图3是根据本公开实施例的播放画面生成装置的框图一；
图4是根据本公开实施例的播放画面生成装置的框图二；
图5是根据本公开实施例的播放画面生成的总体架构图；
图6是根据本公开实施例的播放画面生成模板的示意图；
图7是根据本公开实施例的播放画面生成模板的制作和设置的示意图；
图8是根据本公开实施例的播放器切割图画面的流程图；
图9是根据本公开实施例的画面切割原理的示意图；
图10是根据本公开实施例的播放器处切割画面的示意图；
图11是根据本公开实施例的在线制作模板的示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本公开。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在本实施例中提供了一种播放画面生成方法，图1是根据本公开实施例的播放画面生成方法的流程图一，如图1所示，该流程包括如下步骤：
步骤S102，将多路码流合成一路码流的布局信息；
步骤S104，通过内容分发网络(CDN)将该布局信息发送给终端，该布局信息用于该终端解析后进行画面切割，生成布局的播放画面。
通过上述步骤，将多路码流合成一路码流的布局信息，通过内容分发网络(CDN)将该布局信息发送给终端，终端解析后进行画面切割，生成布局的播放画面，解决了相关技术中采用集成一路码流采用宫格模式展示播放画面导致用户体验差的问题，可以根据用户自定义的，提高了用户体验。
优选地，将多路码流合成一路码流的布局信息包括：将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息。
优选地，在将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息之前，将不同格式和不同协议的视频内容转换成HLS协议规范的格式。
优选地，该方法还包括：将该布局信息写入到m3u8文件。
本公开实施例还提供了一种播放画面生成方法，图2是根据本公开实施例的播放画面生成方法的流程图二，如图2所示，该流程包括如下步骤：
步骤S202，接收编码器通过内容分发网络(CDN)发送的布局信息，其中，该布局信息为该编码器将多路码流合成为一路码流的布局信息；
步骤S204，在解析该布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。
优选地，在解析该布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面包括：对该布局信息进行解析，下载TS码流后将每个码流的画面切割出来，按照预先定义的模板进行变型处理，并填充到该模板预留的位置，生成布局的播放画面，其中，该模板是指最终在该终端上呈现的布局样式，包括背景图、文字和内容展示位。
优选地，通过以下方式之一制作该模板：本地制作，在终端中创建用户交互界面UI，通过本地接口设置模板；在线制作，在m3u8文件中描述每个展示元素的位置，由终端解析后 生成模板。
本公开实施例提供了一种播放画面生成装置，图3是根据本公开实施例的播放画面生成装置的框图一，如图3所示，包括：
合成模块32，设置为将多路码流合成一路码流的布局信息；
发送模块34，设置为通过内容分发网络(CDN)将该布局信息发送给终端，该布局信息用于该终端解析后进行画面切割，生成布局的播放画面。
优选地，该合成模32块包括：
组合单元，设置为将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息。
本公开实施例还提供了一种播放画面生成装置，图4是根据本公开实施例的播放画面生成装置的框图二，如图4所示，包括：
接收模块42，设置为接收编码器通过内容分发网络(CDN)发送的布局信息，其中，该布局信息为该编码器将多路码流合成为一路码流的布局信息；
生成模块44，设置为在解析该布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。
本公开实施例的再一方面，还一种播放画面生成系统，其特征在于，包括编码器、内容分发网络(CDN)和终端，其中，
编码器，设置为将多路码流合成一路码流的布局信息，并将该布局信息发送给该CDN；
CDN，设置为接收该布局信息，并将该布局信息发送给终端；
终端，设置为接收该布局信息，在解析该布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。
本公开的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
步骤S1，将多路码流合成一路码流的布局信息；
步骤S2，通过内容分发网络(CDN)将该布局信息发送给终端，该布局信息用于该终端解析后进行画面切割，生成布局的播放画面。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
本公开实施例提供一种基于HLS协议的播放器多画面切割排布方案，图5是根据本公开实施例的播放画面生成的总体架构图，如图5所示，头端编码器对多个内容进行编码后，汇合成一路码流对终端进行输出，并将布局信息写入到m3u8文件；终端播放器读取m3u8文件，对其中的布局信息解析，下载TS码流后并将每个内容的画面切割出来，按照预制自定义模板的要求进行拉伸，旋转等变型处理，并填充到模板预留的位置，以多维度形式展示， 形成比较绚丽的播放界面，提升用户的体验。
从系统功能上可以分为两部分，第一部分为编码器部分，编码器将多路码流合成一路，通过CDN分发给终端，第二部分为终端部分，终端的播放器解析码流，并进行画面切割，形成最终布局的播放画面。
头端编码
编码器是将不同格式和协议的视频内容转换成HLS协议规范的格式，多个视频同时注入到编码器，编码器将每个视频压制成等尺寸的画面，以宫格的形式组合，最终以一路码流输出。同时，将宫格的信息写入到自定义的#EXT-X-LAYOUT标签中，如：
#EXT-X-LAYOUT：2X2,表示宫格数为2行2列。
模板制作和预设
图6是根据本公开实施例的播放画面生成模板的示意图，如图6所示，模板是指最终呈现给用户的布局样式，包含背景图，文字，内容展示位等。模板的制作包括两种模式，一种是本地制作，即在客户端中创建UI界面，通过本地接口设置为播放器；另一种是在线制作，即在m3u8的文件描述每个展示元素的位置，由播放器解析后生成UI元素。优先采用在线模板，在没有在线模板的情况下，使用本地模板。
图7是根据本公开实施例的播放画面生成模板的制作和设置的示意图，如图7所示，对于在线制作模板，采用自定义的m3u8标签描述，然后下发给播放器，播放器实现对自定义标签的识别和绘制。模板中包含图片，画面，文字三种元素，分别用以下的标签表示：
1)图片
图片包括背景图，效果图等，可以有多个。
#EXT-X-image:image1:[x,y,width,height,url],image2:[x,y,width,height,url]…
其中x，y，width，height分别表示该图片展示区域的左上角的x,y轴位置，以及区域的宽度和高度，url为image图片的路径。
2)画面
画面即待展示画面的区域，由多个区域组成。
#EXT-X-view:view1:[x,y,width,height],view2:[x,y,width,height]..
view1表示第一个索引画面的展示区域，其中x，y，width，height，url分别表示展示区域的左上角的x,y轴位置，以及区域的宽度和高度。
view2同上。
3)文字
#EXT-X-text:text1:[x,y,width,height,content],text 2:[x,y,width,height,content]…
其中x，y，width，height，分别表示展示区域的左上角的x,y轴位置，以及区域的宽度和高度。content为文字内容。
4)多画面切割
对于HLS协议，播放器在播放视频时，首先下载index.m3u8文件，根据描述，下载对应的TS码流。
播放器在下载TS码流后，通过画面切割，形成单独的播放画面，关联预制的模板，并将画面填充，形成最终的展示画面，图8是根据本公开实施例的播放器切割图画面的流程图，如图8所示，具体包括：
步骤S802，播放器下载index.m3u8后进行解析，获取相关的布局信息，包括宫格的行列数和下载模板。
步骤S804，获取TS码流，解码输出到视频缓冲器Buffer view
步骤S806，获取位置信息；
步骤S808-S810，按照获取的位置信息切割画面，通过播放器解码后，并根据解析得到的布局信息，获得单独的真实视频Real view；
步骤S812，将视频view加载到模板并显示。
图9是根据本公开实施例的画面切割原理的示意图，如图9所示，播放器设置两层画布，一种为后台画布，即不可见、隐藏的，一种为前台画布，即用户能看到的界面。首先接收器将TS码流输入到后端显示器上，切割器根据宫格的布局信息，通过软解码，输出多股画面的流，投影到前端画面，并关联
图10是根据本公开实施例的播放器处切割画面的示意图，如图10所示，编码器合成一路码流，编码器端将4个内容的视频码流压缩合成一路码流输出，每个视频画面以宫格的形式排列。
图11是根据本公开实施例的在线制作模板的示意图，如图11所示，在线制作模块，将待制作的模板，转化成m3u8的描述。具体的内容如下：
//背景图，全屏
#EXT-X-image:image1:[0,0,fillparent,fillparent,http://10.57.89.224:8080/bg.jpg]
//4个画面
#EXT-X-view:view1:[20,600,400,400],view2:[500,42,200,100]，view3:[450,600,300,200]，view4:[500,1000,200,100]
//文字
#EXT-X-text:text1:[20,1100,100,50,”名称”],text 2:[20,1200,100,50,”导演”],text 3:[20,1300,100,50,”剧情介绍”]
播放器通过画面分割，形成独立的播放画面单元，解析m3u8文件，形成布局模板，然后将画面填充到模板中，形成最终的多画面。
其中，相关的接口如下：
1)预设模板接口
void setFrameView(View view)
接口说明:设置预制的模板。
参数说明：View为布局对象,包括背景图，内容位置等元素。
返回值说明：无。
2)获取宫格的行列数
String getLayoutInfo()
接口说明：获取m3u8中多画面的行列数。
参数说明：无。
返回值说明：宫格行列数。
显然，本领域的技术人员应该明白，上述的本公开的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本公开不限制于任何特定的硬件和软件结合。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
工业实用性
本公开适用于通信领域，提升了宫格模式展示播放画面时的用户体验。

Claims (12)

  1. 一种播放画面生成方法，包括：
    将多路码流合成一路码流的布局信息；
    将所述布局信息发送给终端，所述布局信息用于所述终端解析后进行画面切割，生成布局的播放画面。
  2. 根据权利要求1所述的方法，其中，将多路码流合成一路码流的布局信息包括：
    将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息。
  3. 根据权利要求2所述的方法，其中，在将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息之前，所述方法还包括：
    将不同格式和不同协议的视频内容转换成HLS协议规范的格式。
  4. 根据权利要求1至3中任一项所述的方法，其中，所述方法还包括：
    将所述布局信息写入到m3u8文件。
  5. 一种播放画面生成方法，包括：
    接收布局信息，其中，所述布局信息为所述编码器将多路码流合成为一路码流的布局信息；
    在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。
  6. 根据权利要求5所述的方法，其中，在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面包括：
    对所述布局信息进行解析，下载TS码流后将每个码流的画面切割出来，按照预先定义的模板进行变型处理，并填充到所述模板预留的位置，生成布局的播放画面，其中，所述模板是指最终在所述终端上呈现的布局样式，包括背景图、文字和内容展示位。
  7. 根据权利要求6所述的方法，其中，通过以下方式之一制作所述模板：
    本地制作，在终端中创建用户交互界面UI，通过本地接口设置模板；
    在线制作，在m3u8文件中描述每个展示元素的位置，由终端解析后生成模板。
  8. 一种播放画面生成装置，包括：
    合成模块，设置为将多路码流合成一路码流的布局信息；
    发送模块，设置为将所述布局信息发送给终端，所述布局信息用于所述终端解析后进行画面切割，生成布局的播放画面。
  9. 根据权利要求8所述的装置，其中，所述合成模块包括：
    组合单元，设置为将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息。
  10. 一种播放画面生成装置，包括：
    接收模块，设置为接收布局信息，其中，所述布局信息为所述编码器将多路码流合成为一路码流的布局信息；
    生成模块，设置为在解析所述布局信息后，对解析后的布局信息进行画面切割，生成 布局的播放画面。
  11. 一种播放画面生成系统，包括编码器、内容分发网络CDN和终端，其中，
    所述编码器，设置为将多路码流合成一路码流的布局信息，并将所述布局信息发送给所述CDN；
    所述CDN，设置为接收所述布局信息，并将所述布局信息发送给终端；
    所述终端，设置为接收所述布局信息，在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。
  12. 一种计算机存储介质，所述计算机存储介质存储有执行指令，所述执行指令用于执行权利要求1至7中任一项所述的方法。
PCT/CN2017/089371 2016-06-23 2017-06-21 播放画面生成方法、装置及系统 WO2017219980A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610466223.6 2016-06-23
CN201610466223.6A CN107547933B (zh) 2016-06-23 2016-06-23 播放画面生成方法、装置及系统

Publications (1)

Publication Number Publication Date
WO2017219980A1 true WO2017219980A1 (zh) 2017-12-28

Family

ID=60784230

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/089371 WO2017219980A1 (zh) 2016-06-23 2017-06-21 播放画面生成方法、装置及系统

Country Status (2)

Country Link
CN (1) CN107547933B (zh)
WO (1) WO2017219980A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757141A (zh) * 2020-07-22 2020-10-09 四川新视创伟超高清科技有限公司 一种云端流媒体切画方法
CN111885346A (zh) * 2020-08-28 2020-11-03 中移（杭州）信息技术有限公司 画面码流合成方法、终端、电子设备和存储介质
CN115022698A (zh) * 2022-04-28 2022-09-06 上海赛连信息科技有限公司 一种基于画面布局清晰展示画面内容的方法和装置
CN115334355A (zh) * 2022-10-17 2022-11-11 广州市保伦电子有限公司 一种web播放器的多画面模式切换方法及装置
CN112307378B (zh) * 2019-07-30 2024-03-01 上海幻电信息科技有限公司 网络视图展示方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392340A (zh) * 2020-03-11 2021-09-14 北京沃东天骏信息技术有限公司 生成展示内容的方法、装置、设备和计算机可读介质
CN114390354B (zh) * 2020-10-21 2024-05-10 西安诺瓦星云科技股份有限公司 节目制作方法、装置和系统及计算机可读存储介质
CN113573153B (zh) * 2021-02-02 2022-08-12 腾讯科技（深圳）有限公司 图像处理方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080049830A1 (en) * 2006-08-25 2008-02-28 Drivecam, Inc. Multiple Image Source Processing Apparatus and Method
CN104683729A (zh) * 2013-11-27 2015-06-03 华为技术有限公司 视频布局下发的方法及装置
CN104822070A (zh) * 2015-04-13 2015-08-05 腾讯科技（北京）有限公司 多路视频流播放方法及装置
CN105430451A (zh) * 2015-12-24 2016-03-23 杭州当虹科技有限公司 一种多机位hls的描述方法及一种基于hls的多机位视频直播系统
CN105451022A (zh) * 2015-11-17 2016-03-30 深圳联友科技有限公司 一种将多路视频流压缩成一路视频流的方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100515056C (zh) * 2006-11-09 2009-07-15 华为技术有限公司 在同一画面中显示多个频道信息的方法、系统、装置及机顶盒
CN101365117B (zh) * 2008-09-18 2010-12-29 中兴通讯股份有限公司 一种自定义分屏模式的方法
CN101615413B (zh) * 2009-07-27 2012-10-10 华平信息技术股份有限公司 多路音/视频播放系统及方法
US8786666B2 (en) * 2010-04-27 2014-07-22 Lifesize Communications, Inc. Providing separate video and presentation streams to a recording server
CN102780932B (zh) * 2011-05-13 2016-08-03 上海信颐电子科技有限公司 多窗口播放方法和系统
US20120299956A1 (en) * 2011-05-28 2012-11-29 Microsoft Corporation Disambiguating picture content and picture frames
CN102802054B (zh) * 2012-08-14 2016-02-10 广州盈可视电子科技有限公司 一种多流视频直播中的控制方法及装置
CN103780920B (zh) * 2012-10-17 2018-04-27 华为技术有限公司 处理视频码流的方法及装置
CN103139478B (zh) * 2013-01-30 2016-08-03 厦门美图网科技有限公司 一种主副画面实时渲染的拍照方法
CN103686450A (zh) * 2013-12-31 2014-03-26 广州华多网络科技有限公司 视频处理方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080049830A1 (en) * 2006-08-25 2008-02-28 Drivecam, Inc. Multiple Image Source Processing Apparatus and Method
CN104683729A (zh) * 2013-11-27 2015-06-03 华为技术有限公司 视频布局下发的方法及装置
CN104822070A (zh) * 2015-04-13 2015-08-05 腾讯科技（北京）有限公司 多路视频流播放方法及装置
CN105451022A (zh) * 2015-11-17 2016-03-30 深圳联友科技有限公司 一种将多路视频流压缩成一路视频流的方法及系统
CN105430451A (zh) * 2015-12-24 2016-03-23 杭州当虹科技有限公司 一种多机位hls的描述方法及一种基于hls的多机位视频直播系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307378B (zh) * 2019-07-30 2024-03-01 上海幻电信息科技有限公司 网络视图展示方法
CN111757141A (zh) * 2020-07-22 2020-10-09 四川新视创伟超高清科技有限公司 一种云端流媒体切画方法
CN111885346A (zh) * 2020-08-28 2020-11-03 中移（杭州）信息技术有限公司 画面码流合成方法、终端、电子设备和存储介质
CN111885346B (zh) * 2020-08-28 2022-12-27 中移（杭州）信息技术有限公司 一种画面码流合成方法、终端、电子设备和存储介质
CN115022698A (zh) * 2022-04-28 2022-09-06 上海赛连信息科技有限公司 一种基于画面布局清晰展示画面内容的方法和装置
CN115022698B (zh) * 2022-04-28 2023-12-29 上海赛连信息科技有限公司 一种基于画面布局清晰展示画面内容的方法和装置
CN115334355A (zh) * 2022-10-17 2022-11-11 广州市保伦电子有限公司 一种web播放器的多画面模式切换方法及装置
CN115334355B (zh) * 2022-10-17 2023-02-24 广州市保伦电子有限公司 一种web播放器的多画面模式切换方法及装置

Also Published As

Publication number Publication date
CN107547933B (zh) 2022-04-15
CN107547933A (zh) 2018-01-05

Similar Documents

Publication Publication Date Title
WO2017219980A1 (zh) 播放画面生成方法、装置及系统
KR102208129B1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US11044455B2 (en) Multiple-viewpoints related metadata transmission and reception method and apparatus
Li et al. Fundamentals of multimedia
JP7399224B2 (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
JP7058273B2 (ja) 情報処理方法および装置
US11917221B2 (en) Encoding device and method, reproduction device and method, and program
US20200389640A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
CN108965929B (zh) 一种视频信息的呈现方法、呈现视频信息的客户端和装置
KR20210144912A (ko) 미디어 데이터를 생성하기 위한 방법
JP5022443B2 (ja) 立体映像コンテンツ再生に利用されるメタデータの復号化方法
KR101521655B1 (ko) ＬＡＳｅＲ 기반의 단말을 위한 스테레오스코픽 입체 영상 컨텐츠 제공 장치 및 방법
KR102640664B1 (ko) Vr 디바이스 및 vr 디바이스 제어 방법
US20190238933A1 (en) Video stream transmission method and related device and system
JP6986158B2 (ja) 複数のビューポイントに関するメタデータを送受信する方法及び装置
KR102157658B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
CN105765990A (zh) 视频广播系统和传播视频内容的方法
CN107888993B (zh) 一种视频数据的处理方法及装置
JP7487742B2 (ja) 画像処理装置および方法
WO2018058773A1 (zh) 一种视频数据的处理方法及装置
KR20210016530A (ko) 미디어 콘텐츠 전송을 위한 방법, 디바이스, 및 컴퓨터 프로그램
KR101257386B1 (ko) 통합 멀티미디어 파일 구조를 이용한 3ｄ 멀티미디어콘텐츠 서비스 시스템 및 방법
WO2019007096A1 (zh) 一种媒体信息的处理方法及装置
KR20200008631A (ko) 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17814718

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17814718

Country of ref document: EP

Kind code of ref document: A1