WO2018090774A1 - 动态自适应视频流媒体的码率控制与版本选择方法及系统 - Google Patents

动态自适应视频流媒体的码率控制与版本选择方法及系统 Download PDF

Info

Publication number
WO2018090774A1
WO2018090774A1 PCT/CN2017/106444 CN2017106444W WO2018090774A1 WO 2018090774 A1 WO2018090774 A1 WO 2018090774A1 CN 2017106444 W CN2017106444 W CN 2017106444W WO 2018090774 A1 WO2018090774 A1 WO 2018090774A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
version
encoding
coding
rate control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/106444
Other languages
English (en)
French (fr)
Inventor
熊红凯
李成林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiao Tong University
Original Assignee
Shanghai Jiao Tong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiao Tong University filed Critical Shanghai Jiao Tong University
Publication of WO2018090774A1 publication Critical patent/WO2018090774A1/zh
Priority to US16/297,717 priority Critical patent/US10778982B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Definitions

  • the present invention relates to a method and system in the field of data communication technologies, and in particular to a coding rate control and version selection method and system suitable for dynamic adaptive video streaming.
  • Dynamic adaptive streaming technology can provide users with different versions of the same video content to improve video viewing satisfaction of users in heterogeneous networks.
  • Each video version is encoded at a given code rate and/or resolution, thereby enabling each user to determine the most appropriate video version to download based on their video on demand needs and network conditions.
  • a single bit rate video coding technique requires high coding complexity to achieve high and higher video compression performance.
  • an encoding server that implements dynamic adaptive streaming technology, it is often limited by its own physical power consumption, and it is impossible to obtain too many video bit rate versions through encoding to adapt to the needs of different users. Therefore, it is necessary to rationally allocate limited computing resources. Assigned to different versions of each video.
  • receiving the limitation of the storage space of the server itself and the limitation of the bottleneck bandwidth in the network transmission the sum of the code rates of different versions of all videos is also limited, so it is also necessary to allocate a limited rate resource to each. Different versions of the video.
  • the main method of the above work is to model the optimal version selection problem as an extremely complex integer linear programming problem, and obtain the optimal video coding version by solving the problem.
  • the complexity of this method grows exponentially with the scale of the system, so it consumes extremely high complexity and computing resources, which occupies the computing resources of the video coding of the server, which has great limitations.
  • the above work assumes that different video versions of each video have been obtained by precoding, and the ultimate goal is to select the optimal subset of versions from these known versions. This assumption is not true in practical systems. For example, in a real-time video communication system, all video streams are transmitted to the user by real-time encoding, so there is not enough time to pre-code all the videos.
  • a code rate control and version selection method for a dynamic adaptive video streaming media combines dynamic adaptive streaming media coding technology to encode each original video into a plurality of different ones at a server.
  • the version of the code rate taking into account the coding complexity of the different original video content - the rate-distortion model, the encoding rate and computing resource limits of the server, the network connection of different users (such as user bandwidth resources), and the video on-demand probability distribution.
  • a subset of the video versions to be encoded for each original video and specific encoding parameters for each video version are determined, and the server finally outputs the optimal version set of the video by encoding to maximize the overall quality of the video viewed by the user.
  • the code rate control and version selection method of the dynamic adaptive video streaming media includes the following steps:
  • Step 2 rate control and version selection steps:
  • the coding complexity of each original video obtained in the first step - the code rate-distortion model, the coding rate of the server and the computing resource limit, and the network connection of the user are used to establish the coding rate control and version selection optimization problem for dynamic adaptive video streaming media.
  • the optimal version is used to combine the rate control and the version selection method to obtain the codes of the optimal versions of each video. parameter;
  • the dynamic adaptive streaming media coding technology is used, and the original video is encoded into a plurality of video versions of different code rates by using the coding parameters of the optimal versions of the respective videos obtained in the second step, and the video optimal version set is output.
  • the first few frames are any positive integer frames greater than two.
  • each of the original videos exhibits different coding complexity-code rate-distortion performance due to different content.
  • the coding complexity-code rate-distortion model represents coding complexity, code rate and distortion as a function of specific coding parameters.
  • the encoding rate control and version selection optimization problem suitable for dynamic adaptive video streaming media combined with the complete set of different versions of each video that can be encoded at the server, in the first step
  • the obtained coding complexity-code rate-distortion model of each video, the coding rate of the server and the computational resource limitation, and the network connection situation of the user and the video on-demand probability distribution are obtained by using the network utility maximization modeling method.
  • the establishing optimization problem of encoding rate control and version selection for dynamic adaptive video streaming includes:
  • Video file collection Video version collection User collection F, M, U are any positive integers greater than two; ⁇ m represents the search range in the motion estimation module of the video version m at the time of encoding, and Q m represents the quantization step size of the block in the quantization mode of the video version m at the time of encoding, R f ( ⁇ m , Q m ) represents the code rate of the mth video version of the video file f, and C f ( ⁇ m , Q m ) represents the coding complexity of the mth video version of the video file f; Represents a complete set of different versions of each video that can be encoded at all servers, where element v f,m represents the mth video version of the server encoded output video file f; for each user All versions can be downloaded by their link bandwidth B u all video set referred to as:
  • the optimization variables are: a set representing the video versions of the actual encoded output; specifically, an element Indicates that the mth video version of the video file f is output by the server code;
  • the optimization goal is to maximize the sum of the expected video distortion reductions for all users.
  • a collection of different versions of each original video that can be encoded at all servers Is the base set of the optimization problem; when the user requests the video f, the slave set Select the version with the highest video rate to download and view; therefore, Indicates that the probability that the user u requests the video file f is P u,f , and the video version set of the actual encoded output of the server
  • the amount of expected video distortion that can be caused when user u watches the video namely:
  • D max represents the maximum distortion constant when the video cannot be decoded
  • D f ( ⁇ m , Q m ) represents the coding distortion of the mth video version of the video file f
  • D max - D f ( ⁇ m , Q m ) represents the amount of video distortion reduction after the user successfully decodes the mth video version of the video file f
  • the constraint condition is: the server code rate limiting condition, that is, the sum of the code rates of all video versions is required not to exceed the maximum code rate resource R max of the server; and the server calculates the constraint that the sum of coding complexity of all video versions is not exceeded The server's maximum computing resource C max .
  • the optimal version set rate control and version selection method adopts a polynomial time complexity and a high approximate optimization performance when determining an optimal version of the coding parameters for each original video.
  • the cost-effective greedy algorithm finally realizes the rate control and version selection of the optimal version of each original video quickly and efficiently.
  • the steps of the optimal version set code rate control and version selection method are:
  • Initialization setting the initial local optimal solution set to an empty set, the initial search set is a complete set of different versions of each video that can be encoded at the server, and the initial step number is 1;
  • Iterative search step according to the existing local optimal solution set, find the elements in the remaining search set that make the ratio of the marginal increment to the code rate cost and the ratio of the marginal increment to the complexity cost are the largest;
  • the remaining search set is a complement of the local optimal solution to the search set, and one element of the remaining search set corresponds to a certain code rate version obtained by a certain video encoding;
  • the dynamic adaptive streaming media encoding technology encodes any one of the original video files into a plurality of video versions having different encoding bit rates
  • the video optimal version set is obtained by the server using a dynamic adaptive streaming coding technique and using the coding parameter encoding of each optimal version of each video obtained in the second step.
  • an encoding rate control and version selection system for dynamic adaptive video streaming comprising:
  • the video model extraction module is configured to extract the first several frames of each original video, and obtain an encoding complexity-code rate-distortion model of each original video;
  • Rate control and version selection module using the coding complexity of the original video obtained by the different versions of each video that can be encoded at the server, the code model extraction module, the code rate-distortion model, the coding rate of the server, and Calculating resource constraints, user network connection and video on-demand probability distribution, establishing coding rate control and version selection optimization for dynamic adaptive video streaming, adopting optimal version set rate control and version selection method, Obtaining coding parameters of each optimal version of each video;
  • the video version coding module uses the dynamic adaptive streaming coding technology, and uses the encoding parameters of the optimal versions of each video obtained in the rate control and the version selection module to encode each original video into a plurality of video versions of different code rates.
  • the output gets the video optimal version set.
  • the present invention has the following beneficial effects:
  • the invention provides a method for efficiently and quickly determining the optimal version rate control and version selection under the condition that the server coding rate and the computing resource are limited, and the coded video at the server is improved in order to meet the needs of the dynamic adaptive streaming technology.
  • the code rate of the content and the utilization of computing resources provide users with better video service quality.
  • FIG. 1 is a flow chart of a system principle and method according to an embodiment of the present invention
  • FIG. 2 is a flowchart of a method for selecting a coding parameter according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram of video coding complexity-code rate-distortion performance according to an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of performance of an optimal video version rate control and version selection method according to an embodiment of the present invention.
  • a system for implementing rate control and version selection of dynamic adaptive video streaming media includes a video model extraction module, a rate control and version selection module, and a video version coding module disposed in a server. ,among them:
  • the video model extraction module extracts the first several frames of each original video, and obtains an encoding complexity-code rate-distortion model of each original video;
  • Rate control and version selection module using the coding complexity of the original video obtained by the different versions of each video that can be encoded at the server, the code model extraction module, the code rate-distortion model, the coding rate of the server, and Calculating resource constraints, user network connection and video on-demand probability distribution, establishing coding rate control and version selection optimization for dynamic adaptive video streaming, adopting optimal version set rate control and version selection method, Obtaining coding parameters of each optimal version of each video;
  • the video version coding module uses the dynamic adaptive streaming coding technology, and uses the encoding parameters of the optimal versions of each video obtained in the rate control and the version selection module to encode each original video into a plurality of video versions of different code rates.
  • the output gets the video optimal version set.
  • an example analysis is performed on a content distribution network of a dynamically adaptive streaming media.
  • F is a positive integer greater than 2
  • M is a positive integer greater than 2
  • ⁇ m represents the search range in the motion estimation module of the video version m at the time of encoding
  • Q m represents the quantization step in the quantization module of the video version m at the time of encoding long.
  • the base set can be defined Represents a complete set of different versions of each video that can be encoded at all servers, where element v f,m represents the mth video version of the server encoded output video file f.
  • U users randomly distributed in the network, recorded as user collection The user can make a request to the VOD server, and u is less than B u select download from a server version of the video bit rate according to its link bandwidth B; for each user In terms of it, the set of all versions of all videos that can be downloaded through the link bandwidth Bu can be recorded as
  • a rate control and version selection method suitable for dynamic adaptive video streaming media includes the following steps:
  • the server extracts each original video
  • K is a positive integer greater than 2
  • the video version is passed through the encoding and parameter analysis process
  • the coding complexity, coding rate and coding distortion are expressed as a function of the coding parameter pair ( ⁇ m , Q m ), which are respectively denoted as C f ( ⁇ m , Q m ), R f ( ⁇ m , Q m ) and D f ( ⁇ m , Q m ).
  • This step can be implemented by the video model extraction module shown in FIG.
  • This step can be implemented by the rate control and version selection module shown in FIG.
  • the optimization variables are: a set representing the video versions of the actual encoded output, specifically, an element Indicates that the mth video version of the video file f is output by the server code;
  • the optimization goal is to maximize the sum of the expected video distortion reductions for all users.
  • all the different versions of the video that can be encoded at the server Is the basis set of the optimization problem.
  • the slave When the user requests video f, the slave will be set Select the version with the highest video rate to download and view; therefore, Indicates that the probability that the user u requests the video file f is P u,f , and the video version set of the actual encoded output of the server
  • the amount of expected video distortion that can be caused when user u watches the video namely:
  • the constraint condition is: the server code rate limiting condition, that is, the sum of the code rates of all video versions is required not to exceed the maximum code rate resource R max of the server; and the server calculates the constraint that the sum of coding complexity of all video versions is not exceeded The server's maximum computing resource C max .
  • the element V f,m represents the mth video version of the video encoded output video file f
  • the weight is ⁇
  • R f ( ⁇ m , Q m ) represents the mth of the video file f
  • the coding rate of the video version, C f ( ⁇ m , Q m ) represents the coding complexity of the mth video version of the video file f;
  • This part can be implemented using the video version encoding module shown in Figure 1.
  • the server further uses the dynamic adaptive streaming coding technology to encode each original video into a plurality of video versions of different code rates, and outputs a video optimal version set;
  • the server will perform the actual encoding operation on the original video f by using the encoding parameters ( ⁇ m , Q m ) to obtain the mth code rate version of the video f;
  • the server will not perform the actual encoding operation on the original video f using the encoding parameters ( ⁇ m , Q m ).
  • the server encodes three specific video files (Crowd Run, Tractor, and Sunflower) with an encoding complexity-rate-distortion performance surface, three of which have a spatial resolution of 1080p (1920 x 1080).
  • the encoding frame rate is 30 frames per second.
  • the invention adapts to the requirement of dynamic adaptive video streaming multi-rate version transmission and differentiated bandwidth conditions and on-demand requirements of heterogeneous network users, and establishes optimal version rate control under the condition of server coding rate and limited computing resources.
  • a rate control and version selection method for an efficient and fast optimal version set is provided, which maximizes the overall quality of the user downloading and watching the video.
  • the invention improves the code rate of the encoded video content at the server and the utilization of the computing resources, and provides the user with better video service quality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种动态自适应视频流媒体的编码端码率控制与版本选择的方法及系统，所述方法结合动态自适应流媒体编码技术，在服务器处将各原始视频编码为多个不同码率的版本，同时兼顾各不同原始视频内容的编码复杂度-码率-失真模型、视频服务器的编码码率和计算资源限制、不同用户的网络连接情况以及视频点播概率分布，确定各原始视频所需编码的视频版本子集以及每个视频版本的具体编码参数，视频服务器最终通过编码输出视频最优版本集合，以实现用户观看视频整体质量的最大化。本发明所述方法提高了在编码码率和计算资源受限情况下动态自适应流媒体编码技术的编码效率，为用户提供更佳的视频服务质量。

Description

动态自适应视频流媒体的码率控制与版本选择方法及系统 技术领域
本发明涉及一种数据通信技术领域的方法和系统，具体地，涉及一种适用于动态自适应视频流媒体的编码码率控制与版本选择方法及系统。
背景技术
随着移动数据流量的迅速增长以及智能终端设备的日益普及，以移动视频服务为代表的无线视频流媒体技术在近几年得到了越来越广泛的应用。与此同时，移动用户在所使用的移动设备终端、点播内容以及网络连接性等方面呈现出更为复杂的异构特性，从而大大增加了视频流媒体服务复杂度和难度。动态自适应流媒体技术能够为用户提供同一视频内容的不同版本，以提高异构网络中用户的视频观看满意度。其中，每个视频版本以给定的码率和/或分辨率进行编码，从而使得各用户能够根据自己的视频点播需求和网络状况来确定下载最合适的视频版本。
一方面，单一码率的视频编码技术需要消耗很高的编码复杂度以实现高更高的视频压缩性能。对于执行动态自适应流媒体技术的编码服务器而言，往往受到自身物理功耗的限制，无法通过编码得到过多的视频码率版本以适应不同用户的需求，因此需要将有限的计算资源合理地分配给各个视频的不同版本。另一方面，收到服务器本身存储空间的限制以及网络传输中瓶颈带宽的限制，所有视频的各不同版本的码率总和也收到限制，因此还需要将有限的码率资源合理的分配给各个视频的不同版本。
经过对现有技术的检索发现，L.Toni等人在《ACM Transactions on Multimedia Computing,Communications,and Applications，Feb.2015，(计算机协会多媒体计算、通信与应用学报，2015年2月)》上发表了题为“Optimal selection of adaptive streaming representations(自适应流媒体版本的最优化选择)”的文章，以及R.Aparicio-Pardo等人在《Proceedings of ACM Multimedia Systems Conference，Mar.2015，pp.49-60，(计算机协会多媒体系统会议论文集，2015年3月，第49-60页)》上发表了题为“Transcoding live adaptive video streams at a massive scale in the cloud(大规模云端转码直播自适应视频流)”的文章，这两篇文章分别研究了服务器在编码码率和功耗受限情况下，如何最优 地选择各视频版本的编码码率和分别率。但是，上述工作的主要方法是将最优版本选择问题建模为一个极为复杂的整数线性规划问题，通过求解该问题得到最优的视频编码版本。这一方法的复杂度随系统的规模呈指数趋势增长，因此需要消耗极高的复杂度和计算资源，从而占用了服务器进行视频编码的计算资源，具有很大的局限性。另一方面，上述工作假设各视频的不同视频版本已经通过预编码获得，其最终目标是从这些已知版本中选取最优的版本子集，这一假设在实际系统中并不成立。例如在实时视频通信系统中，所有视频流通过实时编码后将码率传输给用户，因此没有足够的时间对所有视频进行预编码。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种适用于动态自适应视频流媒体的编码码率控制与版本选择的方法及系统。
为实现以上目的，本发明采用的技术方案是：
根据本发明的一个方面，提供一种动态自适应视频流媒体的编码码率控制与版本选择方法，所述方法结合动态自适应流媒体编码技术，在服务器处将各原始视频编码为多个不同码率的版本，同时兼顾各不同原始视频内容的编码复杂度-码率-失真模型、服务器的编码码率和计算资源限制、不同用户的网络连接情况(比如用户带宽资源)以及视频点播概率分布，确定各原始视频所需编码的视频版本子集以及每个视频版本的具体编码参数，服务器最终通过编码输出视频最优版本集合，以实现用户观看视频整体质量的最大化。
具体的，所述动态自适应视频流媒体的编码码率控制与版本选择方法，包括以下步骤：
第一步、视频模型抽取步骤：
抽取各原始视频的前若干帧，得到各原始视频的编码复杂度-码率-失真模型；
第二步、码率控制与版本选择步骤：
根据服务器处可编码得到的各视频不同版本组成的全集、第一步中得到的各原始视频的编码复杂度-码率-失真模型、服务器的编码码率和计算资源限制、以及用户的网络连接情况和视频点播概率分布，建立适用于动态自适应视频流媒体的编码码率控制与版本选择的优化问题，采用最优版本集合码率控制与版本选择方法，得到各视频各最优版本的编码参数；
第三步、视频版本编码步骤：
使用动态自适应流媒体编码技术，并采用第二步中得到的各视频各最优版本的编码参数，将各原始视频编码为多个不同码率的视频版本，输出得到视频最优版本集合。
优选地，第一步中，所述的前若干帧为任意大于二的正整数帧。
优选地，第一步中，所述的各原始视频由于内容的不同呈现出不同的编码复杂度-码率-失真性能。
优选地，第一步中，所述的编码复杂度-码率-失真模型将编码复杂度、码率和失真表示为具体编码参数的函数。
优选地，第二步中，所述的适用于动态自适应视频流媒体的编码码率控制与版本选择的优化问题，结合服务器处可编码得到的各视频不同版本组成的全集、第一步中得到的各视频的编码复杂度-码率-失真模型、服务器的编码码率和计算资源限制、以及用户的网络连接情况和视频点播概率分布，并使用网络效用最大化建模方法得到。
更优选地，所述的建立适用于动态自适应视频流媒体的编码码率控制与版本选择的优化问题，包括：
目标优化问题：
Figure PCTCN2017106444-appb-000001
约束条件：
Figure PCTCN2017106444-appb-000002
Figure PCTCN2017106444-appb-000003
其中：视频文件集合
Figure PCTCN2017106444-appb-000004
视频版本集合
Figure PCTCN2017106444-appb-000005
用户集合
Figure PCTCN2017106444-appb-000006
F、M、U为任意大于二的正整数；λm表示视频版本m在编码时运动估计模块中的搜索范围，Qm表示视频版本m在编码时量化模中块的量化步长，Rf(λm，Qm)表示视频文件f的第m个视频版本的编码码率，Cf(λm，Qm)表示视频文件f的第m个视频版本的编码复杂度；定义基集合
Figure PCTCN2017106444-appb-000007
表示所有服务器处可编码得到的各视频不同版本组成的全集，其中元素vf，m表示服务器编码输出视频文件f的第m个视频版本；对于每个用户
Figure PCTCN2017106444-appb-000008
将其通过链路带宽Bu能够下载的所有视频的所有版本的集合记为：
Figure PCTCN2017106444-appb-000009
优化变量为：
Figure PCTCN2017106444-appb-000010
表示实际编码输出的各视频版本组成的集合；具体地，某一个元素
Figure PCTCN2017106444-appb-000011
表示视频文件f的第m个视频版本由服务器编码输出；
优化目标为：最大化所有用户的预期视频失真减少量之和
Figure PCTCN2017106444-appb-000012
其中所有服务器处可编码得到的各原始视频不同版本集合
Figure PCTCN2017106444-appb-000013
是所述优化问题的基集合；当 用户请求视频f时，将从集合
Figure PCTCN2017106444-appb-000014
中选择该视频码率最高的版本进行下载观看；因此，
Figure PCTCN2017106444-appb-000015
表示已知用户u请求视频文件f的概率为Pu，f，服务器实际编码输出的视频版本集合
Figure PCTCN2017106444-appb-000016
能够造成用户u观看视频时的预期视频失真减少量，即：
Figure PCTCN2017106444-appb-000017
上式中：指示函数
Figure PCTCN2017106444-appb-000018
的值在
Figure PCTCN2017106444-appb-000019
的时候为1、在
Figure PCTCN2017106444-appb-000020
的时候为0；Dmax分别表示当视频无法解码时的最大失真常量，Df(λm，Qm)表示视频文件f的第m个视频版本的编码失真，Dmax-Df(λm，Qm)表示用户在成功解码视频文件f的第m个视频版本之后的视频失真减少量；
约束条件为：服务器编码码率限制条件，即要求所有视频版本的码率之和不超过服务器最大码率资源Rmax；以及服务器计算限制条件，即要求所有视频版本的编码复杂度之和不超过服务器最大计算资源Cmax。
优选地，第二步中，所述的最优版本集合码率控制与版本选择方法，在为各原始视频确定最优版本的编码参数时，采用具有多项式时间复杂度和高近似优化性能的高成本效益贪心算法，最终快速高效地实现各原始视频最优版本的码率控制与版本选择。
更优选地，所述的最优版本集合码率控制与版本选择方法的步骤为：
(1)初始化：设置初始局部最优解集合为空集、初始搜索集合为服务器处可编码得到的各视频不同版本组成的全集，以及初始步数为1；
(2)迭代搜索步骤：根据已有的局部最优解集合，在剩余搜索集合中寻找使得边际增量与码率代价的比值与边际增量与复杂度代价的比值加权和最大的元素；其中：所述剩余搜索集合为局部最优解对于搜索集合的补集，所述剩余搜索集合中的一个元素对应于某一视频编码得到的某一码率版本；
(3)更新步骤：如果添加(2)中搜索得到的元素仍能满足服务器处的编码码率和计算资源约束，则将该元素添加至局部最优解集合，并且搜索集合保持不变；如果添加该元素不能满足服务器处的编码码率和计算资源约束，则局部最优解集合保持不变，并且将该元素从搜索集合中移除；
(4)判定步骤：如果剩余搜索集合不是空集，则令搜索步数加一并返回(2)迭代搜索步骤；否则，停止迭代，并将当前的局部最优解集合输出为最优结果。
优选地，第三步中：
所述的动态自适应流媒体编码技术将任意一个原始视频文件编码为多个具有不同编码码率的视频版本；
所述的视频最优版本集合由服务器使用动态自适应流媒体编码技术并且采用第二步中得到的各视频各最优版本的编码参数编码获得。
根据本发明的另一个方面，提供一种动态自适应视频流媒体的编码码率控制与版本选择系统，所述系统包括：
视频模型抽取模块：用于抽取各原始视频的前若干帧，得到各原始视频的编码复杂度-码率-失真模型；
码率控制与版本选择模块：利用服务器处可编码得到的各视频不同版本组成的全集、视频模型抽取模块中得到的各原始视频的编码复杂度-码率-失真模型、服务器的编码码率和计算资源限制、以及用户的网络连接情况和视频点播概率分布，建立适用于动态自适应视频流媒体的编码码率控制与版本选择的优化问题，采用最优版本集合码率控制与版本选择方法，得到各视频各最优版本的编码参数；
视频版本编码模块：使用动态自适应流媒体编码技术，并采用码率控制与版本选择模块中得到的各视频各最优版本的编码参数，将各原始视频编码为多个不同码率的视频版本，输出得到视频最优版本集合。
与现有技术相比，本发明具有如下的有益效果：
本发明为适应动态自适应流媒体技术的需要，提供了一种在服务器编码码率和计算资源受限情况下高效快速确定最优版本码率控制与版本选择的方法，提高了服务器处编码视频内容的码率和计算资源的利用率，为用户提供更佳的视频服务质量。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例的系统原理及方法流程图；
图2为本发明一实施例编码参数选择方法的流程图；
图3为本发明一实施例视频编码复杂度-码率-失真性能的示意图；
图4为本发明一实施例最优视频版本码率控制与版本选择方法性能的示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于 本发明的保护范围。
如图1所示，一种用于实现动态自适应视频流媒体的码率控制与版本选择的系统，包括设置于服务器内的视频模型抽取模块、码率控制与版本选择模块、视频版本编码模块，其中：
视频模型抽取模块：抽取各原始视频的前若干帧，得到各原始视频的编码复杂度-码率-失真模型；
码率控制与版本选择模块：利用服务器处可编码得到的各视频不同版本组成的全集、视频模型抽取模块中得到的各原始视频的编码复杂度-码率-失真模型、服务器的编码码率和计算资源限制、以及用户的网络连接情况和视频点播概率分布，建立适用于动态自适应视频流媒体的编码码率控制与版本选择的优化问题，采用最优版本集合码率控制与版本选择方法，得到各视频各最优版本的编码参数；
视频版本编码模块：使用动态自适应流媒体编码技术，并采用码率控制与版本选择模块中得到的各视频各最优版本的编码参数，将各原始视频编码为多个不同码率的视频版本，输出得到视频最优版本集合。
如图1所示，对动态自适应流媒体的内容分发网络进行实例分析。假设服务器处有F个原始视频文件(F为任意大于2的正整数)，记为视频文件集合
Figure PCTCN2017106444-appb-000021
使用动态自适应流媒体编码技术，将任意一个视频文件
Figure PCTCN2017106444-appb-000022
编码为M个不同码率的视频版本(M为任意大于2的正整数)，记为视频版本集合
Figure PCTCN2017106444-appb-000023
每一个视频版本
Figure PCTCN2017106444-appb-000024
对应于一对具体的编码参数(λm，Qm)，其中：λm表示视频版本m在编码时运动估计模块中的搜索范围，Qm表示视频版本m在编码时量化模块中的量化步长。将视频文件f的第m个视频版本的编码码率记为Rf(λm，Qm)，并且将视频版本集合
Figure PCTCN2017106444-appb-000025
按照编码码率呈降序排列，即Rf(λi，Qi)＞Rf(λj，Qj)
Figure PCTCN2017106444-appb-000026
从而，可以定义基集合
Figure PCTCN2017106444-appb-000027
表示所有服务器处可编码得到的各视频不同版本组成的全集，其中元素vf，m表示服务器编码输出视频文件f的第m个视频版本。
网络中随机分布的U个用户，记为用户集合
Figure PCTCN2017106444-appb-000028
用户可以向服务器提出视频点播请求，并且根据其链路带宽Bu选择从服务器下载码率小于Bu的视频版本；对于每个用户
Figure PCTCN2017106444-appb-000029
而言，将其通过链路带宽Bu能够下载的所有视频的所有版本的集合记为
Figure PCTCN2017106444-appb-000030
基于上述，一种适用于动态自适应视频流媒体的码率控制与版本选择方法，具体实现包括如下步骤：
1、视频模型抽取
服务器抽取每个原始视频
Figure PCTCN2017106444-appb-000031
的前K帧(K为任意大于2的正整数)，通过编码和参数分析过程将视频版本
Figure PCTCN2017106444-appb-000032
的编码复杂度、编码码率和编码失真表示为编码参数对(λm，Qm)的函数，分别记为：Cf(λm，Qm)、Rf(λm，Qm)和Df(λm，Qm)。此步骤可以通过图1中所示视频模型抽取模块来实现。
2、码率控制与版本选择
此步骤可以通过图1中所示码率控制与版本选择模块来实现。
建立适用于动态自适应视频流媒体的编码码率控制与版本选择的优化问题如下(其中每个参数的含义可在上下文中对应获取)：
目标优化问题：
Figure PCTCN2017106444-appb-000033
约束条件：
Figure PCTCN2017106444-appb-000034
Figure PCTCN2017106444-appb-000035
其中：
优化变量为：
Figure PCTCN2017106444-appb-000036
表示实际编码输出的各视频版本组成的集合，具体地，某一个元素
Figure PCTCN2017106444-appb-000037
表示视频文件f的第m个视频版本由服务器编码输出；
优化目标为：最大化所有用户的预期视频失真减少量之和
Figure PCTCN2017106444-appb-000038
其中，所有服务器处可编码得到的各视频不同版本集合
Figure PCTCN2017106444-appb-000039
是所述优化问题的基集合。当用户请求视频f时，将从集合
Figure PCTCN2017106444-appb-000040
中选择该视频码率最高的版本进行下载观看；因此，
Figure PCTCN2017106444-appb-000041
表示已知用户u请求视频文件f的概率为Pu，f，服务器实际编码输出的视频版本集合
Figure PCTCN2017106444-appb-000042
能够造成用户u观看视频时的预期视频失真减少量，即：
Figure PCTCN2017106444-appb-000043
上式中：指示函数
Figure PCTCN2017106444-appb-000044
的值在
Figure PCTCN2017106444-appb-000045
的时候为1，在
Figure PCTCN2017106444-appb-000046
的时候为0；Dmax分别表示当视频无法解码时的最大失真常量，Dmax-Df(λm，Qm)表示用户在成功解码视频文件f的第m个视频版本之后的视频失真减少量；
约束条件为：服务器编码码率限制条件，即要求所有视频版本的码率之和不超过服务器最大码率资源Rmax；以及服务器计算限制条件，即要求所有视频版本的编码复杂度之和不超过服务器最大计算资源Cmax。
如图2所示，给出具有多项式时间复杂度和高近似优化性能的高成本效益贪心算法，最终快速高效地实现视频最优版本集合的码率控制与版本选择。
所述的最优版本集合的码率控制与版本选择方法的执行过程如下(其中每个参数的含义可在上下文中对应获取)：
(1)初始化：设置初始局部最优解集合
Figure PCTCN2017106444-appb-000047
初始搜索集合
Figure PCTCN2017106444-appb-000048
初始步数t＝1；
(2)迭代搜索步骤(t＝1，2，3，...)：
根据已有的局部最优解集合
Figure PCTCN2017106444-appb-000049
在剩余搜索集合
Figure PCTCN2017106444-appb-000050
(即
Figure PCTCN2017106444-appb-000051
对于
Figure PCTCN2017106444-appb-000052
的补集
Figure PCTCN2017106444-appb-000053
)中寻找使得边际增量
Figure PCTCN2017106444-appb-000054
与码率代价Rf(λm，Qm)和复杂度代价Cf(λm，Qm)的比值的加权和最大的元素
Figure PCTCN2017106444-appb-000055
即：
Figure PCTCN2017106444-appb-000056
上式中：元素Vf，m表示在服务器编码输出视频文件f的第m个视频版本，元素
Figure PCTCN2017106444-appb-000057
表示在第t个搜索步骤中搜索得到的边际增量与码率代价和复杂度代价的比值加权和最大的元素，权重为ω，Rf(λm，Qm)表示视频文件f的第m个视频版本的编码码率，Cf(λm，Qm)表示视频文件f的第m个视频版本的编码复杂度；
(3)更新步骤：
如果添加元素
Figure PCTCN2017106444-appb-000058
仍能满足服务器的编码码率和计算资源约束，即：
Figure PCTCN2017106444-appb-000059
Figure PCTCN2017106444-appb-000060
则将该元素
Figure PCTCN2017106444-appb-000061
添加至局部最优解集合，并且搜索集合保持不变，即令
Figure PCTCN2017106444-appb-000062
以及
Figure PCTCN2017106444-appb-000063
如果添加该元素不能满足服务器的编码码率和计算资源约束，则局部最优解集合保持不变，并且将该元素从搜索集合中移除，即令
Figure PCTCN2017106444-appb-000064
以及
Figure PCTCN2017106444-appb-000065
(4)判定步骤：
如果剩余搜索集合
Figure PCTCN2017106444-appb-000066
不是空集，则令t＝t+1并返回(2)迭代搜索步骤；否则，停止迭代并且将当前的局部最优解集合
Figure PCTCN2017106444-appb-000067
输出为最优结果
Figure PCTCN2017106444-appb-000068
3、视频版本编码
此部分可以采用图1所示的视频版本编码模块来实现。
对应于第二步中求解得到的最优结果
Figure PCTCN2017106444-appb-000069
服务器进一步使用动态自适应流媒体编码技术将各原始视频编码为多个不同码率的视频版本，输出得到视频最优版本集合；
具体地：
Figure PCTCN2017106444-appb-000070
服务器将采用编码参数(λm，Qm)对原始视频f进行实际编码操作，得到该视频f的第m个码率版本；
Figure PCTCN2017106444-appb-000071
服务器将不会采用编码参数(λm，Qm)对原始视频f进行实际编码操作。
如图3所示，服务器处三个具体视频文件(Crowd Run、Tractor和Sunflower)的编码复杂度-码率-失真性能曲面，其中三个视频的空间分辨率均为1080p(1920×1080)，编码帧率均为30帧每秒。
如图4所示，在服务器码率约束Rmax＝30Mbps和计算资源约束Cmax＝30GHz的设置下，所述的视频最优版本集合的码率控制与版本选择方法的视频失真性能随权重ω变化的情况，其中最大视频失真为Dmax＝500。
本发明为适应动态自适应视频流媒体多码率版本传输以及异构网络用户差异化带宽条件和点播需求的需要，建立了服务器编码码率和计算资源受限情况下的最优版本码率控制与版本选择问题，并且相应地提供了一种高效快速的最优版本集合的码率控制与版本选择方法，实现了用户下载观看视频整体质量的最大化。本发明提高了服务器处编码视频内容的码率和计算资源的利用率，为用户提供更佳的视频服务质量。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

  1. 一种动态自适应视频流媒体的编码码率控制与版本选择方法，其特征在于，包括以下步骤：
    第一步、视频模型抽取步骤：
    抽取各原始视频的前若干帧，得到各视频的编码复杂度-码率-失真模型；
    第二步、码率控制与版本选择步骤：
    根据服务器处可编码得到的各视频不同版本组成的全集、第一步中得到的各原始视频的编码复杂度-码率-失真模型、服务器的编码码率和计算资源限制、以及用户的网络连接情况和视频点播概率分布，建立适用于动态自适应视频流媒体的编码码率控制与版本选择的优化问题，采用最优版本集合码率控制与版本选择方法，得到各视频各最优版本的编码参数；
    第三步、视频版本编码步骤：
    使用动态自适应流媒体编码技术，并采用第二步中得到的各视频各最优版本的编码参数，将各原始视频编码为多个不同码率的视频版本，输出得到视频最优版本集合。
  2. 根据权利要求1所述的一种动态自适应视频流媒体的编码码率控制与版本选择方法，其特征在于，第一步中，所述的前若干帧为任意大于二的正整数帧。
  3. 根据权利要求1所述的一种动态自适应视频流媒体的编码码率控制与版本选择方法，其特征在于，第一步中，所述的各原始视频由于内容的不同呈现出不同的编码复杂度-码率-失真性能；
    所述的编码复杂度-码率-失真模型将编码复杂度、码率和失真表示为具体编码参数的函数。
  4. 根据权利要求1所述的一种动态自适应视频流媒体的编码码率控制与版本选择方法，其特征在于，第二步中，所述的适用于动态自适应视频流媒体的编码码率控制与版本选择的优化问题，使用网络效用最大化建模方法得到。
  5. 根据权利要求4所述的一种动态自适应视频流媒体的编码码率控制与版本选择方法，其特征在于，所述的建立适用于动态自适应视频流媒体的编码码率控制与版本选择的优化问题，包括：
    目标优化问题：
    Figure PCTCN2017106444-appb-100001
    约束条件：
    Figure PCTCN2017106444-appb-100002
    Figure PCTCN2017106444-appb-100003
    其中：视频文件集合
    Figure PCTCN2017106444-appb-100004
    视频版本集合
    Figure PCTCN2017106444-appb-100005
    用户集合
    Figure PCTCN2017106444-appb-100006
    F、M、U为任意大于二的正整数；λm表示视频版本m在编码时运动估计中的搜索范围，Qm表示视频版本m在编码时量化中的量化步长，Rf(λm，Qm)表示视频文件f的第m个视频版本的编码码率，Cf(λm，Qm)表示视频文件f的第m个视频版本的编码复杂度；定义基集合
    Figure PCTCN2017106444-appb-100007
    表示所有服务器处可编码得到的各视频不同版本组成的全集，其中元素vf，m表示服务器编码输出视频文件f的第m个视频版本；对于每个用户
    Figure PCTCN2017106444-appb-100008
    将其通过链路带宽Bu能够下载的所有视频的所有版本的集合记为
    Figure PCTCN2017106444-appb-100009
    优化变量为：
    Figure PCTCN2017106444-appb-100010
    表示实际编码输出的各视频版本组成的集合；具体地，某一个元素
    Figure PCTCN2017106444-appb-100011
    表示视频文件f的第m个视频版本由服务器编码输出；
    优化目标为：最大化所有用户的预期视频失真减少量之和
    Figure PCTCN2017106444-appb-100012
    其中，所有服务器处可编码得到的各视频不同版本集合
    Figure PCTCN2017106444-appb-100013
    是所述优化问题的基集合；当用户请求视频f时，将从集合
    Figure PCTCN2017106444-appb-100014
    中选择该视频码率最高的版本进行下载观看；因此，
    Figure PCTCN2017106444-appb-100015
    表示已知用户u请求视频文件f的概率为Pu，f，服务器实际编码输出的视频版本集合
    Figure PCTCN2017106444-appb-100016
    能够造成用户u观看视频时的预期视频失真减少量，即：
    Figure PCTCN2017106444-appb-100017
    上式中：指示函数
    Figure PCTCN2017106444-appb-100018
    的值在
    Figure PCTCN2017106444-appb-100019
    的时候为1、在
    Figure PCTCN2017106444-appb-100020
    的时候为0；Dmax分别表示当视频无法解码时的最大失真常量，Df(λm，Qm)表示视频文件f的第m个视频版本的编码失真，Dmax-Df(λm，Qm)表示用户在成功解码视频文件f的第m个视频版本之后的视频失真减少量；
    约束条件为：服务器编码码率限制条件，即要求所有视频版本的码率之和不超过服务器最大码率资源Rmax；以及服务器计算限制条件，即要求所有视频版本的编码复杂度之和不超过服务器最大计算资源Cmax。
  6. 根据权利要求1所述的一种动态自适应视频流媒体的编码码率控制与版本选择方法，其特征在于，第二步中，所述的最优版本集合码率控制与版本选择方法，是指： 在为各原始视频确定最优版本的编码参数时，采用具有多项式时间复杂度和高近似优化性能的高成本效益贪心算法，最终快速高效地实现各原始视频最优版本的码率控制与版本选择。
  7. 根据权利要求6所述的一种动态自适应视频流媒体的编码码率控制与版本选择方法，其特征在于，所述的最优版本集合码率控制与版本选择方法，步骤为：
    (1)初始化：设置初始局部最优解集合为空集、初始搜索集合为服务器处可编码得到的各视频不同版本组成的全集，以及初始步数为1；
    (2)迭代搜索步骤：根据已有的局部最优解集合，在剩余搜索集合中寻找使得边际增量与码率代价的比值与边际增量与复杂度代价的比值加权和最大的元素；其中：所述剩余搜索集合为局部最优解对于搜索集合的补集，所述剩余搜索集合中的一个元素对应于某一视频编码得到的某一码率版本；
    (3)更新步骤：如果添加(2)中搜索得到的元素仍能满足服务器处的编码码率和计算资源约束，则将该元素添加至局部最优解集合，并且搜索集合保持不变；如果添加该元素不能满足服务器处的编码码率和计算资源约束，则局部最优解集合保持不变，并且将该元素从搜索集合中移除；
    (4)判定步骤：如果剩余搜索集合不是空集，则令搜索步数加一并返回(2)迭代搜索步骤；否则，停止迭代，并将当前的局部最优解集合输出为最优结果。
  8. 根据权利要求1所述的一种动态自适应视频流媒体的编码码率控制与版本选择方法，其特征在于，第三步中：
    所述的动态自适应流媒体编码技术，将任意一个原始视频文件编码为多个具有不同码率的视频版本。
  9. 一种用于实现上述权利要求1-8任一项所述方法的动态自适应视频流媒体的编码码率控制与版本选择系统，其特征在于，所述系统包括：
    视频模型抽取模块：用于抽取各原始视频的前若干帧，得到各原始视频的编码复杂度-码率-失真模型；
    码率控制与版本选择模块：利用服务器处可编码得到的各视频不同版本组成的全集、视频模型抽取模块中得到的各原始视频的编码复杂度-码率-失真模型、服务器的编码码率和计算资源限制、以及用户的网络连接情况和视频点播概率分布，建立适用于动态自适应视频流媒体的编码码率控制与版本选择的优化问题，采用最优版本集合码率控制与版本选择方法，得到各视频各最优版本的编码参数；
    视频版本编码模块：使用动态自适应流媒体编码技术，并采用码率控制与版本选择模块中得到的各视频各最优版本的编码参数，将各原始视频编码为多个不同码率的视频版本，输出得到视频最优版本集合。
PCT/CN2017/106444 2016-11-16 2017-10-17 动态自适应视频流媒体的码率控制与版本选择方法及系统 Ceased WO2018090774A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/297,717 US10778982B2 (en) 2016-11-16 2019-03-11 Method and system for bit rate control and version selection for dynamic adaptive video streaming media

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611032465.0 2016-11-16
CN201611032465.0A CN106713956B (zh) 2016-11-16 2016-11-16 动态自适应视频流媒体的码率控制与版本选择方法及系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/297,717 Continuation US10778982B2 (en) 2016-11-16 2019-03-11 Method and system for bit rate control and version selection for dynamic adaptive video streaming media

Publications (1)

Publication Number Publication Date
WO2018090774A1 true WO2018090774A1 (zh) 2018-05-24

Family

ID=58941197

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/106444 Ceased WO2018090774A1 (zh) 2016-11-16 2017-10-17 动态自适应视频流媒体的码率控制与版本选择方法及系统

Country Status (3)

Country Link
US (1) US10778982B2 (zh)
CN (1) CN106713956B (zh)
WO (1) WO2018090774A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110049335A (zh) * 2019-05-05 2019-07-23 力讯灵云(上海)科技有限公司 一种大规模实时监控视频压缩方法
CN113783944A (zh) * 2021-08-24 2021-12-10 国网冀北电力有限公司信息通信分公司 基于云边协同的视频数据处理方法、装置、系统及设备

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713956B (zh) * 2016-11-16 2020-09-15 上海交通大学 动态自适应视频流媒体的码率控制与版本选择方法及系统
CN108063961B (zh) * 2017-12-22 2020-07-31 深圳市云网拜特科技有限公司 一种基于强化学习的自适应码率视频传输方法以及系统
CN108551586B (zh) * 2018-03-14 2020-06-05 上海交通大学 多用户360度视频流服务器端码率自适应分配方法及系统
CN108989838B (zh) * 2018-08-07 2021-07-30 刘子和 一种基于视频内容复杂度感知的dash码率自适应方法
CN109361918B (zh) * 2018-12-24 2021-04-20 天津天地伟业信息系统集成有限公司 一种新型三维视频编码质量评价方法
CN110536168B (zh) * 2019-09-11 2021-09-17 北京达佳互联信息技术有限公司 视频上传方法、装置、电子设备及存储介质
CN111107386A (zh) * 2019-12-27 2020-05-05 北京达佳互联信息技术有限公司 直播视频的回看方法、装置、电子设备、系统及存储介质
CN111083483B (zh) * 2019-12-31 2022-09-23 北京奇艺世纪科技有限公司 一种视频编码码率确定方法、装置、电子设备及存储介质
CN111107395B (zh) * 2019-12-31 2021-08-03 广州市百果园网络科技有限公司 一种视频转码的方法、装置、服务器和存储介质
CN113271462B (zh) * 2021-05-17 2022-12-02 北京百度网讯科技有限公司 视频编码算法的评价方法及装置、计算机设备及介质
CN113645471B (zh) * 2021-06-22 2022-06-03 北京邮电大学 多云视频分发策略优化方法及系统
CN114268792B (zh) * 2021-12-22 2025-09-30 北京达佳互联信息技术有限公司 视频转码方案的确定方法及装置和视频转码方法及装置
CN115174965B (zh) * 2022-06-30 2024-01-02 杭州海康威视数字技术股份有限公司 视频预览方法、装置、电子设备及计算机可读存储介质
EP4322495A1 (en) * 2022-08-08 2024-02-14 Rohde & Schwarz GmbH & Co. KG Method as well as system for transmitting data by means of radio signals and adapting transmission rate of one or more entities by means of data encoding
CN116112708B (zh) * 2022-12-30 2024-05-07 山东大学 一种面向自适应流媒体的联合内容存储、码率转换与功率分配资源优化方法
CN116614453B (zh) * 2023-06-20 2024-03-22 北京拙河科技有限公司 一种基于云端互联的图像传输带宽选择方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103702139A (zh) * 2013-12-13 2014-04-02 华中科技大学 一种移动环境下基于可扩展编码的视频点播系统
US20140223502A1 (en) * 2013-02-06 2014-08-07 General Instrument Corporation Method of Operating an IP Client
CN105979274A (zh) * 2016-05-06 2016-09-28 上海交通大学 动态自适应视频流媒体的分布式缓存放置方法
CN106713956A (zh) * 2016-11-16 2017-05-24 上海交通大学 动态自适应视频流媒体的码率控制与版本选择方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6689135B2 (en) 2002-01-25 2004-02-10 Albert Enayati Expandable bone fastener and installation tool
US9544602B2 (en) * 2005-12-30 2017-01-10 Sharp Laboratories Of America, Inc. Wireless video transmission system
US20100091841A1 (en) * 2008-10-07 2010-04-15 Motorola, Inc. System and method of optimized bit extraction for scalable video coding
CN102186072B (zh) * 2011-04-20 2013-03-20 上海交通大学 用于可伸缩视频流的多速率组播通信的优化传输方法
KR101840008B1 (ko) * 2011-06-24 2018-05-04 에스케이플래닛 주식회사 고화질 비디오 스트리밍 서비스 방법 및 시스템
WO2016022769A1 (en) * 2014-08-07 2016-02-11 Arris Enterprises, Inc. Systems and methods for multicast delivery of a managed bundle in service provider networks
CN105007541B (zh) * 2015-07-29 2018-07-20 上海交通大学 可伸缩视频流动态多码率组播优化传输方法
CN105407383B (zh) * 2015-10-29 2018-07-06 西安交通大学 一种多版本视频点播流媒体服务器集群资源预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140223502A1 (en) * 2013-02-06 2014-08-07 General Instrument Corporation Method of Operating an IP Client
CN103702139A (zh) * 2013-12-13 2014-04-02 华中科技大学 一种移动环境下基于可扩展编码的视频点播系统
CN105979274A (zh) * 2016-05-06 2016-09-28 上海交通大学 动态自适应视频流媒体的分布式缓存放置方法
CN106713956A (zh) * 2016-11-16 2017-05-24 上海交通大学 动态自适应视频流媒体的码率控制与版本选择方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
L. TONI: "Optimal Selection of Adaptive Streaming Representations", ACM TRANS. MULTIMEDIA COMPUT. COMMUN. APPL., vol. 11, no. 2, 28 February 2015 (2015-02-28), pages 1 - 26, XP058065840 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110049335A (zh) * 2019-05-05 2019-07-23 力讯灵云(上海)科技有限公司 一种大规模实时监控视频压缩方法
CN113783944A (zh) * 2021-08-24 2021-12-10 国网冀北电力有限公司信息通信分公司 基于云边协同的视频数据处理方法、装置、系统及设备
CN113783944B (zh) * 2021-08-24 2024-03-22 国网冀北电力有限公司信息通信分公司 基于云边协同的视频数据处理方法、装置、系统及设备

Also Published As

Publication number Publication date
CN106713956B (zh) 2020-09-15
US20190208215A1 (en) 2019-07-04
US10778982B2 (en) 2020-09-15
CN106713956A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106713956B (zh) 动态自适应视频流媒体的码率控制与版本选择方法及系统
CN108551586B (zh) 多用户360度视频流服务器端码率自适应分配方法及系统
CN114845106B (zh) 视频编码方法、装置和存储介质及电子设备
JP7794912B2 (ja) 最適なマルチコーデックａｂｒラダー設計
CN110248210B (zh) 视频传输优化方法
CN112104867B (zh) 一种视频处理方法、视频处理装置、智能设备及存储介质
KR102313136B1 (ko) 실시간 비디오 스트리밍에서의 초해상화 가속을 위한 장치 및 방법
Yadav et al. Tile rate allocation for 360-degree tiled adaptive video streaming
CN113115067A (zh) 直播系统、视频处理方法及相关装置
CN105979274A (zh) 动态自适应视频流媒体的分布式缓存放置方法
US12549745B2 (en) Data processing method and apparatus, device, and readable storage medium
CN114363649A (zh) 视频处理方法、装置、设备及存储介质
CN106507107B (zh) 数据的处理方法和装置
Yu et al. BiSR: Bidirectionally optimized super-resolution for mobile video streaming
Erfanian et al. CD-LwTE: Cost-and delay-aware light-weight transcoding at the edge
CN103428529A (zh) 一种媒体云中视频数据编码传输方法
Kang et al. Cooperative mobile video transmission for traffic surveillance in smart cities
US9769511B2 (en) Multicast-based content transmitting system and method, and device and method for estimating high-speed movement
US20130243082A1 (en) Rate optimisation for scalable video transmission
Amer et al. A Review of Learning-Based Methods for Adaptive Video Streaming Over HTTP
Yu et al. Bandit learning-based edge caching for 360-degree video streaming with switching cost
CN115942009A (zh) 基于混合式编码的远程视频业务办理方法和装置
EP2999229A1 (en) Method for storing and delivering a video sequence using a cloud network
CN119450116B (zh) 沉浸式全景视频无线传输方法、装置、设备和存储介质
KR102959467B1 (ko) 표준 정규분포 기반 양자화 기법을 이용한 딥러닝 네트워크 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17871830

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 16.10.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17871830

Country of ref document: EP

Kind code of ref document: A1