WO2017036070A1 - 一种自适应媒体业务的处理方法及其装置、编码器及解码器 - Google Patents

一种自适应媒体业务的处理方法及其装置、编码器及解码器 Download PDF

Info

Publication number
WO2017036070A1
WO2017036070A1 PCT/CN2016/071426 CN2016071426W WO2017036070A1 WO 2017036070 A1 WO2017036070 A1 WO 2017036070A1 CN 2016071426 W CN2016071426 W CN 2016071426W WO 2017036070 A1 WO2017036070 A1 WO 2017036070A1
Authority
WO
WIPO (PCT)
Prior art keywords
data stream
image
target optimization
image sequence
processing
Prior art date
Application number
PCT/CN2016/071426
Other languages
English (en)
French (fr)
Inventor
那彦波
张丽杰
李正龙
何建民
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Priority to US15/306,212 priority Critical patent/US10547888B2/en
Publication of WO2017036070A1 publication Critical patent/WO2017036070A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Definitions

  • the present disclosure relates to processing of multimedia services, and in particular, to a method and device for processing an adaptive media service, an encoder, and a decoder.
  • the multi-stream video encoding server can encode one video image into a plurality of code rate streams for output. For example, a video image with a full resolution of full HD (resolution 1920*1080) can be encoded and output as a high definition HD stream (resolution 1280*720) and a D1 stream (resolution 720*576). A stream of different resolutions (code rates) is output.
  • the client can request the appropriate code stream from the video encoding server according to its network conditions, so as to ensure that the high-end users and the low-end users are equally smooth. user experience.
  • Apple's HTTP adaptive streaming solution and Adobe's dynamic FLASH streaming solution have achieved great success in the market.
  • the user-side display device needs to adjust the input stream to accommodate the resolution and display the image at full resolution.
  • a typical amplification algorithm such as the Bicubic algorithm or the Lanczos algorithm (Lanczos algorithm is an algorithm that transforms a symmetric matrix into a symmetric tridiagonal matrix by orthogonal similar transformation, named after the 20th century Hungarian mathematician Cornelius Lanczos)
  • Introduce visual errors such as sawtooth, ring artifacts
  • the traditional amplification algorithms are based on the received code stream, ignoring the impact of the original multimedia image data.
  • An object of the embodiments of the present disclosure is to provide a method and device for processing an adaptive media service, an encoder, and a decoder, thereby improving user experience.
  • an embodiment of the present disclosure discloses a method for processing an adaptive media service, where the processing method is used in an encoding end, including:
  • the first transmitting step transmits the selected data stream to the recipient.
  • the target optimization parameter is an optimization parameter that has at least two available optimization parameters in_param such that the MLM (LR, in_param) has the greatest similarity with the first image sequence;
  • the MLM (LR, in_param) is an image sequence obtained by performing quality improvement processing on the LR using the available optimization parameter in_param.
  • the method for processing the adaptive media service where the second obtaining step specifically includes:
  • the merging step combines each of the second image encoded data and the corresponding target optimization parameter to obtain the at least one second data stream.
  • the method for processing the adaptive media service where the second obtaining step specifically includes:
  • the method for processing the adaptive media service where the second obtaining step specifically includes:
  • a fourth parameter determining step when the service type of the adaptive media service is a real-time service, acquiring a target corresponding to each second image sequence according to a corresponding relationship between a pre-stored degradation level, an image type, and a target optimization parameter Optimizing parameters, otherwise calculating respective target optimization parameters according to each of the second image sequences;
  • the merging step combines each of the second image encoded data and the corresponding target optimization parameter to obtain the at least one second data stream.
  • the foregoing processing method of the adaptive media service further includes:
  • each of the second image encoded data and the corresponding compressed target optimization parameter are combined.
  • the second data stream includes a metadata portion and an attachment support Attachment Support portion
  • the target optimization parameter is stored in the metadata portion or an attachment support Attachment Support portion.
  • the foregoing processing method of the adaptive media service further includes:
  • a first branch selecting step when the data amount of the target optimization parameter is greater than a predetermined threshold, entering the first selecting step, otherwise entering a second selecting step;
  • the second selecting step is specifically: selecting one data stream from the second data stream set; the second data stream set is composed of the first data stream and the at least one second data stream;
  • the first data stream set is composed of the first data stream, the at least one second data stream, and the at least one third data stream.
  • the foregoing processing method of the adaptive media service further includes:
  • the first data stream set further includes the at least one third data stream.
  • the foregoing processing method of the adaptive media service further includes:
  • a second branch selecting step when the receiving party can parse and utilize the target optimization parameter to perform quality improvement processing, enter the first selecting step, and otherwise enter a third selecting step;
  • the third selecting step is specifically: selecting one data stream from the third data stream set; the third data stream set is composed of the first data stream and the at least one third data stream;
  • the first data stream set is composed of the first data stream and the at least one second data stream.
  • the foregoing processing method of the adaptive media service further includes:
  • a second determining step before determining the at least one second data stream, determining whether the target optimization parameter needs to be updated, obtaining a determination result, indicating that the target optimization parameter needs to be updated, and entering the second obtaining step, otherwise Enter the replacement step;
  • each third data stream includes Corresponding second image encoded data, not including the target optimization parameter; the third data stream set consisting of the first data stream and the at least one third data stream.
  • an embodiment of the present disclosure discloses a method for processing an adaptive media service, where the processing method is used for a decoding end, including:
  • the second data stream includes a first portion for transmitting the second image encoded data and a parameter for optimizing the transmission target The second part;
  • a parsing step of parsing the second data stream acquiring second image encoded data carried by the first part and target optimization parameters carried by the second part;
  • the foregoing processing method of the adaptive media service further includes:
  • the target optimization parameter is an optimization parameter that has at least two available optimization parameters in_param such that the MLM (LR, in_param) has the greatest similarity with the first image sequence;
  • the MLM (LR, in_param) is an image sequence obtained by performing quality improvement processing on the LR using the available optimization parameter in_param.
  • the foregoing processing method of the adaptive media service further includes:
  • the foregoing processing method of the adaptive media service further includes:
  • the extracting step extracts the saved target optimization parameters for the quality improvement step before receiving the new target optimization parameters.
  • the method for processing an adaptive media service wherein the target optimization parameter carried in the second part is a compressed target optimization parameter, and the target optimization parameter is obtained by decompression in the analyzing step.
  • an embodiment of the present disclosure discloses a processing device for an adaptive media service, where the processing device is used in an encoding end, including:
  • a first acquiring module configured to acquire a first data stream, where the first data stream includes first image encoded data obtained by encoding the first image sequence, so that the receiver can be configured according to the first image Encoding the data to obtain a first image sequence;
  • a second acquiring module configured to acquire at least one second data stream, where different second data streams have different image qualities, and each of the second data streams includes second image encoded data obtained by encoding the second image sequence And a target optimization parameter corresponding to the second image encoded data, so that the receiver can decode the second image encoded data to obtain the second image sequence, and perform the second image sequence by using the target optimization parameter a quality improvement process to obtain a third image sequence;
  • the target optimization parameter is obtained according to the first image sequence and the second image sequence, wherein the first image sequence, the second image sequence, and the third image sequence record the same content
  • the image quality of each of the second image sequences is lower than the image quality of the first image sequence and the image quality of the third image sequence;
  • a first selection module configured to select, according to a receiver condition, a data stream from the first data stream set, where the first data stream set includes at least the first data stream and the at least one second data stream; as well as
  • the first sending module is configured to send the selected data stream to the receiver.
  • the target optimization parameter is an optimization parameter that has at least two available optimization parameters in_param such that the MLM (LR, in_param) has the greatest similarity with the first image sequence;
  • the MLM (LR, in_param) is an image sequence obtained by performing quality improvement processing on the LR using the available optimization parameter in_param.
  • the processing device of the adaptive media service where the second acquiring module specifically includes:
  • a degradation processing module configured to perform degrading processing on the first image sequence to obtain the at least one second image sequence
  • An encoding module configured to encode each of the second image sequences to obtain respective second image encoded data
  • a first parameter determining module configured to calculate respective target optimization parameters according to each of the second image sequences
  • a merging module configured to combine each of the second image encoded data and the corresponding target optimization parameter to obtain the at least one second data stream.
  • the processing device of the adaptive media service where the second acquiring module specifically includes:
  • a degradation processing module configured to perform degrading processing on the first image sequence to obtain the at least one second image sequence
  • An encoding module configured to encode each of the second image sequences to obtain respective second image encoded data
  • a second parameter determining module configured to determine an image type of the first image sequence and a corresponding degradation level of each of the second image sequences
  • a third parameter determining module configured to determine, according to a pre-stored degradation level, a correspondence between the image type and the target optimization parameter, a target optimization parameter corresponding to each of the second image sequences;
  • a merging module configured to combine each of the second image encoded data and the corresponding target optimization parameter to obtain the at least one second data stream.
  • the processing device of the adaptive media service where the second acquiring module specifically includes:
  • a degradation processing module configured to perform degrading processing on the first image sequence to obtain the at least one second image sequence
  • An encoding module configured to encode each of the second image sequences to obtain respective second image encoded data
  • a first determining module configured to determine a service type of the adaptive media service
  • a fourth parameter determining module configured to: when the service type of the adaptive media service is a real-time service, obtain each second image sequence according to a corresponding relationship between a pre-stored degradation level, an image type, and a target optimization parameter Target optimization parameters, otherwise calculating respective target optimization parameters according to each of the second image sequences;
  • a merging module configured to combine each of the second image encoded data and the corresponding target optimization parameter to obtain the at least one second data stream.
  • the processing device for the adaptive media service described above further includes:
  • a compression module configured to compress a target optimization parameter corresponding to each of the second image sequences
  • the merging module is specifically configured to combine each of the second image encoded data and the corresponding compressed target optimization parameter.
  • the processing device of the adaptive media service wherein the second data stream includes a metadata portion and an attachment support Attachment Support portion, and the target optimization parameter is stored in the metadata
  • the Attachment Support section is supported by sections or attachments.
  • the processing device for the adaptive media service described above further includes:
  • a third acquiring module configured to acquire at least one third data stream corresponding to the at least one second data stream, where each third data stream includes corresponding second image encoded data, and does not include the target optimization parameter;
  • a first branch selection module configured to trigger the first selection module when the data amount of the target optimization parameter is greater than a predetermined threshold, and trigger the second selection module;
  • the second selection module is specifically configured to: select one data stream from the second data stream set; the second data stream set is composed of the first data stream and the at least one second data stream;
  • the first data stream set is composed of the first data stream, the at least one second data stream, and the at least one third data stream.
  • the processing device for the adaptive media service described above further includes:
  • a third acquiring module configured to acquire at least one third data stream corresponding to the at least one second data stream, where each third data stream includes corresponding second image encoded data, and does not include the target optimization parameter;
  • the first data stream set further includes the at least one third data stream.
  • the processing device for the adaptive media service described above further includes:
  • a third acquiring module configured to acquire at least one third data stream corresponding to the at least one second data stream, where each third data stream includes corresponding second image encoded data, and does not include the target optimization parameter;
  • a second branch selection module configured to trigger the first selection module when the receiver can parse and utilize the target optimization parameter for quality improvement processing, and otherwise trigger the third selection module;
  • the third selection module is specifically configured to select one data stream from the third data stream set; the third data stream set is composed of the first data stream and the at least one third data stream;
  • the first data stream set is composed of the first data stream and the at least one second data stream.
  • an embodiment of the present disclosure discloses a processing device for an adaptive media service, where the processing device is used for a decoding end, including:
  • a receiving module configured to receive a second data stream selected by the sender according to the condition of the receiver;
  • the second data stream includes a first portion for transmitting the second image encoded data and a second portion for transmitting the target optimization parameter;
  • a parsing module configured to parse the second data stream, and acquire second image encoded data carried by the first part and target optimization parameters carried by the second part;
  • a decoding module configured to decode the second image encoded data to obtain a second image sequence; the image quality of the second image sequence is lower than an image quality of the original first image sequence;
  • a quality improvement module configured to perform quality improvement processing on the second image sequence by using the target optimization parameter, to obtain a third image sequence whose image quality is superior to the image quality of the second image sequence.
  • the processing device for the adaptive media service described above further includes:
  • a second sending module configured to send the receiver condition to the sender.
  • the target optimization parameter is an optimization parameter that has at least two available optimization parameters in_param such that the MLM (LR, in_param) has the greatest similarity with the first image sequence;
  • the MLM (LR, in_param) is an image sequence obtained by performing quality improvement processing on the LR using the available optimization parameter in_param.
  • the processing device for the adaptive media service described above further includes:
  • a third sending module configured to send an indication message indicating that the receiver can parse and utilize the target optimization parameter to perform quality improvement processing, to the sender, so that the sender can generate the second data stream, and include the second Adaptive selection is made in the collection of data streams.
  • the processing device for the adaptive media service described above further includes:
  • an extraction module configured to extract the saved target optimization parameter for the quality improvement module before receiving the new target optimization parameter.
  • the processing device of the adaptive media service wherein the target optimization parameter carried by the second part is a compressed target optimization parameter, and the parsing module obtains the target optimization parameter by decompression.
  • an encoder including the above-described processing apparatus for an adaptive media service at an encoding end.
  • embodiments of the present disclosure disclose a decoder including the above A processing device for adaptive media services at the decoding end.
  • the target optimization parameter obtained according to the original image sequence and the image sequence carried in the current code stream is added to the code stream, so that the decoding end can decode the code stream according to the target optimization parameter.
  • the image sequence is subjected to quality improvement processing to obtain an image sequence with better image quality. Since the target optimization parameter in the embodiment of the present disclosure takes into account the original image sequence, the image quality is obtained with respect to the image sequence obtained from the image quality of the image sequence obtained only by the image sequence decoded from the code stream. Higher, which improves the user experience.
  • the target optimization parameter capable of obtaining the image sequence with the highest similarity to the original image sequence is selected. Optimized processing to further enhance the user experience;
  • the Attachment Support section may be supported in the metadata part or the attachment to carry the target optimization data, so that the client that does not support the processing method of the embodiment of the present disclosure can ignore the target optimization data, thereby utilizing the tradition. Method of processing to achieve forward compatibility;
  • the target optimization parameter may be compressed and merged into the code stream for transmission, thereby reducing the requirement for network bandwidth
  • the quality improvement process can be performed by using the previously received target optimization parameter when the scene does not change, thereby reducing the amount of data transmission between the server and the client.
  • FIG. 1 is a schematic flowchart diagram of a method for processing an adaptive media service for an encoding end according to an embodiment of the present disclosure
  • FIG. 2 is a schematic flow chart showing a second obtaining step of the embodiment of the present disclosure
  • FIG. 3 is a schematic diagram showing another flow of the second obtaining step of the embodiment of the present disclosure.
  • FIG. 4 is a schematic flow chart showing still another second obtaining step of the embodiment of the present disclosure.
  • FIG. 5 is a schematic flowchart diagram of another processing method for an adaptive media service for an encoding end according to an embodiment of the present disclosure
  • FIG. 6 is a schematic flowchart diagram of still another processing method of an adaptive media service for an encoding end according to an embodiment of the present disclosure
  • FIG. 7 is a schematic flowchart diagram of still another processing method of an adaptive media service for an encoding end according to an embodiment of the present disclosure
  • FIG. 8 is a schematic flowchart diagram of a method for processing an adaptive media service for a decoding end according to an embodiment of the present disclosure
  • FIG. 9 is a schematic structural diagram of a processing apparatus for an adaptive media service for an encoding end according to an embodiment of the present disclosure.
  • FIG. 10 is a schematic structural diagram of another apparatus for processing an adaptive media service for an encoding end according to an embodiment of the present disclosure
  • FIG. 11 is a schematic structural diagram of a processing apparatus for an adaptive media service for a decoding end according to an embodiment of the present disclosure
  • FIG. 12 is a schematic structural diagram of a service system for offline services formed at an encoding end according to an embodiment of the present disclosure
  • FIG. 13 is a schematic structural diagram of a service system for real-time services formed at an encoding end according to an embodiment of the present disclosure
  • FIG. 14 is a schematic structural diagram of a service system formed at a decoding end according to an embodiment of the present disclosure.
  • the target optimization parameter obtained according to the original image sequence and the image sequence carried in the current code stream is added to the code stream, so that the decoding end can perform the image sequence decoded from the code stream according to the target optimization parameter.
  • Quality improvement processing to obtain a sequence of images with better image quality Since the target optimization parameter in the embodiment of the present disclosure takes into account the original image sequence, the image quality is obtained with respect to the image sequence obtained from the image quality of the image sequence obtained only by the image sequence decoded from the code stream. Higher and improved user experience.
  • a method for processing an adaptive media service according to an embodiment of the present disclosure includes:
  • the first obtaining step 101 is to acquire a first data stream, where the first data stream includes first image encoded data obtained by encoding the first image sequence, so that the receiver can obtain the first data according to the first image encoded data.
  • Image sequence includes first image encoded data obtained by encoding the first image sequence, so that the receiver can obtain the first data according to the first image encoded data.
  • a second obtaining step 102 acquiring at least one second data stream, the different second data streams having different image qualities, each of the second data streams including second image encoded data obtained by encoding the second image sequence and a target optimization parameter corresponding to the second image encoded data, such that the receiver can decode the second image encoded data to obtain the second image sequence, and perform quality on the second image sequence by using the target optimization parameter And performing a lifting process to obtain a third image sequence;
  • the target optimization parameter is obtained according to the first image sequence and the second image sequence, wherein the first image sequence, the second image sequence, and the third image sequence record the same content,
  • the image quality of each of the second image sequences is lower than the image quality of the first image sequence and the image quality of the third image sequence;
  • Step 103 Select a data stream from the first data stream set according to the receiver condition, where the first data stream set includes at least the first data stream and the at least one second data stream.
  • Sending a step 104 transmitting the selected data stream to the recipient.
  • the target optimization parameter obtained according to the original image sequence and the image sequence carried in the current code stream is added to the code stream, so that the decoding end can decode the image sequence decoded from the code stream according to the target optimization parameter.
  • the target optimization parameter out_param is an optimization parameter of at least two available optimization parameters in_param such that the MLM (LR, in_param) has the greatest similarity with the HR.
  • the HR is the first image sequence
  • the LR is the second image sequence
  • the MLM (LR, in_param) is an image sequence obtained by performing quality improvement processing on the LR by using the available optimization parameter in_param .
  • the determination of the target optimization parameter may be determined according to the condition that the first similarity is greater than any one of the second similarities.
  • the determination of the target optimization parameter may also be determined according to other conditions similar to the similarity, and the disclosure is not limited thereto.
  • the first similarity is a similarity between the third image sequence and the first image sequence
  • the second similarity is obtained by using another optimization parameter that is different from the target optimization parameter in the available optimization parameters.
  • the second image sequence performs similarity between the image sequence obtained by the quality improvement processing and the first image sequence.
  • the target optimization parameter out_param is as follows:
  • ArgMaxx(f(x)) represents a variable x corresponding to f(x) taking the maximum value
  • LR[k] is a sequence of images carried in the kth code stream, that is, a corresponding second image sequence in the kth code stream;
  • In_param[k] is an available optimization parameter corresponding to the kth code stream, and includes at least two;
  • HR[k] is an input image sequence corresponding to the kth code stream, that is, a first image sequence to be transmitted;
  • the MLM (LR[k], in_param[k]) is an image sequence obtained by performing quality improvement processing on LR[k] by In_param[k].
  • first set a set of algorithms including Z1, Z2, Z3, ..., Zn (ie, the optimization parameter is an algorithm used for quality improvement processing of an image), for an image sequence carried in a code stream to be transmitted Y (which is obtained by performing quality reduction processing on the original image sequence X), and uses Z1, Z2, Z3, ..., Zn to perform quality improvement processing on the image sequence Y (can be calculated in real time, or can be calculated in advance, and will be followed in Detailed description will be given to obtain image sequences Y1, Y2, Y3, ..., Yn, respectively.
  • Z1, Z2, Z3, ..., Zn the optimization parameter is an algorithm used for quality improvement processing of an image
  • the algorithm corresponding to the image sequence Ym is an optimal algorithm, and then the target optimization parameter is determined as an algorithm corresponding to the image sequence Ym.
  • the corresponding quality improvement process is to process the image sequence carried in the kth code stream by using an algorithm characterized by the target optimization parameter.
  • these algorithms may be linear interpolation algorithms, bicubic interpolation Value algorithms, meta-cellular neural network CNN algorithms, etc., are not listed here.
  • the CNN algorithm it needs to include a parameter for the 3-layer CNN, so that the meta-cellular neural network can perform quality improvement processing on the image.
  • the corresponding target optimization parameters are obtained in different manners.
  • the corresponding target optimization parameters may also be acquired in the same manner, and the present disclosure does not limit.
  • determining a target optimization parameter corresponding to different code streams requires performing a series of operations, including: performing an operation of quality improvement processing and an operation of image sequence similarity. It is well known that any operation takes a certain amount of time, especially in the case of a low processor configuration, the more time it takes.
  • the target optimization parameter can be calculated in real time during the transmission process.
  • the second obtaining step 102 specifically includes:
  • a degradation processing step 1021 performing degradation processing on the first image sequence to obtain the at least one second image sequence
  • Encoding step 1022 encoding each of the second image sequences to obtain respective corresponding second image encoded data
  • a first parameter determining step 1023 calculating respective target optimization parameters according to each of the second image sequences
  • the merging step 1024 combines each of the second image encoded data and the corresponding target optimization parameter to obtain the at least one second data stream.
  • the first parameter determining step is performed, and the target optimization parameter corresponding to each second image sequence needs to be calculated in real time, that is, the quality of the second image sequence needs to be improved according to each algorithm in the algorithm set. Processing, and calculating the similarity between each image sequence outputted by the quality improvement processing and the first image sequence, and finally selecting the corresponding target optimization parameter according to the similarity.
  • the above-mentioned methods for obtaining target optimization parameters may not be particularly suitable due to the high real-time requirements. Therefore, for the feature that the real-time service real-time requirement is high, the specific embodiment of the present disclosure provides a method for pre-calculating the target optimization parameter and checking the table to obtain the target optimization parameter, so as to ensure the real-time requirement of the real-time service.
  • the second obtaining step 102 specifically includes:
  • a degradation processing step 1021 performing degradation processing on the first image sequence to obtain the at least one second image sequence
  • Encoding step 1022 encoding each of the second image sequences to obtain respective corresponding second image encoded data
  • a second parameter determining step 1025 determining an image type of the first image sequence and a degradation level corresponding to each of the second image sequences
  • the third parameter determining step 1026 is to determine, according to the pre-stored degradation level, the correspondence between the image type and the target optimization parameter, the target optimization parameters corresponding to each of the second image sequences;
  • the merging step 1024 combines each of the second image encoded data and the corresponding target optimization parameter to obtain the at least one second data stream.
  • step numbers do not represent the order of execution of the corresponding steps, but merely serve as a marker.
  • the image type includes the N1 type (such as cartoon, natural scenery, etc.), and the image resolution of the original image sequence includes N2.
  • the resolution of the second image sequence (both lower than the image resolution of the original image sequence) is N3, that is, N3 is smaller than N2.
  • the degradation level described herein is a conversion between the image resolution of the original image sequence and the image resolution corresponding to the second image sequence.
  • the degradation level includes two levels, namely: from resolution 1920. *1080 is reduced to 1280*720, and reduced from 1920*1080 to 720*576.
  • the corresponding target optimization parameters need to be pre-calculated for the N1*N2*N3 combinations, and the degradation level, the image type, and the target optimization parameter are obtained. Correspondence between them.
  • the above correspondence is saved in a database.
  • the target optimization parameter can be determined according to the above correspondence.
  • the second obtaining step may be used in combination, that is, the second obtaining step is as shown in FIG. 4, and specifically includes:
  • a degradation processing step 1021 performing degradation processing on the first image sequence to obtain the at least one second image sequence
  • Encoding step 1022 encoding each of the second image sequences to obtain respective corresponding second image encoded data
  • step 1027 determining a service type of the adaptive media service
  • the fourth parameter determining step 1028 is: when the service type of the adaptive media service is a real-time service, according to the pre-stored degradation level, the correspondence between the image type and the target optimization parameter, each corresponding second image sequence is obtained. Target optimization parameters, otherwise calculating respective target optimization parameters according to each of the second image sequences;
  • the merging step 1024 combines each of the second image encoded data and the corresponding target optimization parameter to obtain the at least one second data stream.
  • the encoding end can adaptively select according to the service type to obtain the target optimization parameter.
  • the target optimization parameter is selected in a real-time calculation manner to improve the quality of the image sequence outputted by the decoder.
  • the target optimization parameter is directly obtained according to the pre-stored correspondence to meet the real-time requirement.
  • Specific embodiments of the present disclosure require an increase in the transmission of a portion of the data (target optimization parameters) relative to the prior art.
  • the target optimization parameters are compressed in a specific embodiment of the present disclosure to reduce the amount of data transmission.
  • the processing method of the adaptive media service in the embodiment of the present disclosure further includes:
  • each of the second image encoded data and the corresponding compressed target optimization parameter are combined.
  • a transmission of a part of data needs to be added, and the target optimization parameter may be transmitted in various manners, such as adding a field in the data stream or using the reserved field to transmit the target optimization. parameter. Forward compatibility is not possible with the addition of fields or the use of reserved fields.
  • the metadata portion or the accessory having the forward compatibility capability supports the Attachment Support portion to carry the target optimization data, so that the processing method of the embodiment of the present disclosure is not supported.
  • the client can ignore the target optimization data and then use the traditional method to process and achieve forward compatibility.
  • the second data stream includes a metadata portion and an attachment support Attachment Support portion
  • the target optimization parameter is stored in the metadata portion or the attachment support Attachment Support portion.
  • the target optimization parameter uses the metadata part or the attachment to support the Attachment Support part of the transmission, it does not affect the receiving end. Therefore, when the data volume of the target optimization parameter is small, carrying the target parameter or not does not have a large impact on the transmission.
  • the target optimization parameters can be carried directly in all data streams without providing a code stream that does not carry the target optimization parameters, so as to reduce the code stream. The number increases the efficiency of the encoder and the efficiency of code stream switching.
  • the above method further includes:
  • a third obtaining step 105 acquiring at least one third data stream corresponding to the at least one second data stream, each third data stream including corresponding second image encoded data, not including the target optimization parameter;
  • the first branch selection step 106 when the data amount of the target optimization parameter is greater than a predetermined threshold, enter the first selection step 103, otherwise enter the second selection step 107;
  • the second selecting step 107 is specifically: selecting one data stream from the second data stream set; the second data stream set is composed of the first data stream and the at least one second data stream;
  • the first set of data streams is comprised of the first data stream, the at least one second data stream, and the at least one third data stream.
  • another manner is to generate a new code stream carrying target optimization parameters and a conventional code stream carrying target optimization parameters for image sequences of all resolutions, so as to improve flexibility of adaptive selection. degree.
  • the processing method of the adaptive media service in the embodiment of the present disclosure further includes:
  • the first set of data streams further includes the at least one third data stream.
  • the target optimization parameters can be transmitted in a variety of ways, but when the opposite end (receiver) does not support the use of the target optimization parameters for quality improvement processing, the carrying target optimization parameters will increase even if they do not affect the receiver. Invalid data transfer.
  • the target optimization parameter and the support target can be supported according to the receiver. No to decide whether to transmit target optimization parameters to increase the utilization of limited bandwidth.
  • the processing method of the adaptive media service in the specific embodiment of the present disclosure further includes:
  • a third obtaining step 105 acquiring at least one third data stream corresponding to the at least one second data stream, each third data stream including corresponding second image encoded data, not including the target optimization parameter;
  • a second branch selection step 108 when the receiver can parse and utilize the target optimization parameter for quality improvement processing, enter the first selection step 103, otherwise enter the third selection step 109;
  • the third selecting step 109 is specifically: selecting one data stream from the third data stream set; the third data stream set is composed of the first data stream and the at least one third data stream;
  • the first set of data streams is comprised of the first data stream and the at least one second data stream.
  • the target optimization parameter may also be periodically sent or Sent when the target optimization parameter changes to reduce the increase in data transmission due to the target optimization parameter.
  • the historical target optimization parameters need to be saved on the receiving side and updated in real time. When there is no new target optimization parameter, the saved historical target optimization parameters are used for subsequent quality improvement processing.
  • the processing method of the adaptive media service of the embodiment of the present disclosure further includes:
  • a second determining step 110 before determining at least one second data stream, determining whether the target optimization parameter needs to be updated, and obtaining a determination result;
  • the judgment result indicates that the target optimization parameter needs to be updated, and the second obtaining step 102 is entered, otherwise the replacement step 111 is entered;
  • Substituting step 111 acquiring at least one third data stream corresponding to the at least one second data stream, and selecting one data stream from the third data stream set, entering the first sending step; each third data stream includes a corresponding The second image encoded data does not include the target optimization parameter; the third data stream set is comprised of the first data stream and the at least one third data stream.
  • Whether the target optimization parameter needs to be updated may be judged according to various conditions, such as when the update period expires, or when the transmission scenario is changed, or the code stream selected by the receiver changes, etc., which are not enumerated here.
  • the processing method of the adaptive media service of the embodiment of the present disclosure is described above from the encoding end.
  • the following describes the processing method of the adaptive media service of the embodiment of the present disclosure from the decoding end as follows.
  • the method includes:
  • Receiving step 201 receiving a second data stream selected by the sender according to the condition of the receiver; the second data stream includes a first portion for transmitting the second image encoded data and a second portion for transmitting the target optimization parameter;
  • the parsing step 202 is performed to parse the second data stream, and acquire the second image encoded data carried by the first part and the target optimization parameter carried by the second part;
  • Decoding step 203 decoding the second image encoded data to obtain a second image sequence; the image quality of the second image sequence is lower than the image quality of the original first image sequence;
  • the quality improvement step 204 performs quality improvement processing on the second image sequence by using the target optimization parameter to obtain a third image sequence whose image quality is better than the image quality of the second image sequence.
  • the processing of the adaptive media service of the embodiment of the present disclosure also includes:
  • the determination of the target optimization parameter may be determined according to the condition that the target optimization parameter out_param is at least two available optimization parameters in_param such that the MLM (LR, in_param) has the greatest similarity with the HR. Optimization parameters.
  • the HR is the first image sequence
  • the LR is the second image sequence
  • the MLM (LR, in_param) is an image sequence obtained by performing quality improvement processing on the LR by using the available optimization parameter in_param .
  • the determination of the target optimization parameter may be determined according to the condition that the first similarity is greater than any one of the second similarities, and the first similarity is similar to the third image sequence and the first image sequence.
  • the second similarity is the utilization optimization parameter and the target optimization parameter The similarity between the image sequence obtained by performing quality improvement processing on the second image sequence and the first image sequence by different other optimization parameters.
  • the processing of the adaptive media service of the embodiment of the present disclosure also includes:
  • the target optimization parameter may also be periodically sent or Sent when the target optimization parameter changes.
  • the historical target optimization parameters need to be saved on the receiving side and updated in real time. When there is no new target optimization parameter, the saved historical target optimization parameters are used for subsequent quality improvement processing.
  • the processing method of the adaptive media service of the embodiment of the present disclosure further includes:
  • the saving step saves the parsed target optimization parameter
  • the extracting step extracts the saved target optimization parameters for the quality improvement step before receiving the new target optimization parameters.
  • the target optimization parameter carried by the second part is a compressed target optimization parameter, and the parsing step is obtained by decompression.
  • the target optimization parameter is a compressed target optimization parameter, and the parsing step is obtained by decompression.
  • an embodiment of the present disclosure discloses a processing device for an adaptive media service, where the encoding end, as shown in FIG. 9, includes:
  • a first acquiring module configured to acquire a first data stream, where the first data stream includes first image encoded data obtained by encoding the first image sequence, so that the receiver can obtain the first image encoded data according to the first image a sequence of images;
  • a second acquiring module configured to acquire at least one second data stream, where different second data streams have different image qualities, and each of the second data streams includes second image encoded data obtained by encoding the second image sequence And a target optimization parameter corresponding to the second image encoded data, such that The receiver can decode the second image encoded data to obtain the second image sequence, and perform quality improvement processing on the second image sequence by using the target optimization parameter to obtain a third image sequence; Obtaining the first image sequence and the second image sequence, wherein the first image sequence, the second image sequence, and the third image sequence record the same content, and the image quality of each of the second image sequences is lower than the first image sequence Image quality of an image sequence and image quality of the third image sequence;
  • a first selection module configured to select, according to a receiver condition, a data stream from the first data stream set, where the first data stream set includes at least the first data stream and the at least one second data stream;
  • the first sending module is configured to send the selected data stream to the receiver.
  • the processing device of the adaptive media service wherein the target optimization parameter out_param is an optimization parameter that has at least two available optimization parameters in_param such that the MLM (LR, in_param) has the greatest similarity with the HR;
  • the first image sequence, the LR is the second image sequence, and the MLM (LR, in_param) is an image sequence obtained by performing quality improvement processing on the LR by using the available optimization parameter in_param.
  • the determination of the target optimization parameter may be determined according to the condition that the first similarity is greater than any one of the second similarities, and the first similarity is similar to the third image sequence and the first image sequence.
  • a second degree of similarity is a similarity between the image sequence obtained by performing quality improvement processing on the second image sequence and the first image sequence by using other optimization parameters of the available optimization parameters that are different from the target optimization parameter.
  • the processing device of the adaptive media service where the second acquiring module specifically includes:
  • a degradation processing module configured to perform degrading processing on the first image sequence to obtain the at least one second image sequence
  • An encoding module configured to encode each of the second image sequences to obtain respective second image encoded data
  • a first parameter determining module configured to calculate respective target optimization parameters according to each of the second image sequences
  • a merging module configured to combine each of the second image encoded data and the corresponding target optimization parameter to obtain the at least one second data stream.
  • the processing device of the adaptive media service where the second acquiring module specifically includes:
  • a degradation processing module configured to perform degrading processing on the first image sequence to obtain the at least one second image sequence
  • An encoding module configured to encode each of the second image sequences to obtain respective second image encoded data
  • a second parameter determining module configured to determine an image type of the first image sequence and a corresponding degradation level of each of the second image sequences
  • a third parameter determining module configured to determine, according to a pre-stored degradation level, a correspondence between the image type and the target optimization parameter, a target optimization parameter corresponding to each of the second image sequences;
  • a merging module configured to combine each of the second image encoded data and the corresponding target optimization parameter to obtain the at least one second data stream.
  • the processing device of the adaptive media service where the second acquiring module specifically includes:
  • a degradation processing module configured to perform degrading processing on the first image sequence to obtain the at least one second image sequence
  • An encoding module configured to encode each of the second image sequences to obtain respective second image encoded data
  • a first determining module configured to determine a service type of the adaptive media service
  • a fourth parameter determining module configured to: when the service type of the adaptive media service is a real-time service, obtain each second image sequence according to a corresponding relationship between a pre-stored degradation level, an image type, and a target optimization parameter Target optimization parameters, otherwise calculating respective target optimization parameters according to each of the second image sequences;
  • a merging module configured to combine each of the second image encoded data and the corresponding target optimization parameter to obtain the at least one second data stream.
  • the processing device for the adaptive media service described above further includes:
  • a compression module configured to compress a target optimization parameter corresponding to each of the second image sequences
  • the merging module is specifically configured to combine each of the second image encoded data and the corresponding compressed target optimization parameter.
  • the processing device of the adaptive media service wherein the second data stream includes a metadata portion and an attachment support Attachment Support portion, and the target optimization parameter is stored in the metadata
  • the Attachment Support section is supported by sections or attachments.
  • the processing device for the adaptive media service described above further includes:
  • a third acquiring module configured to acquire at least one third data stream corresponding to the at least one second data stream, where each third data stream includes corresponding second image encoded data, and does not include the target optimization parameter;
  • a first branch selection module configured to trigger the first selection module when the data amount of the target optimization parameter is greater than a predetermined threshold, and trigger the second selection module;
  • the second selection module is specifically configured to: select one data stream from the second data stream set; the second data stream set is composed of the first data stream and the at least one second data stream;
  • the first set of data streams is comprised of the first data stream, the at least one second data stream, and the at least one third data stream.
  • the processing device for the adaptive media service described above further includes:
  • a third acquiring module configured to acquire at least one third data stream corresponding to the at least one second data stream, where each third data stream includes corresponding second image encoded data, and does not include the target optimization parameter;
  • the first set of data streams further includes the at least one third data stream.
  • the processing device for the adaptive media service described above further includes:
  • a third acquiring module configured to acquire at least one third data stream corresponding to the at least one second data stream, where each third data stream includes corresponding second image encoded data, and does not include the target optimization parameter;
  • a second branch selection module configured to trigger the first selection module when the receiver can parse and utilize the target optimization parameter for quality improvement processing, and otherwise trigger the third selection module;
  • the third selection module is specifically configured to select one data stream from the third data stream set; the third data stream set is composed of the first data stream and the at least one third data stream;
  • the first set of data streams is comprised of the first data stream and the at least one second data stream.
  • the processing device for the adaptive media service described above, as shown in FIG. 10, further includes:
  • a second determining module configured to determine, before acquiring the at least one second data stream, whether the target optimization parameter needs to be updated, obtain a determination result, and indicate that the target optimization needs to be updated The parameter is triggered to trigger the second acquiring module, otherwise the replacement module is triggered;
  • the replacement module is configured to acquire at least one third data stream corresponding to the at least one second data stream, and select one data stream from the third data stream set, and enter the first sending module for processing; each third The data stream includes corresponding second image encoded data without including the target optimization parameter; the third data stream set is comprised of the first data stream and the at least one third data stream.
  • an embodiment of the present disclosure discloses a processing device for an adaptive media service, where the decoding end, as shown in FIG. 11, includes:
  • a receiving module configured to receive a second data stream selected by the sender according to the condition of the receiver; the second data stream includes a first portion for transmitting the second image encoded data and a second portion for transmitting the target optimization parameter;
  • a parsing module configured to parse the second data stream, and acquire second image encoded data carried by the first part and target optimization parameters carried by the second part;
  • a decoding module configured to decode the second image encoded data to obtain a second image sequence; the image quality of the second image sequence is lower than an image quality of the original first image sequence;
  • a quality improvement module configured to perform quality improvement processing on the second image sequence by using the target optimization parameter, to obtain a third image sequence whose image quality is superior to the image quality of the second image sequence.
  • the processing device for the adaptive media service described above further includes:
  • a second sending module configured to send the receiver condition to the sender.
  • the target optimization parameter out_param is an optimization parameter that has at least two available optimization parameters in_param such that the MLM (LR, in_param) has the greatest similarity with the HR.
  • the HR is the first image sequence
  • the LR is the second image sequence
  • the MLM (LR, in_param) is an image sequence obtained by performing quality improvement processing on the LR by using the available optimization parameter in_param .
  • the determination of the target optimization parameter may be determined according to the condition that the first similarity is greater than any one of the second similarities, and the first similarity is similar to the third image sequence and the first image sequence.
  • a second degree of similarity is a similarity between the image sequence obtained by performing quality improvement processing on the second image sequence and the first image sequence by using other optimization parameters of the available optimization parameters that are different from the target optimization parameter.
  • the processing device for the adaptive media service described above further includes:
  • a third sending module configured to send an indication message indicating that the receiver can parse and utilize the target optimization parameter to perform quality improvement processing, to the sender, so that the sender can generate the second data stream, and include the second Adaptive selection is made in the collection of data streams.
  • the processing device for the adaptive media service described above further includes:
  • an extraction module configured to extract the saved target optimization parameter for the quality improvement module before receiving the new target optimization parameter.
  • the target optimization parameter carried by the second part is a compressed target optimization parameter, and the parsing module is specifically used to solve the solution.
  • the target optimization parameter is obtained by compression.
  • an encoder including the above-described processing apparatus for an adaptive media service at an encoding end.
  • embodiments of the present disclosure disclose a decoder including the above-described processing apparatus for adaptive media services at a decoding end.
  • FIG. 12 is a schematic structural diagram of a service system for an encoding end of an offline service formed according to an embodiment of the present disclosure.
  • the input of the encoding module is a sequence of images (including one or more images) whose output is a compressed bit stream whose amount of data is less than or equal to the amount of data of the input image sequence.
  • a plurality of compressed bit streams (N+1 in FIG. 12) are input to the first selection & transmission module, and the first selection & transmission module is from N+1 bit streams according to network conditions and/or playback conditions of the user end. Select one of them to send.
  • the first bit stream input to the first selection & transmission module is compressed by the encoder to the original input image sequence HR, and the other N bit streams are obtained by performing additional processing on the HR (eg, reducing the resolution). .
  • the HR is subjected to quality reduction processing (such as lowering the resolution) by the degradation processing module to obtain LR_m.
  • quality reduction processing such as lowering the resolution
  • the degradation processing module to obtain LR_m.
  • HR is an RGB image with a resolution of 1920*1080
  • the number of bits per pixel is 24 bits
  • LR_m is an image with a resolution of 960*540
  • the number of bits per pixel is 8 bits.
  • the encoding module performs compression processing on the LR_m to obtain an original bit stream
  • the encoding module can encode a 7500YUV 4:2:0 image with a resolution of 1920*1080 as a 2 Mbps HEVC stream.
  • the first parameter determining module calculates the target optimization parameter corresponding to LR_m by using the previously mentioned method
  • the compression optimization module performs compression processing on the target optimization parameter corresponding to LR_m;
  • a 1024-bit target optimization parameter conforming to the IEEE floating-point arithmetic standard which can be compressed into a 5 KB bit stream using, for example, the LZ77 algorithm and the Hafman coding.
  • the original bit stream and the compressed target optimization parameters are combined by the merging module to obtain a bit stream input to the first selection & transmission module.
  • the bit stream obtained for the encoding module is an MPEG-TS stream, which includes a 2 Mbps HEVC video stream and a 64 kbps AAC audio stream, and the target optimization parameters can also be compressed into a bit stream, and the two are combined to form a final bit. flow.
  • the first selection & transmission module receives the network condition and/or playback condition fed back by the receiver, switches between different bit streams in order of bit rate from low to high, and selects a bit stream played by the appropriate receiver.
  • bitstreams can be as follows:
  • a set of data streams consisting of the first data stream and the at least one third data stream.
  • the resolution is 4K
  • the number of frames per second of the picture is 30fps
  • the encoding algorithm is efficient video coding.
  • HEVC (20Mbps);
  • the resolution is 1080P
  • the frame transmission frame number per second is 30fps
  • the encoding algorithm is HEVC (10Mbps)
  • Param_1 the size is 500KB
  • the resolution is 1080P
  • the number of frames per second of the picture is 30fps
  • the encoding algorithm is HEVC (10Mbps), and does not carry Param_1;
  • the resolution is 720p
  • the frame transmission frame per second is 25fps
  • the encoding algorithm is HEVC (5Mbps)
  • Param_2 the size is 200KB
  • the resolution is 720p
  • the number of frames per second of the picture is 25fps
  • the encoding algorithm is HEVC (5Mbps), and does not carry Param_2;
  • the resolution is 576p
  • the frame transmission frame per second is 25fps
  • the encoding algorithm is HEVC (1Mbps)
  • Param_3 the size is 100KB
  • the resolution is 576p
  • the number of frames per second is 25fps
  • the encoding algorithm is HEVC (1Mbps), which does not carry Param_3.
  • FIG. 13 a schematic structural diagram of a service system for an encoding end of a real-time service formed according to an embodiment of the present disclosure, which differs from the structure shown in FIG. 12 mainly in that a target optimization parameter is acquired in a different manner, for other The same parts will not be described again.
  • the second parameter determining module needs to determine the type of the image and the resolution of the HR and the LR_m, and the third parameter determining module can call the correspondence recorded in the database to determine the target that uniquely corresponds to the image type, the HR, and the resolution of the LR_m. Optimize parameters.
  • an integer array [1080, 1920] can be used for recording.
  • a unique ID is determined for each image type and a combination of resolutions of the graphics obtained by the degradation processing, and for each ID, the target optimization parameter corresponding to the ID is saved in the database. .
  • an ID can be obtained, and the corresponding target optimization parameter can be obtained by the ID.
  • the receiving module also called a streaming client, performs two functions, as explained below.
  • the receiving function is to receive a compressed bit stream from the opposite end (sender).
  • the feedback function collects the local network status and/or playback status light and feeds back to the server, so that the server can select an appropriate bit stream according to the feedback information.
  • the receiving module can perform the following tasks: parsing the manifest or file header to determine available media file and rate information, setting and managing at least one source cache, requesting and downloading the content fragment to the source cache, and processing the media. Events, etc.
  • the feedback function may further include: feeding back to the server whether the local end can parse and utilize the target optimization parameter for quality improvement processing.
  • Information and related information (such as current version, etc.).
  • the receiving module can be implemented by an existing MPEG-DASH client.
  • the splitting module can split it into a first part recorded with the second image encoded data and a second part recorded with the target optimization parameter, and respectively transmit to the decoding module and the parsing module for processing. .
  • decoding module and the encoding module are corresponding, and the parsing module and the compression module are corresponding, and will not be repeatedly described herein.
  • the parsing module parses out the target optimization parameters, it also needs to update the original parameters in the register for subsequent use.
  • the quality improvement processing module uses the obtained target optimization parameter to perform quality improvement processing on the decoded image sequence.
  • modules may be implemented in software for execution by various types of processors.
  • an identified executable code module can comprise one or more physical or logical blocks of computer instructions.
  • these modules can be built as objects, procedures, or functions. Nonetheless, the executable code of the identified modules need not be physically located together, but may include different instructions stored at different locations that, when logically combined, constitute a module and achieve the stated purpose of the module .
  • the executable code module can be a single instruction or a plurality of instructions, and can even be distributed across multiple different code segments, distributed among different programs, and distributed across multiple memory devices.
  • operational data may be identified within the modules and may be implemented in any suitable form and organized within any suitable type of data structure. The operational data may be collected as a single data set, or may be distributed at different locations (including on different storage devices), and may at least partially exist as an electronic signal on a system or network.
  • the module can be implemented by software, considering the level of the existing hardware process, the module can be implemented in software, and the technician can construct a corresponding hardware circuit to implement the corresponding function without considering the cost.
  • the hardware circuitry includes conventional Very Large Scale Integration (VLSI) circuits or gate arrays as well as existing semiconductors such as logic chips, transistors, or other discrete components.
  • VLSI Very Large Scale Integration
  • the modules can also be implemented with programmable hardware devices such as field programmable gate arrays, programmable array logic, programmable logic devices, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种自适应媒体业务的处理方法及其装置、编码器及解码器。当自适应媒体业务的处理方法用于编码端时，包括：第一获取步骤，获取第一数据流，第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据；第二获取步骤，获取至少一个第二数据流每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数；第一选择步骤，依据接收方条件，从第一数据流集合中选择一个数据流，第一数据流集合中至少包括第一数据流和所述至少一个第二数据流；第一发送步骤，发送选择的数据流到所述接收方，由此提高了流媒体业务的用户体验。

Description

一种自适应媒体业务的处理方法及其装置、编码器及解码器
相关申请的交叉参考
本申请主张在2015年9月1日在中国提交的中国专利申请号No.201510552867.2的优先权，其全部内容通过引用包含于此。
技术领域
本公开文本涉及多媒体业务的处理，特别涉及一种自适应媒体业务的处理方法及其装置、编码器及解码器。
背景技术
多媒体服务(如流电视、视频会议服务等)的增长是宽带技术和标准革新的重要驱动因素。而目前通过移动设备来观看数字视频内容的用户也在快速增长。针对上述的需求，越来越多的用于移动服务的视频应用也应运而生，如Yuku以及Sohu等。
上述的趋势给需要以有限的带宽来发送媒体数据的内容服务运营商带来了很多的困难。尽管带宽一直在稳定增长，但数据通信对于带宽的需求的增长更快。这种增长来自于越来越多的连接到Internet的服务以及每个用户越来越多的对媒体内容的需求。根据思科的视觉网络索引在2015年的报道，全球移动数据通信在2014年增长了69％。而在所有的移动数据通信中，视频数据在2012年就超过了50％的比重。基于上述情况，提高移动通信系统的多媒体服务能力以及为用户提供高体验质量的服务变得越来越重要。
对于流媒体而言，一个非常重要的问题是用户的网络条件和重放条件是频繁变化的，而自适应流方案的出现就在一定程度上解决了上述问题。多码流视频编码服务器可以将一路视频图像编码成多个码率码流进行输出的服务器。例如可以将一个原始分辨率为全高清的视频图像(分辨率为1920*1080)编码输出为高清HD码流(分辨率为1280*720)和D1码流(分辨率为720*576)等各种不同分辨率(码率)的码流进行输出。而客户端可以依据其网络条件向视频编码服务器请求合适的码流，以保证高端用户和低端用户同样流畅的 用户体验。
类似如微软公司的平滑流方案、苹果公司的HTTP自适应流方案和Adobe的动态FLASH流方案都在市场取得了极大的成功。
目前的自适应比特率解决方案中，用户侧的显示设备需要调整输入流来适应分辨率并以全分辨率显示图像。典型的放大算法(如Bicubic算法或Lanczos算法(Lanczos算法是一种将对称矩阵通过正交相似变换变成对称三对角矩阵的算法，是以20世纪匈牙利数学家Cornelius Lanczos命名的算法))会引入视觉误差(如锯齿、环状伪影)等。更重要的是，传统的放大算法都是基于接收到的码流进行处理，忽略了原始多媒体图像数据的影响。
因此，现有的自适应媒体业务的处理手段存在着用户体验不佳的缺陷。
发明内容
(一)要解决的技术问题
本公开文本实施例的目的在于提供一种自适应媒体业务的处理方法及其装置、编码器及解码器，从而提高用户体验。
(二)技术方案
为了实现上述目的，本公开文本实施例公开了一种自适应媒体业务的处理方法，所述处理方法用于编码端，包括：
第一获取步骤，获取第一数据流，所述第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据，使得接收方能够依据所述第一图像编码数据得到第一图像序列；
第二获取步骤，获取至少一个第二数据流，不同的第二数据流具有不同的图像质量，每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数，使得接收方能够解码所述第二图像编码数据得到所述第二图像序列，并利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到第三图像序列；所述目标优化参数依据所述第一图像序列和第二图像序列得到，所述第一图像序列、第二图像序列和第三图像序列记载了相同的内容，每一个所述第二图像序列的图像质量低于所述第一图像序列的图像质量和所述第三图像序列的图 像质量；
第一选择步骤，依据接收方条件，从第一数据流集合中选择一个数据流，所述第一数据流集合中至少包括所述第一数据流和所述至少一个第二数据流；以及
第一发送步骤，发送选择的数据流到所述接收方。
上述的自适应媒体业务的处理方法，其中，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR，in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR，in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
上述的自适应媒体业务的处理方法，其中，所述第二获取步骤具体包括：
降质处理步骤，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一参数确定步骤，依据每一个所述第二图像序列计算各自对应的目标优化参数；以及
合并步骤，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理方法，其中，所述第二获取步骤具体包括：
降质处理步骤，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第二参数确定步骤，确定所述第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别；
第三参数确定步骤，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，确定每一个第二图像序列各自对应的目标优化参数；以及
合并步骤，合并每一个第二图像编码数据和对应的目标优化参数，得到 所述至少一个第二数据流。
上述的自适应媒体业务的处理方法，其中，所述第二获取步骤具体包括：
降质处理步骤，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一判断步骤，判断所述自适应媒体业务的业务类型；
第四参数确定步骤，当所述自适应媒体业务的业务类型为实时业务时，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，获取每一个第二图像序列各自对应的目标优化参数，否则依据每一个所述第二图像序列计算各自对应的目标优化参数；以及
合并步骤，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理方法，还包括：
压缩步骤，压缩每一个所述第二图像序列各自对应的目标优化参数；以及
所述合并步骤中，合并每一个第二图像编码数据和对应的压缩后的目标优化参数。
上述的自适应媒体业务的处理方法，其中，所述第二数据流包括元数据部分和附件支持Attachment Support部分，所述目标优化参数存储于所述元数据部分或附件支持Attachment Support部分。
上述的自适应媒体业务的处理方法，还包括：
第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；以及
第一分支选择步骤，当所述目标优化参数的数据量大于预定门限时，进入所述第一选择步骤，否则进入第二选择步骤；
所述第二选择步骤具体为：从第二数据流集合中选择一个数据流；所述第二数据流集合由所述第一数据流和所述至少一个第二数据流组成；
其中，所述第一数据流集合由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成。
上述的自适应媒体业务的处理方法，还包括：
第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
其中，所述第一数据流集合还包括所述至少一个第三数据流。
上述的自适应媒体业务的处理方法，还包括：
第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；以及
第二分支选择步骤，当接收方能够解析并利用所述目标优化参数进行质量提升处理时，进入所述第一选择步骤，否则进入第三选择步骤；
所述第三选择步骤具体为：从第三数据流集合中选择一个数据流；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成；
其中，所述第一数据流集合由所述第一数据流和所述至少一个第二数据流组成。
上述的自适应媒体业务的处理方法，还包括：
第二判断步骤，在获取至少一个第二数据流之前判断是否需要更新所述目标优化参数，获取一判断结果，在判断结果指示需要更新所述目标优化参数，进入所述第二获取步骤，否则进入替换步骤；
所述替换步骤，获取与至少一个第二数据流对应的至少一个第三数据流，并从第三数据流集合中选择一个数据流，进入所述第一发送步骤；每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成。
为了实现上述目的，本公开文本实施例公开了一种自适应媒体业务的处理方法，所述处理方法用于解码端，包括：
接收步骤，接收发送方依据接收方条件选择的第二数据流；所述第二数据流中包括用于传输第二图像编码数据的第一部分和用于传输目标优化参数 的第二部分；
解析步骤，解析所述第二数据流，获取所述第一部分携带的第二图像编码数据和第二部分携带的目标优化参数；
解码步骤，对所述第二图像编码数据进行解码，得到第二图像序列；所述第二图像序列的图像质量低于原始的第一图像序列的图像质量；以及
质量提升步骤，利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到图像质量优于第二图像序列的图像质量的第三图像序列。
上述的自适应媒体业务的处理方法，还包括：
第二发送步骤，向所述发送方发送所述接收方条件。
上述的自适应媒体业务的处理方法，其中，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR，in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR，in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
上述的自适应媒体业务的处理方法，还包括：
第三发送步骤，发送指示接收方能够解析并利用所述目标优化参数进行质量提升处理的指示消息到发送方，使得发送方能够生成所述第二数据流，并从包括所述第二数据流的集合中进行自适应选择。
上述的自适应媒体业务的处理方法，还包括：
保存步骤，保存解析出的目标优化参数；以及
提取步骤，在接收到新的目标优化参数之前，提取保存的目标优化参数用于所述质量提升步骤。
上述的自适应媒体业务的处理方法，其中，所述第二部分携带的目标优化参数为压缩后的目标优化参数，所述解析步骤中通过解压缩获取所述目标优化参数。
为了实现上述目的，本公开文本实施例公开了一种自适应媒体业务的处理装置，所述处理装置用于编码端，包括：
第一获取模块，用于获取第一数据流，所述第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据，使得接收方能够依据所述第一图 像编码数据得到第一图像序列；
第二获取模块，用于获取至少一个第二数据流，不同的第二数据流具有不同的图像质量，每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数，使得接收方能够解码所述第二图像编码数据得到所述第二图像序列，并利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到第三图像序列；所述目标优化参数依据所述第一图像序列和第二图像序列得到，所述第一图像序列、第二图像序列和第三图像序列记载了相同的内容，每一个所述第二图像序列的图像质量低于所述第一图像序列的图像质量和所述第三图像序列的图像质量；
第一选择模块，用于依据接收方条件，从第一数据流集合中选择一个数据流，所述第一数据流集合中至少包括所述第一数据流和所述至少一个第二数据流；以及
第一发送模块，用于发送选择的数据流到所述接收方。
上述的自适应媒体业务的处理装置，其中，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR，in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR，in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
上述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一参数确定模块，用于依据每一个所述第二图像序列计算各自对应的目标优化参数；以及
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第二参数确定模块，用于确定所述第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别；
第三参数确定模块，用于依据预先保存的降质级别、图像类型和目标优化参数的对应关系，确定每一个第二图像序列各自对应的目标优化参数；以及
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一判断模块，用于判断所述自适应媒体业务的业务类型；
第四参数确定模块，用于当所述自适应媒体业务的业务类型为实时业务时，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，获取每一个第二图像序列各自对应的目标优化参数，否则依据每一个所述第二图像序列计算各自对应的目标优化参数；以及
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理装置，还包括：
压缩模块，用于压缩每一个所述第二图像序列各自对应的目标优化参数；
所述合并模块具体用于合并每一个第二图像编码数据和对应的压缩后的目标优化参数。
上述的自适应媒体业务的处理装置，其中，所述第二数据流包括元数据部分和附件支持Attachment Support部分，所述目标优化参数存储于所述元数 据部分或附件支持Attachment Support部分。
上述的自适应媒体业务的处理装置，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第一分支选择模块，用于当所述目标优化参数的数据量大于预定门限时，触发所述第一选择模块，否则触发第二选择模块；
所述第二选择模块具体用于：从第二数据流集合中选择一个数据流；所述第二数据流集合由所述第一数据流和所述至少一个第二数据流组成；
其中，所述第一数据流集合由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成。
上述的自适应媒体业务的处理装置，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
其中，所述第一数据流集合还包括所述至少一个第三数据流。
上述的自适应媒体业务的处理装置，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；以及
第二分支选择模块，用于当接收方能够解析并利用所述目标优化参数进行质量提升处理时，触发所述第一选择模块，否则触发第三选择模块；
所述第三选择模块具体用于从第三数据流集合中选择一个数据流；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成；
其中，所述第一数据流集合由所述第一数据流和所述至少一个第二数据流组成。
为了实现上述目的，本公开文本实施例公开了一种自适应媒体业务的处理装置，所述处理装置用于解码端，包括：
接收模块，用于接收发送方依据接收方条件选择的第二数据流；所述第 二数据流中包括用于传输第二图像编码数据的第一部分和用于传输目标优化参数的第二部分；
解析模块，用于解析所述第二数据流，获取所述第一部分携带的第二图像编码数据和第二部分携带的目标优化参数；
解码模块，用于对所述第二图像编码数据进行解码，得到第二图像序列；所述第二图像序列的图像质量低于原始的第一图像序列的图像质量；以及
质量提升模块，用于利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到图像质量优于第二图像序列的图像质量的第三图像序列。
上述的自适应媒体业务的处理装置，还包括：
第二发送模块，用于向所述发送方发送所述接收方条件。
上述的自适应媒体业务的处理装置，其中，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR，in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR，in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
上述的自适应媒体业务的处理装置，还包括：
第三发送模块，用于发送指示接收方能够解析并利用所述目标优化参数进行质量提升处理的指示消息到发送方，使得发送方能够生成所述第二数据流，并从包括所述第二数据流的集合中进行自适应选择。
上述的自适应媒体业务的处理装置，还包括：
保存模块，用于保存解析出的目标优化参数；以及
提取模块，用于在接收到新的目标优化参数之前，提取保存的目标优化参数用于所述质量提升模块。
上述的自适应媒体业务的处理装置，其中，所述第二部分携带的目标优化参数为压缩后的目标优化参数，所述解析模块具体通过解压缩获取所述目标优化参数。
为了实现上述目的，本公开文本实施例公开了一种编码器，包括上述的用于编码端的自适应媒体业务的处理装置。
为了实现上述目的，本公开文本实施例公开了一种解码器，包括上述的 用于解码端的自适应媒体业务的处理装置。
(三)有益效果
本公开文本实施例能够获得以下效果中的至少一个：
1.本公开文本实施例中，通过在码流中加入依据原始图像序列和当前码流中携带的图像序列得到的目标优化参数，使得解码端能够依据该目标优化参数对从码流中解码出的图像序列进行质量提升处理，得到图像质量更优的图像序列。由于本公开文本实施例中的目标优化参数考虑了原始图像序列，因此相对于仅依据从码流中解码出的图像序列进行优化处理得到的图像序列的图像质量得到的图像序列而言，图像质量更高，从而提高了用户体验。
2.本公开文本实施例对从码流中解码出的图像序列进行优化时，依据与原始图像序列的相似度来进行，选择能够得到与原始图像序列相似度最高的图像序列的目标优化参数进行优化处理，从而进一步提高了用户体验；
3.本公开文本实施例中，可以在元数据部分或附件支持Attachment Support部分来携带目标优化数据，使得不支持本公开文本实施例的处理方法的客户端可以忽略该目标优化数据，进而利用传统的方法进行处理，从而实现了前向兼容；
4.本公开文本实施例中，可以通过对目标优化参数进行压缩处理后合并到码流中进行传输，从而降低了对网络带宽的需求；
5.本公开文本实施例中，可以依据客户端是否支持本公开文本实施例的处理方法而选择生成不同的码流供客户端选择，不但降低了服务器端的处理量，也能够提高切换效率和速度；以及
6.本公开文本实施例中，可以在场景不发生变化时，利用之前接收到的目标优化参数进行质量提升处理，从而降低了服务器和客户端之间的数据传输量。
附图说明
为了更清楚地说明本公开文本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开文本的一些实施例，对于本领域普通技术人 员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1表示本公开文本实施例的一种用于编码端的自适应媒体业务的处理方法的流程示意图；
图2表示本公开文本实施例的第二获取步骤的一种流程示意图；
图3表示本公开文本实施例的第二获取步骤的另一种流程示意图；
图4表示本公开文本实施例的第二获取步骤的再一种流程示意图；
图5表示本公开文本实施例的另一种用于编码端的自适应媒体业务的处理方法流程示意图；
图6表示本公开文本实施例的再一种用于编码端的自适应媒体业务的处理方法的流程示意图；
图7表示本公开文本实施例的又一种用于编码端的自适应媒体业务的处理方法的流程示意图；
图8表示本公开文本实施例的用于解码端的一种自适应媒体业务的处理方法的流程示意图；
图9表示本公开文本实施例的用于编码端的一种自适应媒体业务的处理装置的结构示意图；
图10表示本公开文本实施例的用于编码端的另一种自适应媒体业务的处理装置的结构示意图；
图11表示本公开文本实施例的用于解码端的一种自适应媒体业务的处理装置的结构示意图；
图12所示为根据本公开文本实施例形成的用于离线业务的业务系统在编码端的结构示意图；
图13所示为根据本公开文本实施例形成的用于实时业务的业务系统在编码端的结构示意图；以及
图14所示为根据本公开文本实施例形成的业务系统在解码端的结构示意图。
具体实施方式
下面结合附图和实施例，对本公开文本的具体实施方式做进一步描述。以下实施例仅用于说明本公开文本，但不用来限制本公开文本的范围。
为使本公开文本实施例的目的、技术方案和优点更加清楚，下面将结合本公开文本实施例的附图，对本公开文本实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开文本的一部分实施例，而不是全部的实施例。基于所描述的本公开文本的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开文本保护的范围。
除非另作定义，此处使用的技术术语或者科学术语应当为本公开文本所属领域内具有一般技能的人士所理解的通常意义。本公开文本专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
下面将结合附图和实施例，对本公开文本的具体实施方式作进一步详细描述。以下实施例用于说明本公开文本，但不用来限制本公开文本的范围。
本公开文本实施例通过在码流中加入依据原始图像序列和当前码流中携带的图像序列得到的目标优化参数，使得解码端能够依据该目标优化参数对从码流中解码出的图像序列进行质量提升处理，从而得到图像质量更优的图像序列。由于本公开文本实施例中的目标优化参数考虑了原始图像序列，因此相对于仅依据从码流中解码出的图像序列进行优化处理得到的图像序列的图像质量得到的图像序列而言，图像质量更高，并且提高了用户体验。
根据本公开文本实施例的一种自适应媒体业务的处理方法，如图1所示，包括：
第一获取步骤101，获取第一数据流，所述第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据，使得接收方能够依据所述第一图像编码数据得到第一图像序列；
第二获取步骤102，获取至少一个第二数据流，不同的第二数据流具有不同的图像质量，每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数，使得接收方能够解码所述第二图像编码数据得到所述第二图像序列，并利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到第三图像序列；所述目标优化参数依据所述第一图像序列和第二图像序列得到，所述第一图像序列、第二图像序列和第三图像序列记载了相同的内容，每一个所述第二图像序列的图像质量低于所述第一图像序列的图像质量和所述第三图像序列的图像质量；
选择步骤103，依据接收方条件，从第一数据流集合中选择一个数据流，所述第一数据流集合中至少包括所述第一数据流和所述至少一个第二数据流；
发送步骤104，发送选择的数据流到所述接收方。
本公开文本实施例通过在码流中加入依据原始图像序列和当前码流中携带的图像序列得到的目标优化参数，使得解码端能够依据该目标优化参数对对从码流中解码出的图像序列进行质量提升处理，从而得到图像质量更优的图像序列。由于本公开文本实施例中的目标优化参数考虑了原始图像序列，因此相对于仅依据从码流中解码出的图像序列进行优化处理得到的图像序列的图像质量得到的图像序列而言，图像质量更高，并且提高了用户体验。
在本公开文本的具体实施例中，可以采用各种优化方式进行优化，以下就其中一种可能的优化方式进行详细说明如下。
本公开文本的具体实施例中，所述目标优化参数out_param为至少两个可用优化参数in_param中，使得MLM(LR，in_param)与HR具有最大相似度的优化参数。所述HR为所述第一图像序列，所述LR为所述第二图像序列，所述MLM(LR，in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
换句话说，目标优化参数的确定可以是依据如下条件确定：第一相似度大于任意一个第二相似度。当然，目标优化参数的确定还可以依据与相似度类似的其他条件来进行确定，本公开文本并不以此为限。
其中，所述第一相似度为所述第三图像序列与所述第一图像序列的相似度，第二相似度为利用可用优化参数中与所述目标优化参数不同的其他优化参数对所述第二图像序列进行质量提升处理得到的图像序列与所述第一图像序列的相似度。
以下从数学角度对本公开文本实施例的目标优化参数解释如下。
本公开文本实施例中，对于第k路码流，目标优化参数out_param如下所示：
out_param≈ArgMaxparamSimilarity(MLM(LR[k]，in_param[k])，HR[k])
其中：
ArgMaxx(f(x))表示使得f(x)取得最大值所对应的变量x；
LR[k]为第k路码流中携带的图像序列，即第k路码流中对应的第二图像序列；
In_param[k]为与第k路码流对应的可用优化参数，至少包括两个；
HR[k]为与第k路码流对应的输入图像序列，即：原始待传输的第一图像序列；
而MLM(LR[k]，in_param[k])为采用In_param[k]对LR[k]进行质量提升处理得到的图像序列。
举例如下，首先设定一个算法集合，包括Z1、Z2、Z3、...、Zn(即优化参数为对图像进行质量提升处理所采用的算法)，对于一待传输码流中携带的图像序列Y(其通过对原始图像序列X进行质量降低处理得到)，分别利用Z1、Z2、Z3、...、Zn对图像序列Y进行质量提升处理(可以实时计算，也可以预先计算，将在后续进行详细说明)，分别得到图像序列Y1、Y2、Y3、...、Yn。
此时，分别计算Y1、Y2、Y3、...、Yn与X的相似度，确定相似度最高的图像序列Ym(m＝1，2，...，n)。
此时与图像序列Ym对应的算法则为最优算法，进而确定目标优化参数为图像序列Ym对应的算法。而在解码端，则对应的质量提升处理为利用目标优化参数所表征的算法对第k路码流中携带的图像序列进行处理。
在本公开文本具体实施例中，这些算法可以是线性插值算法、双三次插 值算法、元细胞神经网络CNN算法等，在此不一一列举。
对于CNN算法而言，其需要包括一个用于3层CNN的参数，使得元细胞神经网络能够对图像进行质量提升处理。
至于神经网络的训练以及参数的确定并不在本公开文本实施例的讨论范围之内，在此不作详细描述。
而对于自适应媒体业务而言，包括两类业务，一类为离线业务，而另一类为实时业务(如视频会议)。这两类业务中，实时业务对图像序列传输的实时性要求较高。因此，针对上述两类的实时性需求不同的两类业务，在本公开文本具体实施例中，以不同的方式来获取对应的目标优化参数。当然，在针对实时性要求不高的情况下，针对上述两类业务，在本公开文本具体实施例中，还可以以相同的方式来获取对应的目标优化参数，本公开文本并不以此为限。
可以发现，在本公开文本具体实施例中，确定不同码流对应的目标优化参数需要执行一系列的运算，包括：进行质量提升处理的运算以及图像序列相似度的运算。众所周知的是，任何的运算都需要一定的时间，尤其是处理器配置较低的情况下，所需要花费的时间越多。
对于离线业务而言，其数据内容已经存在(如电影等)，因此其编码操作可以在用户请求之前进行，而客户端也可以在整个文件下载完毕之前进行播放。因此，对于上述的实时性要求不是很高的离线业务，目标优化参数可以在传输过程中实时计算得到。
这种方式下，所述的第二获取步骤102具体包括：
降质处理步骤1021，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤1022，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一参数确定步骤1023，依据每一个所述第二图像序列计算各自对应的目标优化参数；以及
合并步骤1024，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
在上述的方式中，可以发现包括第一参数确定步骤，其需要实时计算每一个第二图像序列各自对应的目标优化参数，即需要依据算法集合中的每一个算法对第二图像序列进行质量提升处理，并计算质量提升处理输出的每一个图像序列与第一图像序列的相似度，最后依据相似度选择对应的目标优化参数。
可以发现，上述的方式具有计算量大的特征，但由此得到的目标优化参数也更加准确。
而对于实时业务而言，由于实时性要求较高，因此上述的获取目标优化参数的方式可能不是特别合适。因此，针对实时业务实时性要求较高的特点，本公开文本具体实施例提供一种预先计算目标优化参数并查表的方式获取目标优化参数，以保证实时业务的实时性要求。
如图3所示，所述第二获取步骤102具体包括：
降质处理步骤1021，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤1022，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第二参数确定步骤1025，确定所述第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别；
第三参数确定步骤1026，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，确定每一个第二图像序列各自对应的目标优化参数；
合并步骤1024，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
应当理解的是，上述的步骤序号并不代表相应步骤的执行顺序，其仅仅是起到一个标记作用。
可以发现，上述的方式下，在形成第二数据流之前只需要确定第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别，进而依据预先记录的降质级别、图像类型和目标优化参数的对应关系确定目标优化参数，其计算量大大低于进行质量提升处理和计算图像序列的相似度的计算量，因此提高了处理速度，能够保证实时业务的实时性。
对此举例说明如下。
假定图像类型包括N1类(如卡通、自然风光等)，而原始图像序列的图像分辨率包括N2种。并且，针对每一种原始图像序列的图像分辨率，第二图像序列的分辨率(均低于原始图像序列的图像分辨率)均为N3种，也就是说，N3小于N2。
在此所述的降质级别为原始图像序列的图像分辨率和第二图像序列对应的图像分辨率之间的转换。
举例如下，假定原始图像序列的分辨率为1920*1080，而第二图像序列的分辨率为两种，包括1280*720和720*576，则降质级别包括两级，即：从分辨率1920*1080降低到1280*720，以及从分辨率1920*1080降低到720*576。
上述情况下，本公开文本实施例的第二种获取目标优化参数的方式中，需要针对N1*N2*N3种组合预先计算各自对应的目标优化参数，得到降质级别、图像类型和目标优化参数之间的对应关系。
得到上述对应关系之后，将上述对应关系保存到一数据库中。由此，在得到第一图像序列的图像类型，以及第二图像序列对应的降质级别之后，即可根据上述的对应关系确定目标优化参数。
上述的两种获取目标优化参数的方式可以独立使用，但为了使得上述的方式可以适应各种业务类型，也可以联合使用，即所述第二获取步骤如图4所示，具体包括：
降质处理步骤1021，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码步骤1022，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
判断步骤1027，判断所述自适应媒体业务的业务类型；
第四参数确定步骤1028，当所述自适应媒体业务的业务类型为实时业务时，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，获取每一个第二图像序列各自对应的目标优化参数，否则依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并步骤1024，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的方式下，编码端可以依据业务类型自适应的选择以何种方式来获取目标优化参数。当业务类型为离线业务时，选择以实时计算的方式来获取目标优化参数，以提高解码端输出的图像序列的质量。而当业务类型为实时业务时，则选择根据预先保存的对应关系来直接获取目标优化参数，以满足实时性要求。
相对于现有技术而言，本公开文本的具体实施例需要增加一部分数据(目标优化参数)的传输。为了减少这部分增加的数据对传输带来的影响，本公开文本的具体实施例中对目标优化参数进行压缩，以降低数据传输量。
即本公开文本实施例的自适应媒体业务的处理方法，还包括：
压缩步骤，压缩每一个所述第二图像序列各自对应的目标优化参数；
所述合并步骤中，合并每一个第二图像编码数据和对应的压缩后的目标优化参数。
本公开文本实施例中，需要增加一部分数据(目标优化参数)的传输，而对于该目标优化参数可以采用多种方式进行传输，如在数据流中增加一个字段或者利用保留字段来传输该目标优化参数。而增加字段或者利用保留字段的方式都无法实现前向兼容。
因此，为了实现前向兼容，在本公开文本具体实施例中，在具备前向兼容能力的元数据部分或附件支持Attachment Support部分来携带目标优化数据，使得不支持本公开文本实施例的处理方法的客户端可以忽略该目标优化数据，进而利用传统的方法进行处理，实现了前向兼容。
即，本公开文本具体实施例中，所述第二数据流包括元数据部分和附件支持Attachment Support部分，所述目标优化参数存储于所述元数据部分或附件支持Attachment Support部分。
当目标优化参数利用元数据部分或附件支持Attachment Support部分传输时，不会对接收端产生影响。因此，目标优化参数的数据量较小时，携带目标参数与否并不会对传输产生较大的影响。此时，可以直接在所有数据流都携带目标优化参数，而不提供没有携带目标优化参数的码流，以降低码流 数量，提高编码端的效率以及码流切换的效率。
另一方面，而当目标优化参数的数据量较大时，携带目标参数与否会对传输产生较大影响。此时，切换效率不再是最重要的考虑因素，因此需要针对每一个码流都提供携带目标优化参数的数据流和不携带目标优化参数的数据流。
由此可见，上述的方式兼顾了切换效率和传输效率。
即，本公开文本具体实施例中，如图5，上述方法还包括：
第三获取步骤105，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第一分支选择步骤106，当所述目标优化参数的数据量大于预定门限时，进入所述第一选择步骤103，否则进入第二选择步骤107；
所述第二选择步骤107具体为：从第二数据流集合中选择一个数据流；所述第二数据流集合由所述第一数据流和所述至少一个第二数据流组成；
所述第一数据流集合由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成。
当然，只要携带目标优化参数，就会与不携带目标优化参数的传统码流在数据量上形成差异，进而影响码流的选择。因此，在本公开文本具体实施例中，另外的一种方式为所有分辨率的图像序列生成携带目标优化参数的新码流和不携带目标优化参数的传统码流，以提高自适应选择的灵活度。
即本公开文本实施例的自适应媒体业务的处理方法还包括：
第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
所述第一数据流集合还包括所述至少一个第三数据流。
之前已经提到，目标优化参数可以通过多种方式传输，但当对端(接收方)不支持利用目标优化参数进行质量提升处理时，携带目标优化参数即使不对接收方产生影响，但也会增加无效数据量的传输。
因此，本公开文本具体实施例中，可以依据接收方支持目标优化参数与 否来决定是否传输目标优化参数，以提高有限的带宽的利用率。
即，本公开文本具体实施例的自适应媒体业务的处理方法，如图6所示，还包括：
第三获取步骤105，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第二分支选择步骤108，当接收方能够解析并利用所述目标优化参数进行质量提升处理时，进入所述第一选择步骤103，否则进入第三选择步骤109；
所述第三选择步骤109具体为：从第三数据流集合中选择一个数据流；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成；
所述第一数据流集合由所述第一数据流和所述至少一个第二数据流组成。
在本公开文本的具体实施例中，考虑到接收方网络条件以及其他播放条件处于一个慢变特性，而码流的切换也不应该频繁的切换，所以该目标优化参数也可以是周期性发送或者当目标优化参数发生改变时发送，以降低由于目标优化参数带来的数据传输量的增加。此时需要在接收方保存历史目标优化参数并实时更新，在没有新的目标优化参数时，利用保存的历史目标优化参数进行后续的质量提升处理。
此时，本公开文本实施例的自适应媒体业务的处理方法，如图7所示，还包括：
第二判断步骤110，在获取至少一个第二数据流之前判断是否需要更新所述目标优化参数，获取一判断结果；
在判断结果指示需要更新所述目标优化参数，进入所述第二获取步骤102，否则进入替换步骤111；
替换步骤111，获取与至少一个第二数据流对应的至少一个第三数据流，并从第三数据流集合中选择一个数据流，进入所述第一发送步骤；每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成。
通过上述的方式，可以进一步降低由于目标优化参数带来的数据增量。
而是否需要更新所述目标优化参数可以根据各种条件来判断，如更新周期到时，或者发现传输场景发生变化，或者接收方选择的码流发生变化等，在此不一一列举。
以上从编码端描述了本公开文本实施例的自适应媒体业务的处理方法，以下从解码端进一步描述本公开文本实施例的自适应媒体业务的处理方法如下。
本公开文本实施例的自适应媒体业务的处理方法用于解码端时，如图8所示，包括：
接收步骤201，接收发送方依据接收方条件选择的第二数据流；所述第二数据流中包括用于传输第二图像编码数据的第一部分和用于传输目标优化参数的第二部分；
解析步骤202，解析所述第二数据流，获取所述第一部分携带的第二图像编码数据和第二部分携带的目标优化参数；
解码步骤203，对所述第二图像编码数据进行解码，得到第二图像序列；所述第二图像序列的图像质量低于原始的第一图像序列的图像质量；
质量提升步骤204，利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到图像质量优于第二图像序列的图像质量的第三图像序列。
为了使得发送方仅在接收方能够解析并利用所述目标优化参数进行质量提升处理时才发送目标优化参数，以提高有限的网络带宽的利用率，本公开文本实施例的自适应媒体业务的处理方法，还包括：
第二发送步骤，向所述发送方发送所述接收方条件。
本公开文本的具体实施例中，目标优化参数的确定可以是依据如下条件确定：所述目标优化参数out_param为至少两个可用优化参数in_param中，使得MLM(LR，in_param)与HR具有最大相似度的优化参数。所述HR为所述第一图像序列，所述LR为所述第二图像序列，所述MLM(LR，in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
换句话说，目标优化参数的确定可以是依据如下条件确定：第一相似度大于任意一个第二相似度，所述第一相似度为所述第三图像序列与所述第一图像序列的相似度，第二相似度为利用可用优化参数中与所述目标优化参数 不同的其他优化参数对所述第二图像序列进行质量提升处理得到的图像序列与所述第一图像序列的相似度。
具体的处理已经在之前已经进行详细描述，在此不再重复。
为了使得发送方仅在接收方能够解析并利用所述目标优化参数进行质量提升处理时才发送目标优化参数，以提高有限的网络带宽的利用率，本公开文本实施例的自适应媒体业务的处理方法，还包括：
第三发送步骤，发送指示接收方能够解析并利用所述目标优化参数进行质量提升处理的指示消息到发送方，使得发送方能够生成所述第二数据流，并从包括所述第二数据流的集合中进行自适应选择。
在本公开文本的具体实施例中，考虑到接收方网络条件以及其他播放条件处于一个慢变特性，而码流的切换也不应该频繁的切换，所以该目标优化参数也可以是周期性发送或者目标优化参数发生改变时发送。此时需要在接收方保存历史目标优化参数并实时更新，在没有新的目标优化参数时，利用保存的历史目标优化参数进行后续的质量提升处理。
即，本公开文本实施例的自适应媒体业务的处理方法还包括：
保存步骤，保存解析出的目标优化参数；
提取步骤，在接收到新的目标优化参数之前，提取保存的目标优化参数用于所述质量提升步骤。
当然，为了降低由于目标优化参数带来的数据增量，本公开文本具体实施例中，所述第二部分携带的目标优化参数为压缩后的目标优化参数，所述解析步骤中通过解压缩获取所述目标优化参数。
为了实现上述目的，本公开文本实施例公开了一种自适应媒体业务的处理装置，用于编码端，如图9所示，包括：
第一获取模块，用于获取第一数据流，所述第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据，使得接收方能够依据所述第一图像编码数据得到第一图像序列；
第二获取模块，用于获取至少一个第二数据流，不同的第二数据流具有不同的图像质量，每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数，使得 接收方能够解码所述第二图像编码数据得到所述第二图像序列，并利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到第三图像序列；所述目标优化参数依据所述第一图像序列和第二图像序列得到，所述第一图像序列、第二图像序列和第三图像序列记载相同的内容，每一个所述第二图像序列的图像质量低于所述第一图像序列的图像质量和所述第三图像序列的图像质量；
第一选择模块，用于依据接收方条件，从第一数据流集合中选择一个数据流，所述第一数据流集合中至少包括所述第一数据流和所述至少一个第二数据流；
第一发送模块，用于发送选择的数据流到所述接收方。
上述的自适应媒体业务的处理装置，其中，所述目标优化参数out_param为至少两个可用优化参数in_param中，使得MLM(LR，in_param)与HR具有最大相似度的优化参数；所述HR为所述第一图像序列，所述LR为所述第二图像序列，所述MLM(LR，in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
换句话说，目标优化参数的确定可以是依据如下条件确定：第一相似度大于任意一个第二相似度，所述第一相似度为所述第三图像序列与所述第一图像序列的相似度，第二相似度为利用可用优化参数中与所述目标优化参数不同的其他优化参数对所述第二图像序列进行质量提升处理得到的图像序列与所述第一图像序列的相似度。
上述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一参数确定模块，用于依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第二参数确定模块，用于确定所述第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别；
第三参数确定模块，用于依据预先保存的降质级别、图像类型和目标优化参数的对应关系，确定每一个第二图像序列各自对应的目标优化参数；
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
第一判断模块，用于判断所述自适应媒体业务的业务类型；
第四参数确定模块，用于当所述自适应媒体业务的业务类型为实时业务时，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，获取每一个第二图像序列各自对应的目标优化参数，否则依据每一个所述第二图像序列计算各自对应的目标优化参数；
合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
上述的自适应媒体业务的处理装置，还包括：
压缩模块，用于压缩每一个所述第二图像序列各自对应的目标优化参数；
所述合并模块具体用于合并每一个第二图像编码数据和对应的压缩后的目标优化参数。
上述的自适应媒体业务的处理装置，其中，所述第二数据流包括元数据部分和附件支持Attachment Support部分，所述目标优化参数存储于所述元数 据部分或附件支持Attachment Support部分。
上述的自适应媒体业务的处理装置，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第一分支选择模块，用于当所述目标优化参数的数据量大于预定门限时，触发所述第一选择模块，否则触发第二选择模块；
所述第二选择模块具体用于：从第二数据流集合中选择一个数据流；所述第二数据流集合由所述第一数据流和所述至少一个第二数据流组成；
所述第一数据流集合由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成。
上述的自适应媒体业务的处理装置，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
所述第一数据流集合还包括所述至少一个第三数据流。
上述的自适应媒体业务的处理装置，还包括：
第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
第二分支选择模块，用于当接收方能够解析并利用所述目标优化参数进行质量提升处理时，触发所述第一选择模块，否则触发第三选择模块；
所述第三选择模块具体用于从第三数据流集合中选择一个数据流；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成；
所述第一数据流集合由所述第一数据流和所述至少一个第二数据流组成。
上述的自适应媒体业务的处理装置，如图10所示，还包括：
第二判断模块，用于在获取至少一个第二数据流之前判断是否需要更新所述目标优化参数，获取一判断结果，在判断结果指示需要更新所述目标优 化参数，触发所述第二获取模块，否则触发替换模块；
所述替换模块用于获取与至少一个第二数据流对应的至少一个第三数据流，并从第三数据流集合中选择一个数据流，进入所述第一发送模块进行处理；每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成。
为了实现上述目的，本公开文本实施例公开了一种自适应媒体业务的处理装置，用于解码端，如图11所示，包括：
接收模块，用于接收发送方依据接收方条件选择的第二数据流；所述第二数据流中包括用于传输第二图像编码数据的第一部分和用于传输目标优化参数的第二部分；
解析模块，用于解析所述第二数据流，获取所述第一部分携带的第二图像编码数据和第二部分携带的目标优化参数；
解码模块，用于对所述第二图像编码数据进行解码，得到第二图像序列；所述第二图像序列的图像质量低于原始的第一图像序列的图像质量；
质量提升模块，用于利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到图像质量优于第二图像序列的图像质量的第三图像序列。
上述的自适应媒体业务的处理装置，还包括：
第二发送模块，用于向所述发送方发送所述接收方条件。
上述的自适应媒体业务的处理装置，其中，所述目标优化参数out_param为至少两个可用优化参数in_param中，使得MLM(LR，in_param)与HR具有最大相似度的优化参数。所述HR为所述第一图像序列，所述LR为所述第二图像序列，所述MLM(LR，in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
换句话说，目标优化参数的确定可以是依据如下条件确定：第一相似度大于任意一个第二相似度，所述第一相似度为所述第三图像序列与所述第一图像序列的相似度，第二相似度为利用可用优化参数中与所述目标优化参数不同的其他优化参数对所述第二图像序列进行质量提升处理得到的图像序列与所述第一图像序列的相似度。
上述的自适应媒体业务的处理装置，还包括：
第三发送模块，用于发送指示接收方能够解析并利用所述目标优化参数进行质量提升处理的指示消息到发送方，使得发送方能够生成所述第二数据流，并从包括所述第二数据流的集合中进行自适应选择。
上述的自适应媒体业务的处理装置，还包括：
保存模块，用于保存解析出的目标优化参数；
提取模块，用于在接收到新的目标优化参数之前，提取保存的目标优化参数用于所述质量提升模块。
当然，为了降低由于目标优化参数带来的数据增量，本公开文本具体实施例中，所述第二部分携带的目标优化参数为压缩后的目标优化参数，所述解析模块具体用于通过解压缩获取所述目标优化参数。
为了实现上述目的，本公开文本实施例公开了一种编码器，包括上述的用于编码端的自适应媒体业务的处理装置。
为了实现上述目的，本公开文本实施例公开了一种解码器，包括上述的用于解码端的自适应媒体业务的处理装置。
下面分别以离线业务和实时业务为例，针对根据本公开文本实施例形成的业务系统进行进一步详细说明如下。
如图12所示，为根据本公开文本实施例形成的用于离线业务的编码端的业务系统的结构示意图。
如图12所示，其中编码模块的输入为一个图像序列(包括一个或多个图像)，其输出为一个压缩比特流(bit stream)，其数据量小于或等于输入的图像序列的数据量。
结合图12描述编码端的工作过程如下：
多个压缩的比特流(图12中为N+1个)作为第一选择&发送模块的输入，第一选择&发送模块根据用户端的网络条件和/或回放条件从N+1个比特流中选择其中一个进行发送。
输入到第一选择&发送模块的第一个比特流由编码器对原始输入图像序列HR进行压缩得到，而其他的N个比特流则通过对HR进行其他的附加处理(如降低解析度)得到。
对于每一个比特流而言，其处理过程如下所述。
首先，由降质处理模块对HR进行质量降低处理(如降低解析度)，得到LR_m。如采用HEVC、AVC、MPEG-2、JPEG 2000等算法进行处理。
相对于HR而言，LR_m总的像素数量和/或每像素的比特数降低。如HR为分辨率为1920*1080的RGB图像，每像素的比特数为24比特(bit)，而LR_m为分辨率为960*540的图像，每像素的比特数为8比特。
其次，由编码模块对LR_m进行压缩处理，得到原始比特流；
如编码模块可以将分辨率为1920*1080的7500YUV 4：2：0图像编码为2Mbps的HEVC码流。
再次，由第一参数确定模块利用之前提到的方法计算得到与LR_m对应的目标优化参数；
再次，由压缩模块对与LR_m对应的目标优化参数进行压缩处理；
如符合IEEE浮点数算术标准的1024位的目标优化参数，其可以利用如LZ77算法和哈弗曼编码压缩为5KB的比特流。
最后，由合并模块合并原始比特流和压缩后的目标优化参数，得到输入到第一选择&发送模块的比特流。
如对于编码模块得到的比特流为MPEG-TS stream，其中包括一个2Mbps的HEVC视频流和一个64kbps的AAC音频流，而目标优化参数也可以压缩为比特流，二者合并即可形成最终的比特流。
而第一选择&发送模块接收由接收方反馈的网络状况和/或回放条件，在不同的比特流之间按照比特率从低到高的顺序切换，选择合适接收方播放的比特流。
而在不同的情况下，这些比特流可以如下的集合：
A、由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成的数据流集合；
B、由所述第一数据流和所述至少一个第二数据流组组成的数据流集合；
C、由所述第一数据流和所述至少一个第三数据流组成的数据流集合。
A的一种举例如下，包括如下的码流：
分辨率为4K，画面每秒传输帧数为30fps，编码算法为高效视频编码 HEVC(20Mbps)；
分辨率为1080P，画面每秒传输帧数为30fps，编码算法为HEVC(10Mbps)，且携带Param_1(大小为500KB)；
分辨率为1080P，画面每秒传输帧数为30fps，编码算法为HEVC(10Mbps)，不携带Param_1；
分辨率为720p，画面每秒传输帧数为25fps，编码算法为HEVC(5Mbps)，且携带Param_2(大小为200KB)；
分辨率为720p，画面每秒传输帧数为25fps，编码算法为HEVC(5Mbps)，不携带Param_2；
分辨率为576p，画面每秒传输帧数为25fps，编码算法为HEVC(1Mbps)，且携带Param_3(大小为100KB)；或者
分辨率为576p，画面每秒传输帧数为25fps，编码算法为HEVC(1Mbps)，不携带Param_3。
如图13所示，为根据本公开文本实施例形成的用于实时业务的编码端的业务系统的结构示意图，其与图12所示的结构的差异主要在于目标优化参数的获取方式不同，对于其他相同的部分不再重复描述。
其中第二参数确定模块需要确定图像的类型以及HR以及LR_m的分辨率，而第三参数确定模块即可调用数据库中记录的对应关系来确定与图像类型、HR以及LR_m的分辨率唯一对应的目标优化参数。
对于分辨率为1920*1080的图像，例如可以使用整数数组[1080，1920]来记录。
在本公开文本具体实施例中，针对每一个图像类型和降质处理得到的图形的分辨率的组合确定一个唯一的ID，而针对每一个ID，在数据库中对应保存该ID对应的目标优化参数。
因此，当图像类型和降质处理得到的图形的分辨率确定之后，即可得到ID，而通过该ID即可得到对应的目标优化参数。
在编码端介绍完毕之后，下面介绍本公开文本实施例形成的业务系统在解码端的结构示意图。
如图14所示，其包括如下几个部分：
1、接收模块，也可称之为流客户端，其执行两个功能，说明如下。
接收功能，即从对端(发送方)接收压缩比特流。
反馈功能，收集本端的网络状况和/或回放状态灯，并反馈到服务器端，使得服务器能够依据反馈的信息选择合适的比特流。
按照现有的设计，该接收模块可以执行如下的任务：解析manifest或文件头，以确定可用的媒体文件和速率信息，设置和管理至少一个源缓存，请求并下载内容片断到源缓存，处理媒体事件等。
本公开文本实施例并没有改变上述的接收模块的已有功能，在此不作详细描述。
当然，为了使得对端能够有针对性的进行数据流的准备，在本公开文本具体实施例中，反馈功能还可以包括向服务器端反馈本端是否能够解析并利用目标优化参数进行质量提升处理的信息以及相关的信息(如当前版本等)。
该接收模块可以采用现有的如MPEG-DASH客户端来实现。
在接收模块接收到数据流之后，即可由拆分模块将其拆分为记录有第二图像编码数据的第一部分和记录有目标优化参数的第二部分，分别传输给解码模块和解析模块进行处理。
而解码模块和编码模块是相对应的，解析模块和压缩模块是相对应的，在此不作重复描述。
当解析模块解析出目标优化参数时还需要更新寄存器中原有的参数，以便于后续使用。
最后，由质量提升处理模块利用得到的目标优化参数对解码出的图像序列进行质量提升处理。
当然，当当前数据流中没有目标优化参数时，则从寄存器中取出之前保存的目标优化参数进行质量提升处理。
此说明书中所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。
本公开文本实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块。举例来说，这些模块可以被构建为对象、过程或函数。 尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位置处的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能。所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
以上所述仅为本公开文本的较佳实施例而已，并不用以限制本公开文本，凡在本公开文本的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开文本的保护范围之内。

Claims (36)

  1. 一种自适应媒体业务的处理方法，所述处理方法用于编码端，包括：
    第一获取步骤，获取第一数据流，所述第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据，使得接收方能够依据所述第一图像编码数据得到第一图像序列；
    第二获取步骤，获取至少一个第二数据流，不同的第二数据流具有不同的图像质量，每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数，使得接收方能够解码所述第二图像编码数据得到所述第二图像序列，并利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到第三图像序列；其中，所述目标优化参数依据所述第一图像序列和第二图像序列得到；其中，所述第一图像序列、第二图像序列和第三图像序列记载了相同的内容；其中，每一个所述第二图像序列的图像质量低于所述第一图像序列的图像质量和所述第三图像序列的图像质量；
    第一选择步骤，依据接收方条件，从第一数据流集合中选择一个数据流，所述第一数据流集合中至少包括所述第一数据流和所述至少一个第二数据流；以及
    第一发送步骤，发送选择的数据流到所述接收方。
  2. 根据权利要求1所述的自适应媒体业务的处理方法，其中，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR，in_param)与第一图像序列具有最大相似度的优化参数；其中，所述LR为所述第二图像序列，所述MLM(LR，in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
  3. 根据权利要求1或2所述的自适应媒体业务的处理方法，其中，所述第二获取步骤具体包括：
    降质处理步骤，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
    编码步骤，对每一个所述第二图像序列进行编码，得到各自对应的所述 第二图像编码数据；
    第一参数确定步骤，依据每一个所述第二图像序列计算各自对应的目标优化参数；以及
    合并步骤，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
  4. 根据权利要求1或2所述的自适应媒体业务的处理方法，其中，所述第二获取步骤具体包括：
    降质处理步骤，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
    编码步骤，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
    第二参数确定步骤，确定所述第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别；
    第三参数确定步骤，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，确定每一个第二图像序列各自对应的目标优化参数；以及
    合并步骤，合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
  5. 根据权利要求1或2所述的自适应媒体业务的处理方法，其中，所述第二获取步骤具体包括：
    降质处理步骤，对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
    编码步骤，对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
    第一判断步骤，判断所述自适应媒体业务的业务类型；
    第四参数确定步骤，当所述自适应媒体业务的业务类型为实时业务时，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，获取每一个第二图像序列各自对应的目标优化参数，否则依据每一个所述第二图像序列计算各自对应的目标优化参数；以及
    合并步骤，合并每一个第二图像编码数据和对应的目标优化参数，得到 所述至少一个第二数据流。
  6. 根据权利要求3-5中任意一项所述的自适应媒体业务的处理方法，还包括：
    压缩步骤，压缩每一个所述第二图像序列各自对应的目标优化参数；以及
    在所述合并步骤中，合并每一个第二图像编码数据和对应的压缩后的目标优化参数。
  7. 根据权利要求3-5中任意一项所述的自适应媒体业务的处理方法，其中，所述第二数据流包括元数据部分和附件支持Attachment Support部分，所述目标优化参数存储于所述元数据部分或附件支持Attachment Support部分。
  8. 根据权利要求7所述的自适应媒体业务的处理方法，还包括：
    第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；以及
    第一分支选择步骤，当所述目标优化参数的数据量大于预定门限时，进入所述第一选择步骤，否则进入第二选择步骤；
    所述第二选择步骤具体为：从第二数据流集合中选择一个数据流；所述第二数据流集合由所述第一数据流和所述至少一个第二数据流组成；
    其中，所述第一数据流集合由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成。
  9. 根据权利要求2-5中任意一项所述的自适应媒体业务的处理方法，还包括：
    第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
    其中，所述第一数据流集合还包括所述至少一个第三数据流。
  10. 根据权利要求2-5中任意一项所述的自适应媒体业务的处理方法，还包括：
    第三获取步骤，获取与至少一个第二数据流对应的至少一个第三数据流， 每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；以及
    第二分支选择步骤，当接收方能够解析并利用所述目标优化参数进行质量提升处理时，进入所述第一选择步骤，否则进入第三选择步骤；
    所述第三选择步骤具体为：从第三数据流集合中选择一个数据流；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成；
    其中，所述第一数据流集合由所述第一数据流和所述至少一个第二数据流组成。
  11. 根据权利要求2-5中任意一项所述的自适应媒体业务的处理方法，还包括：
    第二判断步骤，在获取至少一个第二数据流之前判断是否需要更新所述目标优化参数，获取一判断结果，在判断结果指示需要更新所述目标优化参数，进入所述第二获取步骤，否则进入替换步骤；
    在所述替换步骤中，获取与至少一个第二数据流对应的至少一个第三数据流，并从第三数据流集合中选择一个数据流，进入所述第一发送步骤；其中，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；其中，所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成。
  12. 一种自适应媒体业务的处理方法，所述处理方法用于解码端，包括：
    接收步骤，接收发送方依据接收方条件选择的第二数据流；所述第二数据流中包括用于传输第二图像编码数据的第一部分和用于传输目标优化参数的第二部分；
    解析步骤，解析所述第二数据流，获取所述第一部分携带的第二图像编码数据和第二部分携带的目标优化参数；
    解码步骤，对所述第二图像编码数据进行解码，得到第二图像序列；其中，所述第二图像序列的图像质量低于原始的第一图像序列的图像质量；以及
    质量提升步骤，利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到图像质量优于第二图像序列的图像质量的第三图像序列。
  13. 根据权利要求12所述的自适应媒体业务的处理方法，还包括：
    第二发送步骤，向所述发送方发送所述接收方条件。
  14. 根据权利要求12或13所述的自适应媒体业务的处理方法，其中，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR，in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR，in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
  15. 根据权利要求12至14中任意一项所述的自适应媒体业务的处理方法，还包括：
    第三发送步骤，发送指示接收方能够解析并利用所述目标优化参数进行质量提升处理的指示消息到发送方，使得发送方能够生成所述第二数据流，并从包括所述第二数据流的集合中进行自适应选择。
  16. 根据权利要求12至15中任意一项所述的自适应媒体业务的处理方法，还包括：
    保存步骤，保存解析出的目标优化参数；以及
    提取步骤，在接收到新的目标优化参数之前，提取保存的目标优化参数用于所述质量提升步骤。
  17. 根据权利要求12至16中任意一项所述的自适应媒体业务的处理方法，其中，所述第二部分携带的目标优化参数为压缩后的目标优化参数，所述解析步骤中通过解压缩获取所述目标优化参数。
  18. 一种自适应媒体业务的处理装置，所述处理装置用于编码端，包括：
    第一获取模块，用于获取第一数据流，所述第一数据流中包括对第一图像序列进行编码得到的第一图像编码数据，使得接收方能够依据所述第一图像编码数据得到第一图像序列；
    第二获取模块，用于获取至少一个第二数据流，不同的第二数据流具有不同的图像质量，每一个所述第二数据流包括对第二图像序列进行编码得到的第二图像编码数据和与所述第二图像编码数据对应的目标优化参数，使得接收方能够解码所述第二图像编码数据得到所述第二图像序列，并利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到第三图像序列； 其中，所述目标优化参数依据所述第一图像序列和第二图像序列得到；其中，所述第一图像序列、第二图像序列和第三图像序列记载相同的内容；其中，每一个所述第二图像序列的图像质量低于所述第一图像序列的图像质量和所述第三图像序列的图像质量；
    第一选择模块，用于依据接收方条件，从第一数据流集合中选择一个数据流，所述第一数据流集合中至少包括所述第一数据流和所述至少一个第二数据流；以及
    第一发送模块，用于发送选择的数据流到所述接收方。
  19. 根据权利要求18所述的自适应媒体业务的处理装置，其中，所述目标优化参数out_param为至少两个可用优化参数in_param中，使得MLM(LR，in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR，in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
  20. 根据权利要求18或19所述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
    降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
    编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
    第一参数确定模块，用于依据每一个所述第二图像序列计算各自对应的目标优化参数；以及
    合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
  21. 根据权利要求18或19所述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
    降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
    编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
    第二参数确定模块，用于确定所述第一图像序列的图像类型和每一个第二图像序列各自对应的降质级别；
    第三参数确定模块，用于依据预先保存的降质级别、图像类型和目标优化参数的对应关系，确定每一个第二图像序列各自对应的目标优化参数；以及
    合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
  22. 根据权利要求18或19所述的自适应媒体业务的处理装置，其中，所述第二获取模块具体包括：
    降质处理模块，用于对所述第一图像序列进行降质处理，得到所述至少一个第二图像序列；
    编码模块，用于对每一个所述第二图像序列进行编码，得到各自对应的所述第二图像编码数据；
    第一判断模块，用于判断所述自适应媒体业务的业务类型；
    第四参数确定模块，用于当所述自适应媒体业务的业务类型为实时业务时，依据预先保存的降质级别、图像类型和目标优化参数的对应关系，获取每一个第二图像序列各自对应的目标优化参数，否则依据每一个所述第二图像序列计算各自对应的目标优化参数；以及
    合并模块，用于合并每一个第二图像编码数据和对应的目标优化参数，得到所述至少一个第二数据流。
  23. 根据权利要求20-22中任意一项所述的自适应媒体业务的处理装置，还包括：
    压缩模块，用于压缩每一个所述第二图像序列各自对应的目标优化参数；以及
    其中，所述合并模块具体用于合并每一个第二图像编码数据和对应的压缩后的目标优化参数。
  24. 根据权利要求20-22中任意一项所述的自适应媒体业务的处理装置，其中，所述第二数据流包括元数据部分和附件支持Attachment Support部分，所述目标优化参数存储于所述元数据部分或附件支持Attachment Support部 分。
  25. 根据权利要求24所述的自适应媒体业务的处理装置，还包括：
    第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；以及
    第一分支选择模块，用于当所述目标优化参数的数据量大于预定门限时，触发所述第一选择模块，否则触发第二选择模块；
    所述第二选择模块具体用于：从第二数据流集合中选择一个数据流；所述第二数据流集合由所述第一数据流和所述至少一个第二数据流组成；以及
    其中，所述第一数据流集合由所述第一数据流、所述至少一个第二数据流和所述至少一个第三数据流组成。
  26. 根据权利要求19-22中任意一项所述的自适应媒体业务的处理装置，还包括：
    第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；
    其中，所述第一数据流集合还包括所述至少一个第三数据流。
  27. 根据权利要求19-22中任意一项所述的自适应媒体业务的处理装置，还包括：
    第三获取模块，用于获取与至少一个第二数据流对应的至少一个第三数据流，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；以及
    第二分支选择模块，用于当接收方能够解析并利用所述目标优化参数进行质量提升处理时，触发所述第一选择模块，否则触发第三选择模块；
    所述第三选择模块具体用于从第三数据流集合中选择一个数据流；所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成；
    其中，所述第一数据流集合由所述第一数据流和所述至少一个第二数据流组成。
  28. 根据权利要求19-22中任意一项所述的自适应媒体业务的处理装置， 还包括：
    第二判断模块，用于在获取至少一个第二数据流之前判断是否需要更新所述目标优化参数，获取一判断结果，在判断结果指示需要更新所述目标优化参数，触发所述第二获取模块，否则触发替换模块；
    所述替换模块用于获取与至少一个第二数据流对应的至少一个第三数据流，并从第三数据流集合中选择一个数据流，触发所述第一发送模块；其中，每一个第三数据流包括对应的第二图像编码数据，而不包括所述目标优化参数；其中，所述第三数据流集合由所述第一数据流和所述至少一个第三数据流组成。
  29. 一种自适应媒体业务的处理装置，所述处理装置用于解码端，包括：
    接收模块，用于接收发送方依据接收方条件选择的第二数据流；所述第二数据流中包括用于传输第二图像编码数据的第一部分和用于传输目标优化参数的第二部分；
    解析模块，用于解析所述第二数据流，获取所述第一部分携带的第二图像编码数据和第二部分携带的目标优化参数；
    解码模块，用于对所述第二图像编码数据进行解码，得到第二图像序列；其中，所述第二图像序列的图像质量低于原始的第一图像序列的图像质量；以及
    质量提升模块，用于利用所述目标优化参数对所述第二图像序列进行质量提升处理，得到图像质量优于第二图像序列的图像质量的第三图像序列。
  30. 根据权利要求29所述的自适应媒体业务的处理装置，还包括：
    第二发送模块，用于向所述发送方发送所述接收方条件。
  31. 根据权利要求29或30所述的自适应媒体业务的处理装置，其中，所述目标优化参数为至少两个可用优化参数in_param中，使得MLM(LR，in_param)与第一图像序列具有最大相似度的优化参数；所述LR为所述第二图像序列，所述MLM(LR，in_param)为利用所述可用优化参数in_param对所述LR进行质量提升处理得到的图像序列。
  32. 根据权利要求29至31中任意一项所述的自适应媒体业务的处理装置，还包括：
    第三发送模块，用于发送指示接收方能够解析并利用所述目标优化参数进行质量提升处理的指示消息到发送方，使得发送方能够生成所述第二数据流，并从包括所述第二数据流的集合中进行自适应选择。
  33. 根据权利要求29至32中任意一项所述的自适应媒体业务的处理装置，还包括：
    保存模块，用于保存解析出的目标优化参数；以及
    提取模块，用于在接收到新的目标优化参数之前，提取保存的目标优化参数用于所述质量提升模块。
  34. 根据权利要求29至33中任意一项所述的自适应媒体业务的处理装置，其中，所述第二部分携带的目标优化参数为压缩后的目标优化参数，所述解析模块具体通过解压缩获取所述目标优化参数。
  35. 一种编码器，包括权利要求18-28任意一项所述的自适应媒体业务的处理装置。
  36. 一种解码器，包括权利要求29-34任意一项所述的自适应媒体业务的处理装置。
PCT/CN2016/071426 2015-09-01 2016-01-20 一种自适应媒体业务的处理方法及其装置、编码器及解码器 WO2017036070A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/306,212 US10547888B2 (en) 2015-09-01 2016-01-20 Method and device for processing adaptive media service, encoder and decoder

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510552867.2A CN105100823B (zh) 2015-09-01 2015-09-01 一种自适应媒体业务的处理方法、装置、编码器及解码器
CN201510552867.2 2015-09-01

Publications (1)

Publication Number Publication Date
WO2017036070A1 true WO2017036070A1 (zh) 2017-03-09

Family

ID=54580225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/071426 WO2017036070A1 (zh) 2015-09-01 2016-01-20 一种自适应媒体业务的处理方法及其装置、编码器及解码器

Country Status (3)

Country Link
US (1) US10547888B2 (zh)
CN (1) CN105100823B (zh)
WO (1) WO2017036070A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025079A (zh) * 2021-09-29 2022-02-08 大连中科创达软件有限公司 一种图像质量优化参数的处理方法、装置和系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100823B (zh) * 2015-09-01 2019-03-12 京东方科技集团股份有限公司 一种自适应媒体业务的处理方法、装置、编码器及解码器
CN105550699B (zh) * 2015-12-08 2019-02-12 北京工业大学 一种基于cnn融合时空显著信息的视频识别分类方法
CN108134916B (zh) * 2016-12-01 2019-06-28 视联动力信息技术股份有限公司 一种4k终端和4k终端的数据处理方法
WO2019197715A1 (en) * 2018-04-09 2019-10-17 Nokia Technologies Oy An apparatus, a method and a computer program for running a neural network
US11017506B2 (en) 2019-05-03 2021-05-25 Amazon Technologies, Inc. Video enhancement using a generator with filters of generative adversarial network
US11210769B2 (en) * 2019-05-03 2021-12-28 Amazon Technologies, Inc. Video enhancement using a recurrent image date of a neural network
US11216917B2 (en) 2019-05-03 2022-01-04 Amazon Technologies, Inc. Video enhancement using a neural network
CN111737247B (zh) * 2020-07-21 2020-12-18 北京东方通科技股份有限公司 用于数据质量管控的实现方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120030723A1 (en) * 2010-07-27 2012-02-02 Motorola, Inc. Method and apparatus for streaming video
CN104320669A (zh) * 2014-10-24 2015-01-28 北京有恒斯康通信技术有限公司 视频传输方法及装置
CN105100823A (zh) * 2015-09-01 2015-11-25 京东方科技集团股份有限公司 一种自适应媒体业务的处理方法、装置、编码器及解码器
CN105163124A (zh) * 2015-08-28 2015-12-16 京东方科技集团股份有限公司 一种图像编码方法、图像解码方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003107678A1 (en) 2002-06-18 2003-12-24 Koninklijke Philips Electronics N.V. Video encoding method and corresponding encoding and decoding devices
US8606966B2 (en) * 2006-08-28 2013-12-10 Allot Communications Ltd. Network adaptation of digital content
DE102008039051A1 (de) * 2008-08-21 2010-02-25 Audi Ag Verfahren zum Gewinnen von Bildern bei Mehrfachempfang
KR101837687B1 (ko) 2010-06-04 2018-03-12 삼성전자주식회사 콘텐트의 품질을 결정하는 복수의 인자에 기초한 적응적인 스트리밍 방법 및 장치
US20120102184A1 (en) 2010-10-20 2012-04-26 Sony Corporation Apparatus and method for adaptive streaming of content with user-initiated quality adjustments
US8689267B2 (en) * 2010-12-06 2014-04-01 Netflix, Inc. Variable bit video streams for adaptive streaming
US20130132462A1 (en) * 2011-06-03 2013-05-23 James A. Moorer Dynamically Generating and Serving Video Adapted for Client Playback in Advanced Display Modes
HUE043713T2 (hu) 2013-03-29 2019-09-30 Intel Ip Corp Minõségtudatos sebességillesztési technikák DASH streameléshez

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120030723A1 (en) * 2010-07-27 2012-02-02 Motorola, Inc. Method and apparatus for streaming video
CN104320669A (zh) * 2014-10-24 2015-01-28 北京有恒斯康通信技术有限公司 视频传输方法及装置
CN105163124A (zh) * 2015-08-28 2015-12-16 京东方科技集团股份有限公司 一种图像编码方法、图像解码方法及装置
CN105100823A (zh) * 2015-09-01 2015-11-25 京东方科技集团股份有限公司 一种自适应媒体业务的处理方法、装置、编码器及解码器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RICHARDSON, I.E.G.: "H.264 and MPEG-4 Video Compression Video Coding for Next-generation Multimedia", 31 December 2013 (2013-12-31), XP055366303 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025079A (zh) * 2021-09-29 2022-02-08 大连中科创达软件有限公司 一种图像质量优化参数的处理方法、装置和系统
CN114025079B (zh) * 2021-09-29 2024-02-13 大连中科创达软件有限公司 一种图像质量优化参数的处理方法、装置和系统

Also Published As

Publication number Publication date
CN105100823A (zh) 2015-11-25
US20170272798A1 (en) 2017-09-21
US10547888B2 (en) 2020-01-28
CN105100823B (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
WO2017036070A1 (zh) 一种自适应媒体业务的处理方法及其装置、编码器及解码器
US11051015B2 (en) Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection
US10812831B2 (en) Video stream delivery via adaptive quality enhancement using error correction models
US9071841B2 (en) Video transcoding with dynamically modifiable spatial resolution
JP6059219B2 (ja) ビデオ符号化及び復号化における待ち時間の低減
US9565439B2 (en) System and method for enhancing data compression using dynamic learning and control
CN102457544B (zh) 基于互联网的屏幕共享系统中用于采集屏幕图像的方法和系统
US11265599B2 (en) Re-encoding predicted picture frames in live video stream applications
US20160234522A1 (en) Video Decoding
CN102450014B (zh) 用于质量感知视频优化的方法和视频优化器
US20160037176A1 (en) Automatic and adaptive selection of profiles for adaptive bit rate streaming
US8842159B2 (en) Encoding processing for conferencing systems
JP2005260935A (ja) 圧縮ビデオ・ビットストリームにおいて平均イメージ・リフレッシュ・レートを増加させる方法及び装置
CN101742289B (zh) 视频码流压缩方法、系统及装置
CN107743252A (zh) 一种降低直播延迟的方法
US20110299605A1 (en) Method and apparatus for video resolution adaptation
US20210352347A1 (en) Adaptive video streaming systems and methods
CN114125448B (zh) 视频编码方法、解码方法及相关装置
CN117499720A (zh) 一种用于提高图像直播质量的方法及系统
EP2781088A1 (en) Reducing amount op data in video encoding
CN102427531B (zh) 跨层交互式图像质量连续可调的实时视频编解码方法
KR102114509B1 (ko) 수신 장치, 송신 장치 및 화상 송신 방법
WO2021057676A1 (zh) 视频编解码方法、装置、电子设备及可读存储介质
CN116210224A (zh) 一种用于控制多媒体流应用所消耗的能量的方法
EP1841237B1 (en) Method and apparatus for video encoding

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15306212

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16840510

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16840510

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16840510

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11/09/2018)