WO2021036103A1 - 图像数据的压缩传输方法、系统和计算机可读存储介质 - Google Patents

图像数据的压缩传输方法、系统和计算机可读存储介质 Download PDF

Info

Publication number
WO2021036103A1
WO2021036103A1 PCT/CN2019/125720 CN2019125720W WO2021036103A1 WO 2021036103 A1 WO2021036103 A1 WO 2021036103A1 CN 2019125720 W CN2019125720 W CN 2019125720W WO 2021036103 A1 WO2021036103 A1 WO 2021036103A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
evaluation network
adaptive evaluation
system state
confidence
Prior art date
Application number
PCT/CN2019/125720
Other languages
English (en)
French (fr)
Inventor
何志权
曹文明
刘启凡
Original Assignee
深圳大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳大学 filed Critical 深圳大学
Publication of WO2021036103A1 publication Critical patent/WO2021036103A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • This application relates to the field of image processing technology, and in particular to a method, system, and computer-readable storage medium for compressing and transmitting image data.
  • the image data collected by the surveillance camera 1 usually needs to be transmitted to the cloud server 3 through the wireless or wired network 2 so that the cloud server 3 can analyze and process, for example: the cloud server 3 uses Deep learning technology performs feature capture, image classification and target recognition on image data.
  • the cloud server in the traffic monitoring system uses deep learning technology to detect vehicles that violate regulations from pictures or videos.
  • the surveillance camera collects image data all the time, resulting in a huge amount of data generated.
  • the bandwidth of network transmission is often limited, and it is impractical for all image data to be transmitted to the cloud server without additional processing.
  • the fundamental way to solve this problem is to reduce the amount of image data transmission, that is, to further compress the image data before data transmission.
  • This application provides an image compression transmission method, system, and computer-readable storage medium, which are designed to solve the problem of severe image distortion caused by excessive compression before image transmission in the prior art, and the cloud server has a low degree of restoration of image data; and If the image compression is too low, it will occupy too much bandwidth.
  • the present application proposes a method for compressing and transmitting image data, including:
  • the image encoder According to the minimum allowable code rate corresponding to the confidence level, control the image encoder to encode and compress the image data to obtain compressed image data, where the higher the confidence level, the lower the minimum allowable code rate;
  • FIG. 1 is a schematic diagram of an application scenario provided by an embodiment of the present application
  • FIG. 2 is a schematic diagram of a device structure of a hardware operating environment provided by an embodiment of the present application
  • FIG. 3 is a schematic flowchart of a method for compressing and transmitting image data according to an embodiment of the present application
  • FIG. 4 is a schematic diagram of a confidence estimation process provided by an embodiment of the present application.
  • FIG. 5 is a schematic diagram of a processing flow of an adaptive evaluation network provided by an embodiment of the present application.
  • Fig. 6 is a schematic structural diagram of a first image data compression transmission system provided by an embodiment of the present application.
  • the image data collected by surveillance cameras is growing exponentially, occupying a huge bandwidth, but compressing image data before data transmission is easy to be overcompressed, resulting in serious image distortion, which in turn causes the cloud server to restore the image data too low , Affect the analysis effect of deep learning of cloud server.
  • the technical problem to be solved by the technical solution of this application is how to quickly and efficiently transmit the massive images to be analyzed to the cloud server through the network in the image analysis application based on the deep learning technology of the cloud server.
  • the basic idea of the embodiments of the present application is to further compress the image before the image is transmitted, and the degree of compression is dynamically adjustable according to the "difficulty" of image content recognition.
  • the technical solution of the present application will predict the confidence of the current image data after being analyzed by the deep learning model of the cloud server; if the confidence is high, the degree of local compression of the image data can be increased; if the confidence is low, the image data will be reduced.
  • the degree of data compression, even the original image is transmitted without compression.
  • the core idea of this application is to treat the joint resource control and performance optimization of the entire system of front-end compression-cloud recognition as a process control and dynamic optimization problem, and use the adaptive evaluation network guided by the cloud deep learning model (Adaptive Critical Networks) Dynamic control to solve.
  • the accuracy of the image data can be recognized according to the deep learning model of the cloud server, and the corresponding minimum allowable bit rate can be selected and uploaded to the cloud server. It prevents the image from being over-compressed to cause serious distortion of the image, and also reduces the bandwidth occupied when the image data is uploaded, so that the cloud server still has a high degree of restoration of the compressed image data.
  • FIG. 2 is a schematic diagram of a device structure of a hardware operating environment provided by an embodiment of the present application.
  • the device in the embodiment of the present application is an intelligent image compression transmission device, specifically a local server, or an embedded control device or a programmable controller PLC in a local monitoring device; it communicates with a cloud server through a network.
  • the device can include a processor 1001, such as a CPU, a communication bus 1002, a communication module 1003, and a memory 1004.
  • the communication bus 1002 is used to implement connection and communication between these components.
  • the network interface 1003 can optionally be a wireless interface (such as a WI-FI interface), a Bluetooth interface, and a wireless network interface such as ZIGBEE.
  • the memory 1004 may be a high-speed RAM memory, or a non-volatile memory (non-volatile memory), such as a magnetic disk memory.
  • the memory 1004 may also be a storage device independent of the foregoing processor 1001.
  • the device structure shown in FIG. 2 does not constitute a limitation on the device, and may include more or fewer components than shown in the figure, or combine certain components, or arrange different components.
  • the memory 1004 which is a computer storage medium, may include a program for compressing and transmitting image data.
  • the processor 1001 may be used to call the image data compression transmission program in the memory 1004, and execute the operations in the following various embodiments of the image data compression transmission method.
  • FIG. 3 is a schematic flowchart of a method for compressing and transmitting image data according to an embodiment of the application. As shown in FIG. 3, the method for compressing and transmitting image data includes the following steps:
  • S110 Simulate the deep learning model of the cloud server and design a local adaptive evaluation network.
  • the local Adaptive Critical Networks is designed to simulate the deep learning model of the cloud server. Therefore, it can accurately estimate the accuracy of the deep learning model of the cloud server to recognize the image data, so as to provide follow-up image data Provide a basis for compression.
  • S120 Use an adaptive evaluation network to identify image data, select an encoder control strategy corresponding to the image data, and estimate the confidence of the cloud server on the image data.
  • the confidence level reflects the accuracy of the deep learning model of the cloud server in recognizing image data.
  • the parameters of the encoder are the parameters that determine the size and definition of the image data, such as the quantization step size and the down-sampling ratio.
  • the input image X needs to be compressed by an image encoder, and the compressed image becomes image data X', and then the image data X'corresponds to the code stream It is transmitted to the cloud server via the network.
  • the receiving decoder of the cloud server decodes the received code stream, reconstructs X', and then inputs it to the deep learning model for analysis and recognition. Therefore, the degree of compression of the image data by the local image encoder directly affects the accuracy of the analysis and recognition of the image data by the deep learning model, that is, it directly affects the confidence of the cloud server on the image data.
  • the local adaptive evaluation network is obtained by simulating the deep learning model of the cloud server, the local adaptive evaluation network can simulate the analysis and recognition process of image data by the deep learning model. Therefore, the adaptive evaluation network is used to recognize image data. Then, by selecting the encoder controller strategy corresponding to the image data, the confidence of the cloud server on the image data can be accurately estimated.
  • the local adaptive evaluation network selects the encoder control strategy corresponding to the image data Process the image data corresponding to the nth frame or the nth moment to obtain a utility function, which includes the above-mentioned estimated confidence P(n) of the cloud server for the image data, and the minimum allowable value corresponding to the confidence P(n)
  • the code rate R(n) where n is the number of frames or time, the above-mentioned image data also includes n frames of images, or image units processed together at n times in the same frame of image.
  • the image data input by the adaptive evaluation network is an image sequence ⁇ F n ⁇ .
  • the encoder control strategy sequence is selected as Process the image data with the parameters that control the image encoder; among them, A(n) and Both are the encoder control strategies used to process the image at the nth frame of image or at the nth moment.
  • the sequence of the lowest allowable code rate after image encoding is ⁇ R(1), R(2),...R(n) ⁇ ; where R(n) is the lowest allowable code for image encoding at the nth frame or at the nth time rate.
  • the confidence sequence of the image obtained by the evaluation is ⁇ P(1), P(2),...P(n) ⁇ ; where P(n) is the confidence of processing the n-th frame image or the n-th moment image.
  • the average confidence of the local adaptive evaluation network on the image sequence is a function of the encoder control strategy sequence Among them, n is the time or the number of frames, and L is the number of encoder parameters. It can be seen from the above content that when the encoder control strategy corresponding to the image data is selected, the adaptive evaluation network can estimate the confidence of the cloud server on the image data according to the encoder control strategy.
  • the self-adaptive evaluation network includes three neural networks, namely the execution network, the model network and the evaluation network.
  • the front-end compression system including the adaptive evaluation network and the AI recognition system including the deep learning model in the cloud server are combined as a system, that is, the front-end compression and cloud AI recognition system in Figure 5 ,
  • Module D in the figure is a delay module.
  • the system status output by the system It is the real system state
  • the system state X(n+1) obtained by the model network is the system state estimated by the model network.
  • Model network including deep learning model and confidence prediction model; used to simulate the behavior of the deep learning model in the cloud server, through the given control parameters and the current system state, using the correlation of the image data before and after, predict the minimum allowable code Rate and the confidence of the cloud server to recognize the image data.
  • the input of the model network is the system state X(n) of the current image and the control strategy A(n), the features of the current image are extracted through the deep learning model of the model network itself, and the output is the next system state X(n+ 1).
  • the encoder control strategy needs to be obtained in advance, and the confidence of the image data can be estimated according to the encoder control strategy.
  • the method of estimating the confidence of the input image data of the first frame or the first moment is different from the method of estimating the confidence of subsequent image data.
  • the image data compression transmission method of the image data of the previous ⁇ time includes the following steps:
  • Step 1 Use empirical values to initialize the encoder control strategy.
  • the encoder control strategy needs to be initialized based on empirical values, so as to train the adaptive evaluation network so that the adaptive evaluation network can be based on the The initialized encoder control strategy obtains roughly accurate confidence.
  • Step 2 Use the adaptive evaluation network to generate the system state of the adaptive evaluation network for the current image data according to the initialized encoder control strategy, where the system state includes the confidence level and the minimum allowable bit rate.
  • three neural networks of the adaptive evaluation network need to be initialized randomly.
  • Step 3 Extract the confidence level contained in the system state as the confidence level of the current image data by the cloud server.
  • System state X(n) [P(n)R(n)], where P(n) is the confidence level, R(n) is the lowest allowable bit rate; the estimated confidence level is used as the cloud server’s current
  • the confidence level of the image data can roughly accurately evaluate the accuracy of the cloud server's recognition of the image data, thereby compressing and transmitting the image data according to the minimum allowable bit rate corresponding to the confidence level, thereby reducing the cloud server caused by excessive image compression
  • the image data cannot be distinguished clearly, or the image data excessively occupies the transmission bandwidth because the degree of image compression is too small.
  • the adaptive evaluation network can determine the encoder control strategy of the previous image data, and then according to the encoder control strategy and system status of the previous image, As well as the correlation of the image data, the system state of the latter image data can be obtained, and then the confidence level of the cloud server for the image data can be estimated according to the system state.
  • This confidence estimation method includes the following steps:
  • the execution network in the adaptive evaluation network can determine the control strategy A(n+1) for the next image data according to the system state X(n) of the current image data, that is, select the right
  • the parameters of the image encoder of the next image data such as the quantization step size and the downsampling ratio; accordingly, for the encoder control strategy A(n-1) of the previous image data, the execution network can also be based on the previous image data
  • the system state X(n-2) is obtained.
  • the encoder control strategy of the previous image data can also be initialized based on empirical values.
  • S122 Acquire the system state of the previous image data by the adaptive evaluation network.
  • the system state X(n) [P(n)R(n)], including the estimated confidence level P(n) of the image data and the minimum allowable bit rate R(n) of the image data, after obtaining the previous image data
  • the adaptive evaluation network can use the correlation of the image data to calculate the system status of the next image data according to the system status.
  • the system state of the previous image data can be estimated from the encoder parameters set by the model network based on empirical values, and can also be calculated based on the correlation between the previous and subsequent image data.
  • the system state of the current image data of the adaptive evaluation network is calculated by using the correlation between the front and rear image data.
  • the before and after image data can be the image data of the before and after frames, it can also be different image units in the same image processed at the time before and after; therefore, the correlation of the before and after image data includes not only the correlation of the images of the before and after frames, but also the adaptive Evaluate the correlation of the network to the graphics units at the pre- and post-processing time in the same image. So that the adaptive evaluation network can process video, and can also process a single image.
  • the model network can obtain the system state X(n+) of the next image data according to the system state X(n) of the current image data and the encoder control strategy A(n) of the current image data, and use the correlation between the previous and subsequent image data. 1).
  • the system state X(n) of the current image data of the adaptive evaluation network can be used according to the system state X(n-1) of the previous image data and the encoder control strategy A(n-1) of the model network.
  • the correlation of the before and after image data is obtained.
  • S124 Extract the confidence of the adaptive evaluation network on the system state of the current image data as the estimated confidence of the cloud server on the image data.
  • the system state X(n) [P(n)R(n)]
  • the system state X(n) of the image data of the nth frame of the adaptive evaluation network, or the system state of the image data at the nth time is known
  • the confidence level P(n) of the current image data of the adaptive evaluation network can be obtained.
  • the encoder control strategy is set according to empirical values, and then the encoder control strategy is used to obtain the system state of the adaptive evaluation network for the current image data; or use the correlation of the previous and subsequent image data to use
  • the encoder control strategy and system status of the previous image data can be used to adaptively evaluate the system status of the current image data by the network, and then use the system status to accurately estimate the confidence of the cloud server on the image data, and use the confidence Compress and transmit image data appropriately.
  • S130 Control the image encoder to encode and compress the image data according to the minimum allowable code rate corresponding to the confidence level to obtain compressed image data.
  • the image data can be compressed to the maximum extent while ensuring that the cloud server accurately recognizes and restores the image data, thereby reducing the excessive bandwidth of the image data Occupied.
  • S140 Upload the compressed image data to the cloud server according to the minimum allowable bit rate.
  • the minimum allowable code rate corresponds to the confidence level, that is, the cloud server can accurately and clearly restore the minimum code rate required for the image data under the current confidence level; therefore, uploading image data according to the minimum allowable code rate can ensure the cloud When the server accurately recognizes and restores the image data, it minimizes the bandwidth occupation and guarantees the upload rate of the image data.
  • the method for compressing and transmitting image data estimates the confidence of the cloud server on the image data, and then compresses and transmits the image data to the cloud server according to the minimum allowable bit rate corresponding to the confidence; where the confidence is Reflects the accuracy of the deep learning model of the cloud server in recognizing image data. Therefore, the local adaptive evaluation network can identify the confidence of the image data according to the deep learning model of the cloud server, compress the image to the lowest allowable bit rate allowed by the confidence, and then upload it to the cloud server, thereby reducing the image caused by excessive compression.
  • the severe distortion of the image enables the cloud server to have a higher degree of restoration of the compressed image data, and to reduce the occupation of network bandwidth on the basis of ensuring a higher degree of restoration; thereby solving the existing problems in the prior art If the image is over-compressed, the image will be severely distorted, and the cloud server's restoration of the image data will be low, which will affect the analysis effect of the cloud server's deep learning.
  • the image data compression transmission method provided by the embodiment of the application uploads image data according to the minimum allowable bit rate corresponding to the confidence level, which can ensure that the cloud server has a higher model recognition of the compressed image data, and reduces the bandwidth Of occupation.
  • the specific optimization method is as follows. After the above step of estimating the confidence of the cloud server for the image data, it further includes the following steps:
  • S210 Calculate the instantaneous utility function of the adaptive evaluation network to the image data according to the confidence level and the minimum allowable code rate corresponding to the confidence level.
  • S220 Calculate the process utility function of the adaptive evaluation network for the image data according to the weight control factor corresponding to each instantaneous utility function.
  • the process utility function J(n) is the process utility function
  • ⁇ is the weight control factor
  • k is the time
  • n is the time or the number of frames.
  • S230 Use the process utility function to optimize the adaptive evaluation network, so that the confidence degree obtained by the subsequent estimation of the adaptive evaluation network approaches the true confidence degree of the image data of the cloud server.
  • the specific optimization method is: the adaptive evaluation network continuously adjusts its own parameters to minimize the process utility function, so that the confidence of the adaptive evaluation network's estimation is constantly close to the true confidence.
  • the technical solution provided by the embodiments of the present application optimizes the parameters of the self-adaptive evaluation network by using the process utility function of the self-adaptive evaluation network to image data, so that the confidence level obtained by the self-adaptive evaluation network can be continuously close to the cloud server's The true confidence level, and then when the image data is subsequently processed by the adaptive evaluation network, the evaluation obtains a more accurate confidence level and the lowest allowable bit rate, which improves the restoration of the compressed image data by the cloud server and reduces the occupation of network bandwidth.
  • the process utility function is used to optimize the adaptive evaluation network.
  • the process utility function is used to control the adaptive evaluation network to obtain a higher degree of confidence, and the confidence is related to the encoder control strategy , It is necessary to generate the encoder control strategy. Therefore, in the encoder control strategy generation method in the above-mentioned method of using the process utility function to optimize the adaptive evaluation network, the specific steps of using the process utility function to optimize the adaptive evaluation network include:
  • the system state of the current image data of the adaptive evaluation network X(n) [P(n)R(n)], that is, the system state of the current image data includes the confidence level of the current image data P(n) and the lowest allowable bit rate R(n).
  • the process utility function is obtained according to the confidence level P(n) and the minimum allowable code rate R(n), and the value of the process utility function can be obtained and optimized through the system state.
  • S320 Generate an encoder control strategy that minimizes the process utility function value according to the system state of the adaptive evaluation network for the current image data, as the encoder control strategy of the adaptive evaluation network for the next image data.
  • the execution network in the adaptive evaluation network can obtain the encoder control strategy A(n+1) for the next image data according to the system state X(n) of the current image data.
  • the encoder control strategy is the parameters of the image encoder, including parameters such as quantization step size and downsampling ratio.
  • the encoder control strategy that can minimize the process utility function value is generated through the system state, that is, accurate confidence can be obtained, and the cloud server can restore the image data more accurately.
  • This method of generating an encoder control strategy that minimizes the value of the process utility function is also a process of executing the network to optimize its own parameters.
  • the specific method of using the process utility function to optimize the adaptive evaluation network includes:
  • S420 Calculate the process utility function of the adaptive evaluation network for the next image data according to the encoder control strategy and the system state of the adaptive evaluation network for the next image data.
  • the encoder control strategy of the adaptive evaluation network for the next image data is obtained by the execution network according to the system state of the current image data, and the process utility of the adaptive evaluation network for the next image data The function is evaluated by the model network based on the system state of the next image data and the encoder control strategy obtained by executing the network.
  • the process utility function J(n+1) is used to update various parameters of the self-configuration of the adaptive evaluation network, so that the function
  • the technical solution provided by the embodiments of the present application calculates the process utility function of the adaptive evaluation network for the next image data according to the system state of the adaptive evaluation network for the next image data and the encoder control strategy, and then uses the process utility function, Update the self-adaptive evaluation network's own parameters, so that the confidence obtained by the subsequent evaluation of the self-adaptive evaluation network is closer to the true confidence given by the deep learning model of the cloud server.
  • the embodiment of the application also proposes a compression transmission system for image data, which is used to implement the above method of this application. Since the principle and method of solving the problem of the system embodiment are similar, it has at least the above implementation All the beneficial effects brought by the technical solutions of the example will not be repeated here.
  • FIG. 6 is a schematic structural diagram of an image data compression transmission system provided by an embodiment of the application. As shown in FIG. 6, the image data compression transmission system includes:
  • the neural network design module 101 is used to simulate the deep learning model of the cloud server and design a local adaptive evaluation network.
  • the confidence estimation module 102 is used for identifying image data using an adaptive evaluation network, selecting an encoder control strategy corresponding to the image data, and estimating the confidence of the cloud server on the image data, where the confidence reflects the deep learning model of the cloud server Identify the accuracy of the image data.
  • the image data compression module 103 is used to control the image encoder to encode and compress the image data according to the minimum allowable code rate corresponding to the confidence level to obtain compressed image data.
  • the image data transmission module 104 is configured to upload the compressed image data to the cloud server according to the minimum allowable bit rate.
  • the neural network design module 101 simulates the deep learning model of the cloud server to design a local adaptive evaluation network; and the confidence estimation module 102 uses the above-mentioned adaptive evaluation network and encoder
  • the control strategy is to estimate the confidence of the cloud server on the image data; then the image data compression module 103 and the image data transmission module 104 are used to compress and transmit the image data to the cloud server according to the lowest allowable bit rate corresponding to the confidence; The degree reflects the accuracy of the deep learning model of the cloud server in recognizing image data.
  • the local adaptive evaluation network can identify the accuracy of the image data according to the deep learning model of the cloud server, compress the image to the lowest allowable bit rate allowed by the confidence, and then upload it to the cloud server, which can avoid the image caused by excessive compression.
  • the severe distortion enables the cloud server to have a higher degree of restoration of the compressed image data, while reducing the occupied bandwidth, thereby solving the problem of excessive image compression in the prior art, resulting in severe image distortion, which in turn leads to the cloud
  • the degree of restoration of image data by the server is low, which affects the analysis effect of the deep learning of the cloud server.
  • the confidence estimation module 102 includes:
  • the control strategy initialization sub-module is used to initialize the encoder control strategy using experience values.
  • the system state generation sub-module is used to use the adaptive evaluation network to generate the system state of the current image data by the adaptive evaluation network according to the initialized encoder control strategy, where the system state includes the confidence level and the minimum allowable bit rate.
  • the first confidence degree extraction submodule is used to extract the confidence degree contained in the system state as the confidence degree of the current image data by the cloud server.
  • the confidence estimation module 102 includes:
  • the control strategy acquisition sub-module is used to acquire the encoder control strategy of the previous image data by the adaptive evaluation network.
  • the first system status acquisition sub-module is used to acquire the system status of the previous image data by the adaptive evaluation network.
  • the system state calculation sub-module is used to calculate the system state of the current image data by the adaptive evaluation network based on the encoder control strategy and system state of the previous image data by the adaptive evaluation network, using the correlation between the previous and subsequent image data.
  • the second confidence degree extraction sub-module is used to extract the confidence degree of the system state of the current image data by the adaptive evaluation network as the estimated confidence degree of the cloud server on the image data.
  • the image data compression transmission system in Fig. 6 also includes:
  • the instantaneous utility function calculation module is used to calculate the instantaneous utility function of the adaptive evaluation network to the image data according to the confidence and the minimum allowable code rate corresponding to the confidence.
  • the process utility function calculation module is used to calculate the process utility function of the adaptive evaluation network on the image data according to the weight control factor corresponding to each instantaneous utility function.
  • the neural network optimization module is used to optimize the adaptive evaluation network using the process utility function, so that the confidence of the subsequent estimation of the adaptive evaluation network is close to the true confidence of the image data of the cloud server.
  • the neural network optimization module 107 includes:
  • the second system status acquisition sub-module is used to acquire the system status of the current image data by the adaptive evaluation network.
  • the control strategy generation sub-module is used to generate the encoder control strategy that minimizes the process utility function value according to the system state of the current image data of the adaptive evaluation network, as the encoder control strategy of the adaptive evaluation network for the next image data.
  • the third system state acquisition sub-module is used to acquire the system state of the next image data by the adaptive evaluation network.
  • the process utility function generation sub-module is used to generate the process utility function of the adaptive evaluation network for the next image data according to the encoder control strategy and system state of the adaptive evaluation network for the next image data.
  • the neural network update sub-module is used to use the process utility function to update the self-adaptive evaluation network parameters.
  • this application can be provided as a method, a system, or a computer program product. Therefore, this application may adopt the form of a complete hardware embodiment, a complete software embodiment, or an embodiment combining software and hardware. Moreover, this application may adopt the form of computer program products implemented on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) containing computer-usable program codes.
  • computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • These computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operation steps are executed on the computer or other programmable equipment to produce computer-implemented processing, so as to execute on the computer or other programmable equipment.
  • the instructions provide steps for implementing the functions specified in one process or multiple processes in the flowchart and/or one block or multiple blocks in the block diagram.
  • any reference signs located between parentheses should not be constructed as limitations on the claims.
  • the word “comprising” does not exclude the presence of parts or steps not listed in the claims.
  • the word “a” or “an” preceding a component does not exclude the presence of multiple such components.
  • the application can be realized by means of hardware including several different components and by means of a suitably programmed computer. In the unit claims that list several devices, several of these devices may be embodied in the same hardware item.
  • the use of the words first, second, and third, etc. do not indicate any order. These words can be interpreted as names.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本申请公开图像数据的压缩传输方法、系统及计算机可读存储介质，其中图像数据的压缩传输方法包括：模拟云端服务器的深度学习模型，设计本地的自适应评估网络；使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计云端服务器对图像数据的置信度；根据置信度对应的最低允许码率，控制图像编码器对图像数据进行压缩，得到压缩后的图像数据，其中若置信度越高，则最低允许码率越小；按最低允许码率上传压缩后的图像数据至云端服务器。

Description

图像数据的压缩传输方法、系统和计算机可读存储介质 技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像数据的压缩传输方法、系统和计算机可读存储介质。
背景技术
随着智慧城市、平安城市及天网系统等监控工程的深入发展，监控摄像头早已遍布大街小巷。这些监控摄像头无时无刻不在收集图像数据，图像数据正在成指数增长，我们已处于海量图像时代。
参见图1，在图1所示的应用场景中，监控摄像头1收集到的图像数据通常需要通过无线或者有线网络2传输到云端服务器3，以使云端服务器3分析处理，例如：云端服务器3利用深度学习技术对图像数据进行特征抓取、图像分类和目标识别等。在具体实施上，在交通监控系统中云端服务器利用深度学习技术从图片或视频中检测违章车辆。
虽然监控摄像头所收集到的图像数据是经过压缩处理的，但是监控摄像头无时无刻不在收集图像数据，导致所产生的数据量仍然十分巨大。然而网络传输的带宽往往有限，所有的图像数据不经额外处理，就传输到云端服务器是不切实际的。解决这个问题的根本途径是减少图像数据的传输量，也就是说，在数据传输前对图像数据进一步压缩处理。
但是图像若被压缩过度会导致图像严重失真，进而云端服务器对图像数据的还原程度较低，然而图像若被压缩量过低，则占用带宽过大，影响云端服务器深度学习的分析效果。
技术解决方案
本申请提供一种图像的压缩传输方法、系统和计算机可读存储介质，旨在解决现有技术中图像传输前易被过度压缩导致图像严重失真，云端服务器对图像数据的还原度较低；而图像若压缩量过低，则占用带宽过大的问题。
为实现上述目的，根据本申请的第一方面，本申请提出了一种图像数据的压缩传输方法，包括：
模拟云端服务器的深度学习模型，设计本地的自适应评估网络；
使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度，其中，置信度反映云端服务器的深度学习模型识别图像数据的准确程度；
根据置信度对应的最低允许码率，控制图像编码器对图像数据进行编码压缩，得到压缩后的图像数据，其中，若置信度越高，则最低允许码率越小；
按照最低允许码率，上传压缩后的图像数据至云端服务器。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本申请实施例提供的一种应用场景示意图；
图2是本申请实施例提供的一种硬件运行环境的装置结构示意图；
图3是本申请实施例提供的一种图像数据的压缩传输方法的流程示意图；
图4是本申请实施例提供的一种置信度的估计流程示意图；
图5是本申请实施例提供的一种自适应评估网络的处理流程示意图；
图6是本申请实施例提供的第一种图像数据的压缩传输系统的结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
本申请的实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
监控摄像头收集到的图像数据正在成指数增长，占用带宽巨大，然而在数据传输前对图像数据进行压缩，则容易被压缩过度，导致图像严重失真，进而导致云端服务器对图像数据的还原程度过低，影响云端服务器深度学习的分析效果。
因此本申请的技术方案需要解决的技术问题是如何在云端服务器基于深度学习技术的图像分析应用中，如何把待分析的海量图像快速有效地通过网 络传输至云端服务器。
为了解决该问题，本申请实施例的基本的思想是在图像传输前，对图像进行进一步的压缩，而压缩的程度随着图像内容识别的“难易”程度动态可调。
因此，本申请的技术方案将预测当前图像数据被云端服务器的深度学习模型分析后的置信度；若置信度高，则可以增加本地对图像数据的压缩程度；若置信度低，则减少对图像数据的压缩程度，甚至不压缩而传送原图。本申请的核心思想是把前端压缩-云端识别的整个系统的联合资源控制和性能优化问题当成一个过程控制和动态优化的问题，利用云端深度学习模型引导下的自适应评估网络(Adaptive Critical Networks)动态控制来解决。从而能够根据云端服务器的深度学习模型识别图像数据的准确程度，选择对应的最低允许码率上传至云端服务器。避免图像被过度压缩导致图像严重失真，也减少图像数据上传时占用的带宽，使得云端服务器对压缩后的图像数据仍有较高的还原度。
具体如图2所示，图2是本申请实施例提供一种的硬件运行环境的装置结构示意图。
本申请实施例装置为智能图像压缩传输装置，具体如本地服务器，或本地监控设备中的嵌入式控制装置或可编程控制器PLC等；其通过网络与云端服务器通信。
如图2所示，该装置能够包括处理器1001，例如CPU，通信总线1002、通信模块1003以及存储器1004。其中，通信总线1002用于实现这些组件之间的连接通信。网络接口1003可选的为无线接口(如WI-FI接口)、蓝牙接口以及ZIGBEE等无线网络接口。存储器1004可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图2中示出的装置结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图2所示，作为一种计算机存储介质的存储器1004中可以包括图像数据的压缩传输程序。在图2所示的装置中，处理器1001可以用于调用存储器1004 中图像数据的压缩传输程序，并执行以下图像数据的压缩传输方法的各个实施例中的操作。
为实现上述硬件的目的，请参见图3，图3为本申请实施例提供的一种图像数据的压缩传输方法的流程示意图，如图3所示，该图像数据的压缩传输方法包括以下步骤：
S110：模拟云端服务器的深度学习模型，设计本地的自适应评估网络。
本地的自适应评估网络(Adaptive Critical Networks，简称ACN)，是模拟云端服务器的深度学习模型而设计的，因此能够准确估计云端服务器的深度学习模型识别图像数据的准确程度，从而为后续对图像数据的压缩提供依据。
S120：使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度。
其中，置信度反映云端服务器的深度学习模型识别图像数据的准确程度。
选择编码器控制策略，即选择编码器的参数，该编码器的参数为决定图像数据的占用空间大小和清晰度的参数，如量化步长和下采样比例等参数。
在基于深度学习的云端图像分析技术中，为减少需要传输的图像数据量，通常输入的图像X需要经过图像编码器进行压缩，压缩后成为图像数据X’，然后将图像数据X’对应码流经过网络传输至云端服务器。云端服务器的接收解码器对接收到的码流进行解码，重建X’，然后输入到深度学习模型进行分析识别。因此本地的图像编码器对图像数据的压缩程度直接影响深度学习模型对图像数据的分析识别的准确程度，即直接影响云端服务器对图像数据的置信度。
另外，由于本地的自适应评估网络是模拟云端服务器的深度学习模型得到的，所以本地的自适应评估网络能够模拟深度学习模型对图像数据的分析识别过程，因此使用自适应评估网络识别图像数据，然后选择与图像数据对应的编码器控制器策略，能够准确估计得到云端服务器对图像数据的置信度。
上述选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度的具体流程可参见图4。在图4中，本地的自适应评估网络，选择与图像数据对应的编码器控制策略
Figure PCTCN2019125720-appb-000001
对相应第n帧或第n时刻的图像数据进行处理，得到效用函数，该效用函数包括上述估计得到云端服务器对 图像数据的置信度P(n)，以及置信度P(n)对应的最低允许码率R(n)，其中n为帧数或时间，上述图像数据也包括n帧图像，或同一帧图像中n个时刻共同处理的图像单元。
由图4可知，该自适应评估网络输入的图像数据为图像序列{F n}，对于图像序列中的每个图像，选择编码器控制策略序列为
Figure PCTCN2019125720-appb-000002
Figure PCTCN2019125720-appb-000003
以控制图像编码器的参数对图像数据进行处理；其中，A(n)和
Figure PCTCN2019125720-appb-000004
均为第n帧图像或第n时刻用于处理图像的编码器控制策略。图像编码后的最低允许码率序列为{R(1)，R(2)，……R(n)}；其中，R(n)为第n帧图像或第n时刻图像编码的最低允许码率。评估得到的图像的置信度序列为{P(1)，P(2)，……P(n)}；其中，P(n)为处理第n帧图像或第n时刻图像的置信度。显然，本地自适应评估网络对图像序列的平均置信度是关于编码器控制策略序列的函数
Figure PCTCN2019125720-appb-000005
其中，n为时间或帧数，L为编码器参数的数量。由上述内容可知，当选择与图像数据对应的编码器控制策略后，自适应评估网络能够根据该编码器控制策略，估计得到云端服务器对图像数据的置信度。
为了得到与图像数据对应的编码器控制策略，以及估计得到准确的置信度，根据云端服务器的深度学习模型设计的本地的自适应评估网络如图5所示。该自适应评估网络包括三个神经网络，分别为执行网络、模型网络和评价网络。
在该自适应评估网络中，将前端包括自适应评估网络的压缩系统与云端服务器中包括有深度学习模型的AI识别系统结合起来看做一个系统，即图5中的前端压缩与云端AI识别系统，图中的模块D为延时模块。其中，该系统输出的系统状态
Figure PCTCN2019125720-appb-000006
为真实的系统状态，而模型网络得到的系统状态X(n+1)为模型网络估计得到的系统状态。通过获取真实系统状态，不断更新自身神经网络，能够提高对置信度的估计准确率。
其中，执行网络，用于根据当前图像数据的系统状态X(n)决定自适应评估网络下一步的编码器控制策略A(n+1)；其中，系统状态X(n)＝[P(n)R(n)]。
模型网络，包括深度学习模型和置信度预测模型两部分；用于模拟云端服务器中深度学习模型的行为，通过给定控制参数和当前的系统状态，利用前后图像数据的相关性，预测最低允许码率和云端服务器识别该图像数据的 置信度。具体地，该模型网络的输入是当前图像的系统状态X(n)和控制策略A(n)，通过模型网络自身的深度学习模型提取当前图像的特征，输出为下一个系统状态X(n+1)。
另外，在自适应评估网络识别图像数据，估计得到云端服务器对图像数据的置信度之前，需要预先得到编码器控制策略，根据该编码器控制策略才能够估计得到图像数据的置信度。其中，对于输入的第一帧或第一时刻的图像数据进行置信度估计的方法，与后续图像数据估计置信度的方法不同。
在使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度的步骤中，对前一帧或前△帧图像，或者对于前一时间或前△时间的图像，其图像数据的压缩传输方法包括以下步骤：
步骤1：使用经验值初始化编码器控制策略。
针对前一帧或前△帧图像，或者，针对前一时间或前△时间得到的图像，需要根据经验值初始化该编码器控制策略，从而训练自适应评估网络，使得自适应评估网络能够根据该初始化的编码器控制策略得到大体准确的置信度。
步骤2：使用自适应评估网络，根据初始化的编码器控制策略，生成自适应评估网络对当前图像数据的系统状态，其中，系统状态包括置信度及最低允许码率。
结合图5所示的自适应评估网络的处理流程，在初始化编码器控制策略的阶段，需要随机初始化自适应评估网络的三个神经网络。具体地，使用经验值设置编码器参数，然后发送前△张图像数据，记录自适应评估网络根据该通过经验值设置的编码器参数得到的系统状态X(n)＝[P(n)R(n)]，其中P(n)为置信度，R(n)为最低允许码率，1≤n≤△。
步骤3：提取系统状态包含的置信度，作为云端服务器对当前图像数据的置信度。
系统状态X(n)＝[P(n)R(n)]，其中P(n)为置信度，R(n)为最低允许码率；通过将该估计得到的置信度作为云端服务器对当前图像数据的置信度，能够大体准确地评估云端服务器识别图像数据的准确程度，从而根据该置信度对应的最低允许码率对图像数据进行压缩和传输，进而能够减少因图像压缩过 度导致的云端服务器对图像数据分辨不清，或者因图像压缩程度过小而导致图像数据过度占用传输带宽的情况。
然而，在自适应评估网络得到前一帧图像或前△帧图像后，自适应评估网络能够确定前一图像数据的编码器控制策略，然后根据该前一图像的编码器控制策略和系统状态，以及图像数据的相关性，能够得到对后一图像数据的系统状态，进而根据该系统状态估计得到云端服务器对该图像数据的置信度。该置信度的估计方法包括以下步骤：
S121：获取自适应评估网络对上一图像数据的编码器控制策略。
结合图5所示的自适应评估网络，自适应评估网络中的执行网络能够根据当前图像数据的系统状态X(n)决定对下一图像数据的控制策略A(n+1)，即选择对下一图像数据的图像编码器的参数，例如量化步长和下采样比例等；相应地，对于上一图像数据的编码器控制策略A(n-1)，执行网络也能够根据之前图像数据的系统状态X(n-2)得到。当然上一图像数据无法根据之前的系统状态得到编码器控制策略时，例如上一图像数据为第一帧图像数据，也能够根据经验值初始化上一图像数据的编码器控制策略。
S122：获取自适应评估网络对上一图像数据的系统状态。
系统状态X(n)＝[P(n)R(n)]，包括估计的图像数据的置信度P(n)和图像数据的最低允许码率R(n)，在得到上一图像数据的系统状态后，自适应评估网络能够根据该系统状态，利用图像数据的相关性，能够推算下一图像数据的系统状态。其中，上一图像数据的系统状态能够由模型网络根据经验值设定的编码器参数估计得到，也能够根据前后图像数据的相关性计算得到。
S123：根据自适应评估网络对上一图像数据的编码器控制策略和系统状态，利用前后图像数据的相关性，计算得到自适应评估网络对当前图像数据的系统状态。
其中，由于前后图像数据能够为前后帧图像数据，也能够为前后时刻处理的同一图像中的不同图像单元；因此，前后图像数据的相关性不光包括前后帧图像的相关性，也能够包括自适应评估网络对同一图像中前后处理时刻的图形单元的相关性。从而使得该自适应评估网络能够处理视频，也能够处理单一图像。
模型网络能够根据当前图像数据的系统状态X(n)和当前图像数据的编码 器控制策略A(n)，并利用前后图像数据的相关性，得到对下一图像数据的系统状态X(n+1)。同样，自适应评估网络对当前图像数据的系统状态X(n)，能够根据模型网络对上一图像数据的系统状态X(n-1)和编码器控制策略A(n-1)，并利用前后图像数据的相关性得到。
S124：提取自适应评估网络对当前图像数据的系统状态中的置信度，作为估计得到的云端服务器对图像数据的置信度。
由于系统状态X(n)＝[P(n)R(n)]，因此当获知自适应评估网络对第n帧图像数据的系统状态X(n)，或处理第n时刻图像数据的系统状态X(n)后，即能够得到自适应评估网络对当前图像数据的置信度P(n)。
本申请实施例提供的技术方案中，通过根据经验值设置编码器控制策略，然后利用该编码器控制策略得到自适应评估网络对当前图像数据的系统状态；或者利用前后图像数据的相关性，使用上一图像数据的编码器控制策略和系统状态，能够得到自适应评估网络对当前图像数据的系统状态，进而利用该系统状态，能够准确估计得到云端服务器对图像数据的置信度，从而利用该置信度适当压缩和传输图像数据。
S130：根据置信度对应的最低允许码率，控制图像编码器对图像数据进行编码压缩，得到压缩后的图像数据。
其中，置信度越高，则最低允许码率越小。最低允许码率为云端服务器能够准确和清晰还原当前置信度下的图像数据所需的最低码率。由于自适应评估网络对图像数据的系统状态X(n)＝[P(n)R(n)]，在得到系统状态X(n)后，即可得到置信度对应的最低允许码率R(n)。
通过使用该最低允许码率控制图像编码器对图像数据进行压缩编码，能够在保证云端服务器准确识别和还原该图像数据的情况下，最大限度地压缩该图像数据，从而减少图像数据对带宽的过度占用。
S140：按照最低允许码率，上传压缩后的图像数据至云端服务器。
码率是单位像素编码所需的编码长度，也是单位时间传输的数据量。码率＝文件大小*8/时间；因此码率越小，文件占用空间越小，上传图像数据所占用的带宽也越小。并且，由于该最低允许码率与置信度相对应，即云端服务器能够准确和清晰还原当前置信度下的图像数据所需的最低码率；因此按照该最低允许码率上传图像数据，能够保证云端服务器准确识别和还原该图像 数据的情况下，最大程度地减少对带宽的占用，保证图像数据的上传速率。
本申请实施例提供的图像数据的压缩传输方法，通过估计云端服务器对图像数据的置信度，然后根据该置信度对应的最低允许码率能够压缩和传输图像数据至云端服务器；其中，该置信度反映云端服务器的深度学习模型识别图像数据的准确程度。因此，本地自适应评估网络能够根据云端服务器的深度学习模型识别图像数据的置信度，将图像压缩至置信度允许的最低允许码率，然后上传至云端服务器，从而能够减少图像因过度压缩导致的图像严重失真的情况，使得云端服务器能够对压缩后的图像数据有较高的还原度，并且在保证有较高还原度的基础上减少对网络带宽的占用；进而解决了现有技术中存在的图像若被压缩过度，导致图像严重失真，进而云端服务器对图像数据的还原程度较低，影响云端服务器深度学习的分析效果的问题。同样本申请实施例提供的图像数据的压缩传输方法，根据置信度对应的最低允许码率上传图像数据，能够保证云端服务器对压缩的图像数据具有较高模型识别度的情况下，减小对带宽的占用。
另外，在得到该置信度后，需要根据该置信度和云端服务器处理图像数据的真实置信度，优化自适应评估网络自身参数，以使得本地自适应评估网络得到的置信度更加准确。
具体的优化方法如下，在上述估计得到云端服务器对图像数据的置信度的步骤之后，还包括以下步骤：
S210：根据置信度及置信度对应的最低允许码率，计算自适应评估网络对图像数据的瞬时效用函数。
瞬时效用函数：U(n)＝R(n)+φ(P(n)-P 0)；其中，U(n)代表瞬时的效用或奖励，φ(·)为惩罚函数，当前置信度P(n)若低于云端服务器的深度学习模型所要求的置信度P 0，则惩罚函数φ(·)取值越大，从而确保优化的置信度高于云端服务器所要求的置信度；其中，n为时间或帧数。
S220：根据每个瞬时效用函数对应的权重控制因子，计算自适应评估网络对图像数据的过程效用函数。
其中，过程效用函数：
Figure PCTCN2019125720-appb-000007
其中，J(n)为过程效用函数，γ为权重控制因子，k为时间，n为时间或帧数。对于每一帧图像，或者每一时刻处理的图像单元，其瞬时效用函数对应的权重控制因子的比重是不同的，因此在得到瞬时效用函数后，需要根据该瞬时效用函数对应的权重 控制因子，计算自适应评估网络对图像数据的过程效用函数，优化自适应评估网络自身的参数。
S230：使用过程效用函数优化自适应评估网络，以使自适应评估网络后续估计得到的置信度逼近云端服务器对图像数据的真实置信度。
具体的优化方法为：自适应评估网络不断调整自身参数，以最小化该过程效用函数，从而使得自适应评估网络估计的置信度不断接近真实的置信度。
本申请实施例提供的技术方案，通过使用该自适应评估网络对图像数据的过程效用函数，优化自适应评估网络自身参数，能够使得自适应评估网络得到的置信度不断接近云端服务器对图像数据的真实置信度，进而在自适应评估网络后续处理图像数据时，评估得到更准确的置信度和最低允许码率，提高云端服务器对压缩后图像数据的还原度，并减小对网络带宽的占用。
其中，图7所示实施例中，使用过程效用函数优化自适应评估网络，首先要使用该过程效用函数控制自适应评估网络得到精确程度更高的置信度，而置信度与编码器控制策略有关，这就需要生成编码器控制策略，因此上述使用过程效用函数优化自适应评估网络方法中的编码器控制策略生成方法中，具体使用过程效用函数优化自适应评估网络的步骤，包括：
S310：获取自适应评估网络对当前图像数据的系统状态。
自适应评估网络对当前图像数据的系统状态X(n)＝[P(n)R(n)]，即当前图像数据的系统状态包括当前图像数据的置信度P(n)和最低允许码率R(n)。而过程效用函数根据置信度P(n)和最低允许码率R(n)得到，则通过该系统状态，能够获得并优化过程效用函数的值。
S320：根据自适应评估网络对当前图像数据的系统状态，生成使过程效用函数值最小的编码器控制策略，作为自适应评估网络对下一图像数据的编码器控制策略。
结合图5所示的自适应评估网络的处理流程，自适应评估网络中的执行网络能够根据当前图像数据的系统状态X(n)得到对下一图像数据的编码器控制策略A(n+1)，其中，该编码器控制策略为图像编码器的参数，包括量化步长和下采样比例等参数。而由上述内容可知，置信度是关于编码器控制策略的函数，即置信度是自适应评估网络根据编码器控制策略得到的，并且由于过程效用函数的值越小，置信度越准确，越高于系统要求，因此通过系统状态生成能够使过程效用函数值最小的编码器控制策略，即能够得到准确的置 信度，进而使得云端服务器能够更加准确地还原图像数据。该生成使过程效用函数值最小的编码器控制策略的方法，也是执行网络优化自身参数的过程。
其中，在得到上述编码器控制策略后，还需要进一步优化自适应评估网络，具体的使用过程效用函数优化自适应评估网络的方法包括：
S410：获取自适应评估网络对下一图像数据的系统状态。
S420：根据自适应评估网络对下一图像数据的编码器控制策略和系统状态，计算自适应评估网络对下一图像数据的过程效用函数。
结合图5所示的自适应评估网络，自适应评估网络对下一图像数据的编码器控制策略由执行网络根据当前图像数据的系统状态得到，并且自适应评估网络对下一图像数据的过程效用函数，是由模型网络根据对下一图像数据的系统状态及执行网络得到的编码器控制策略进行评估得到的。
S430：使用过程效用函数，更新自适应评估网络自身参数。
具体的，根据自适应动态规划理论的要求，使用该过程效用函数J(n+1)更新自适应评估网络自身配置的各种参数，以使得函数|J(n)-U(n)-γJ(k+1)| 2最小。
本申请实施例提供的技术方案，根据自适应评估网络对下一图像数据的系统状态和编码器控制策略，计算自适应评估网络对下一图像数据的过程效用函数，然后使用该过程效用函数，更新自适应评估网络自身参数，从而使得自适应评估网络后续评估得到的置信度更加接近云端服务器的深度学习模型给出的真实置信度。
基于上述方法实施例的同一构思，本申请实施例还提出了图像数据的压缩传输系统，用于实现本申请的上述方法，由于该系统实施例解决问题的原理与方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
请参见图6，图6为本申请实施例提供的一种图像数据的压缩传输系统的结构示意图，如图6所示，该图像数据的压缩传输系统包括：
神经网络设计模块101，用于模拟云端服务器的深度学习模型，设计本地的自适应评估网络。
置信度估计模块102，用于使用自适应评估网络识别图像数据，选择与图像数据对应的编码器控制策略，估计得到云端服务器对图像数据的置信度， 其中，置信度反映云端服务器的深度学习模型识别图像数据的准确程度。
图像数据压缩模块103，用于根据置信度对应的最低允许码率，控制图像编码器对图像数据进行编码压缩，得到压缩后的图像数据，其中，若置信度越高，则最低允许码率越小。
图像数据传输模块104，用于按照最低允许码率，上传压缩后的图像数据至云端服务器。
本申请实施例提供的图像数据的压缩传输系统，通过神经网络设计模块101模拟云端服务器的深度学习模型，设计本地自适应评估网络；并通过置信度估计模块102根据上述自适应评估网络和编码器控制策略，估计云端服务器对图像数据的置信度；然后使用图像数据压缩模块103和图像数据传输模块104，根据该置信度对应的最低允许码率压缩和传输图像数据至云端服务器；其中，该置信度反映云端服务器的深度学习模型识别图像数据的准确程度。因此，本地自适应评估网络能够根据云端服务器的深度学习模型识别图像数据的准确程度，将图像压缩至置信度允许的最低允许码率，然后上传至云端服务器，能够避免图像被过度压缩导致的图像严重失真的情况，使得云端服务器能够对压缩后的图像数据有较高的还原度，同时减小占用的带宽，从而解决了现有技术中存在的图像被压缩过度导致图像严重失真，进而导致云端服务器对图像数据的还原程度较低，影响云端服务器深度学习的分析效果的问题。
其中，在图6所示的图像数据的压缩传输系统中，置信度估计模块102，包括：
控制策略初始化子模块，用于使用经验值初始化编码器控制策略。
系统状态生成子模块，用于使用自适应评估网络，根据初始化的编码器控制策略，生成自适应评估网络对当前图像数据的系统状态，其中，系统状态包括置信度及最低允许码率。
第一置信度提取子模块，用于提取系统状态包含的置信度，作为云端服务器对当前图像数据的置信度。
或者，该置信度估计模块102，包括：
控制策略获取子模块，用于获取自适应评估网络对上一图像数据的编码器控制策略。
第一系统状态获取子模块，用于获取自适应评估网络对上一图像数据的系统状态。
系统状态计算子模块，用于根据自适应评估网络对上一图像数据的编码器控制策略和系统状态，利用前后图像数据的相关性，计算得到自适应评估网络对当前图像数据的系统状态。
第二置信度提取子模块，用于提取自适应评估网络对当前图像数据的系统状态中的置信度，作为估计得到的云端服务器对图像数据的置信度。
图6中的图像数据的压缩传输系统还包括：
瞬时效用函数计算模块，用于根据置信度及置信度对应的最低允许码率，计算自适应评估网络对图像数据的瞬时效用函数。
过程效用函数计算模块，用于根据每个瞬时效用函数对应的权重控制因子，计算自适应评估网络对图像数据的过程效用函数。
神经网络优化模块，用于使用过程效用函数优化自适应评估网络，以使自适应评估网络后续估计得到的置信度逼近云端服务器对图像数据的真实置信度。
另外，该神经网络优化模块107包括：
第二系统状态获取子模块，用于获取自适应评估网络对当前图像数据的系统状态。
控制策略生成子模块，用于根据自适应评估网络对当前图像数据的系统状态，生成使过程效用函数值最小的编码器控制策略，作为自适应评估网络对下一图像数据的编码器控制策略。
以及，
第三系统状态获取子模块，用于获取自适应评估网络对下一图像数据的系统状态。
过程效用函数生成子模块，用于根据自适应评估网络对下一图像数据的编码器控制策略和系统状态，生成自适应评估网络对下一图像数据的过程效用函数。
神经网络更新子模块，用于使用过程效用函数，更新自适应评估网络自身参数。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或 计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD－ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

  1. 一种图像数据的压缩传输方法，其中，包括：
    模拟云端服务器的深度学习模型，设计本地的自适应评估网络；
    使用所述自适应评估网络识别图像数据，选择与所述图像数据对应的编码器控制策略，估计得到所述云端服务器对所述图像数据的置信度，其中，所述置信度反映所述云端服务器的深度学习模型识别所述图像数据的准确程度；
    根据所述置信度对应的最低允许码率，控制图像编码器对所述图像数据进行编码压缩，得到压缩后的图像数据，其中，若所述置信度越高，则所述最低允许码率越小；以及，
    按照所述最低允许码率，上传所述压缩后的图像数据至云端服务器。
  2. 根据权利要求1所述的图像数据的压缩传输方法，其中，所述使用自适应评估网络识别图像数据，选择与所述图像数据对应的编码器控制策略，估计得到云端服务器对所述图像数据的置信度的步骤，包括：
    使用经验值初始化所述编码器控制策略；
    使用所述自适应评估网络，根据所述初始化的编码器控制策略，生成所述自适应评估网络对当前图像数据的系统状态，其中，所述系统状态包括置信度及所述最低允许码率；
    提取所述系统状态包含的置信度，作为所述云端服务器对当前图像数据的置信度；
    或者，
    获取所述自适应评估网络对上一图像数据的编码器控制策略；
    获取所述自适应评估网络对上一图像数据的系统状态；
    根据所述自适应评估网络对上一图像数据的编码器控制策略和系统状态，利用前后图像数据的相关性，计算得到所述自适应评估网络对当前图像数据的系统状态；以及，
    提取所述自适应评估网络对当前图像数据的系统状态中的置信度，作为所述估计得到的云端服务器对所述图像数据的置信度。
  3. 根据权利要求1所述的图像数据的压缩传输方法，其中，在估计得到 云端服务器对图像数据的置信度的步骤之后，所述方法还包括：
    根据所述置信度及所述置信度对应的最低允许码率，计算所述自适应评估网络对所述图像数据的瞬时效用函数；
    根据每个瞬时效用函数对应的权重控制因子，计算所述自适应评估网络对所述图像数据的过程效用函数；以及，
    使用所述过程效用函数优化所述自适应评估网络，以使所述自适应评估网络后续估计得到的置信度逼近所述云端服务器对图像数据的真实置信度。
  4. 根据权利要求3所述的图像数据的压缩传输方法，其中，所述使用过程效用函数优化所述自适应评估网络的步骤，包括：
    获取所述自适应评估网络对当前图像数据的系统状态；以及，
    根据所述自适应评估网络对当前图像数据的系统状态，生成使所述过程效用函数值最小的编码器控制策略，作为所述自适应评估网络对下一图像数据的编码器控制策略。
  5. 根据权利要求4所述的图像数据的压缩传输方法，其中，所述使用过程效用函数优化所述自适应评估网络的步骤，包括：
    获取所述自适应评估网络对下一图像数据的系统状态；
    根据所述自适应评估网络对下一图像数据的编码器控制策略和系统状态，计算所述自适应评估网络对下一图像数据的过程效用函数；以及，
    使用所述过程效用函数，更新所述自适应评估网络自身参数。
  6. 根据权利要求2所述的图像数据的压缩传输方法，其中，在估计得到云端服务器对图像数据的置信度的步骤之后，所述方法还包括：
    根据所述置信度及所述置信度对应的最低允许码率，计算所述自适应评估网络对所述图像数据的瞬时效用函数；
    根据每个瞬时效用函数对应的权重控制因子，计算所述自适应评估网络对所述图像数据的过程效用函数；以及，
    使用所述过程效用函数优化所述自适应评估网络，以使所述自适应评估网络后续估计得到的置信度逼近所述云端服务器对图像数据的真实置信度。
  7. 根据权利要求6所述的图像数据的压缩传输方法，其中，所述使用过程效用函数优化所述自适应评估网络的步骤，包括：
    获取所述自适应评估网络对当前图像数据的系统状态；以及，
    根据所述自适应评估网络对当前图像数据的系统状态，生成使所述过程效用函数值最小的编码器控制策略，作为所述自适应评估网络对下一图像数据的编码器控制策略。
  8. 根据权利要求7所述的图像数据的压缩传输方法，其中，所述使用过程效用函数优化所述自适应评估网络的步骤，包括：
    获取所述自适应评估网络对下一图像数据的系统状态；
    根据所述自适应评估网络对下一图像数据的编码器控制策略和系统状态，计算所述自适应评估网络对下一图像数据的过程效用函数；以及，
    使用所述过程效用函数，更新所述自适应评估网络自身参数。
  9. 一种图像数据的压缩传输系统，其中，包括：
    神经网络设计模块，用于模拟云端服务器的深度学习模型，设计本地的自适应评估网络；
    置信度估计模块，用于使用所述自适应评估网络识别图像数据，选择与所述图像数据对应的编码器控制策略，估计得到所述云端服务器对所述图像数据的置信度，其中，所述置信度反映所述云端服务器的深度学习模型识别所述图像数据的准确程度；
    图像数据压缩模块，用于根据所述置信度对应的最低允许码率，控制图像编码器对所述图像数据进行编码压缩，得到压缩后的图像数据，其中，若所述置信度越高，则所述最低允许码率越小；以及，
    图像数据传输模块，用于按照所述最低允许码率，上传所述压缩后的图像数据至云端服务器。
  10. 根据权利要求9所述的图像数据的压缩传输系统，其中，所述置信度估计模块，包括：
    控制策略初始化子模块，用于使用经验值初始化所述编码器控制策略；
    系统状态生成子模块，用于使用所述自适应评估网络，根据所述初始化的编码器控制策略，生成所述自适应评估网络对当前图像数据的系统状态，其中，所述系统状态包括置信度及所述最低允许码率；
    第一置信度提取子模块，用于提取所述系统状态包含的置信度，作为所述云端服务器对当前图像数据的置信度；
    以及，
    控制策略获取子模块，用于获取所述自适应评估网络对上一图像数据的编码器控制策略；
    第一系统状态获取子模块，用于获取所述自适应评估网络对上一图像数据的系统状态；
    系统状态计算子模块，用于根据所述自适应评估网络对上一图像数据的编码器控制策略和系统状态，利用前后图像数据的相关性，计算得到所述自适应评估网络对当前图像数据的系统状态；
    第二置信度提取子模块，用于提取所述自适应评估网络对当前图像数据的系统状态中的置信度，作为所述估计得到的云端服务器对所述图像数据的置信度。
  11. 根据权利要求9所述的图像数据的压缩传输系统，其中，还包括：
    瞬时效用函数计算模块，用于根据所述置信度及所述置信度对应的最低允许码率，计算所述自适应评估网络对所述图像数据的瞬时效用函数；
    过程效用函数计算模块，用于根据每个瞬时效用函数对应的权重控制因子，计算所述自适应评估网络对所述图像数据的过程效用函数；以及，
    神经网络优化模块，用于使用所述过程效用函数优化所述自适应评估网络，以使所述自适应评估网络后续估计得到的置信度逼近所述云端服务器对图像数据的真实置信度。
  12. 根据权利要求11所述的图像数据的压缩传输系统，其中，所述神经网络优化模块，包括：
    第二系统状态获取子模块，用于获取所述自适应评估网络对当前图像数据的系统状态；
    控制策略生成子模块，用于根据所述自适应评估网络对当前图像数据的系统状态，生成使所述过程效用函数值最小的编码器控制策略，作为所述自适应评估网络对下一图像数据的编码器控制策略；
    以及，
    第三系统状态获取子模块，用于获取所述自适应评估网络对下一图像数据的系统状态；
    过程效用函数生成子模块，用于根据所述自适应评估网络对下一图像数据的编码器控制策略和系统状态，生成所述自适应评估网络对下一图像数据 的过程效用函数；
    神经网络更新子模块，用于使用所述过程效用函数，更新所述自适应评估网络自身参数。
  13. 根据权利要求10所述的图像数据的压缩传输系统，其中，还包括：
    瞬时效用函数计算模块，用于根据所述置信度及所述置信度对应的最低允许码率，计算所述自适应评估网络对所述图像数据的瞬时效用函数；
    过程效用函数计算模块，用于根据每个瞬时效用函数对应的权重控制因子，计算所述自适应评估网络对所述图像数据的过程效用函数；以及，
    神经网络优化模块，用于使用所述过程效用函数优化所述自适应评估网络，以使所述自适应评估网络后续估计得到的置信度逼近所述云端服务器对图像数据的真实置信度。
  14. 根据权利要求13所述的图像数据的压缩传输系统，其中，所述神经网络优化模块，包括：
    第二系统状态获取子模块，用于获取所述自适应评估网络对当前图像数据的系统状态；
    控制策略生成子模块，用于根据所述自适应评估网络对当前图像数据的系统状态，生成使所述过程效用函数值最小的编码器控制策略，作为所述自适应评估网络对下一图像数据的编码器控制策略；
    以及，
    第三系统状态获取子模块，用于获取所述自适应评估网络对下一图像数据的系统状态；
    过程效用函数生成子模块，用于根据所述自适应评估网络对下一图像数据的编码器控制策略和系统状态，生成所述自适应评估网络对下一图像数据的过程效用函数；
    神经网络更新子模块，用于使用所述过程效用函数，更新所述自适应评估网络自身参数。
  15. 一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时，实现如下步骤：
    模拟云端服务器的深度学习模型，设计本地的自适应评估网络；
    使用所述自适应评估网络识别图像数据，选择与所述图像数据对应的编 码器控制策略，估计得到所述云端服务器对所述图像数据的置信度，其中，所述置信度反映所述云端服务器的深度学习模型识别所述图像数据的准确程度；
    根据所述置信度对应的最低允许码率，控制图像编码器对所述图像数据进行编码压缩，得到压缩后的图像数据，其中，若所述置信度越高，则所述最低允许码率越小；以及，
    按照所述最低允许码率，上传所述压缩后的图像数据至云端服务器。
  16. 根据权利要求15所述的计算机可读存储介质，其中，所述使用自适应评估网络识别图像数据，选择与所述图像数据对应的编码器控制策略，估计得到云端服务器对所述图像数据的置信度的步骤，包括：
    使用经验值初始化所述编码器控制策略；
    使用所述自适应评估网络，根据所述初始化的编码器控制策略，生成所述自适应评估网络对当前图像数据的系统状态，其中，所述系统状态包括置信度及所述最低允许码率；
    提取所述系统状态包含的置信度，作为所述云端服务器对当前图像数据的置信度；
    或者，
    获取所述自适应评估网络对上一图像数据的编码器控制策略；
    获取所述自适应评估网络对上一图像数据的系统状态；
    根据所述自适应评估网络对上一图像数据的编码器控制策略和系统状态，利用前后图像数据的相关性，计算得到所述自适应评估网络对当前图像数据的系统状态；
    提取所述自适应评估网络对当前图像数据的系统状态中的置信度，作为所述估计得到的云端服务器对所述图像数据的置信度。
PCT/CN2019/125720 2019-08-28 2019-12-16 图像数据的压缩传输方法、系统和计算机可读存储介质 WO2021036103A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910811971.7 2019-08-28
CN201910811971.7A CN110557633B (zh) 2019-08-28 2019-08-28 图像数据的压缩传输方法、系统和计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2021036103A1 true WO2021036103A1 (zh) 2021-03-04

Family

ID=68738449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/125720 WO2021036103A1 (zh) 2019-08-28 2019-12-16 图像数据的压缩传输方法、系统和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN110557633B (zh)
WO (1) WO2021036103A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024114597A1 (en) * 2022-12-02 2024-06-06 City University Of Hong Kong Reinforcement-learning-based network transmission of compressed genome sequence

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557633B (zh) * 2019-08-28 2021-06-29 深圳大学 图像数据的压缩传输方法、系统和计算机可读存储介质
CN112637604B (zh) * 2020-12-15 2022-08-16 深圳大学 低时延视频压缩方法及装置
CN114363631B (zh) * 2021-12-09 2022-08-05 慧之安信息技术股份有限公司 一种基于深度学习的音视频处理方法和装置
CN114422607B (zh) * 2022-03-30 2022-06-10 三峡智控科技有限公司 一种实时数据的压缩传输方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110126255A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
CN106550240A (zh) * 2016-12-09 2017-03-29 武汉斗鱼网络科技有限公司 一种带宽节省方法和系统
CN108012097A (zh) * 2017-11-13 2018-05-08 深圳市智美达科技股份有限公司 视频云录像的方法、装置、计算机设备和存储介质
CN108024061A (zh) * 2017-12-08 2018-05-11 合肥工业大学 医用内窥镜人工智能系统的硬件架构及图像处理方法
CN108259909A (zh) * 2018-02-09 2018-07-06 福州大学 基于显著性对象检测模型的图像压缩方法
US20180359477A1 (en) * 2012-03-05 2018-12-13 Google Inc. Distribution of video in multiple rating formats
CN110557633A (zh) * 2019-08-28 2019-12-10 深圳大学 图像数据的压缩传输方法、系统和计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427337B (zh) * 2013-08-21 2018-03-27 杭州海康威视数字技术股份有限公司 基于目标检测的感兴趣区域视频编码方法及其装置
CN105933329B (zh) * 2016-06-12 2018-11-20 浙江大学 基于在线学习的视频流业务码率自适应方法
CN106682590B (zh) * 2016-12-07 2023-08-22 浙江宇视科技有限公司 一种监控业务的处理方法以及服务器
US10878342B2 (en) * 2017-03-30 2020-12-29 Intel Corporation Cloud assisted machine learning
CN109543829A (zh) * 2018-10-15 2019-03-29 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 在终端和云端上混合部署深度学习神经网络的方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110126255A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
US20180359477A1 (en) * 2012-03-05 2018-12-13 Google Inc. Distribution of video in multiple rating formats
CN106550240A (zh) * 2016-12-09 2017-03-29 武汉斗鱼网络科技有限公司 一种带宽节省方法和系统
CN108012097A (zh) * 2017-11-13 2018-05-08 深圳市智美达科技股份有限公司 视频云录像的方法、装置、计算机设备和存储介质
CN108024061A (zh) * 2017-12-08 2018-05-11 合肥工业大学 医用内窥镜人工智能系统的硬件架构及图像处理方法
CN108259909A (zh) * 2018-02-09 2018-07-06 福州大学 基于显著性对象检测模型的图像压缩方法
CN110557633A (zh) * 2019-08-28 2019-12-10 深圳大学 图像数据的压缩传输方法、系统和计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024114597A1 (en) * 2022-12-02 2024-06-06 City University Of Hong Kong Reinforcement-learning-based network transmission of compressed genome sequence

Also Published As

Publication number Publication date
CN110557633A (zh) 2019-12-10
CN110557633B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
WO2021036103A1 (zh) 图像数据的压缩传输方法、系统和计算机可读存储介质
CN112565777B (zh) 基于深度学习模型视频数据传输方法、系统、介质及设备
CN108875482B (zh) 物体检测方法和装置、神经网络训练方法和装置
CN111160481B (zh) 基于深度学习的adas目标检测方法及系统
CN107770525B (zh) 一种图像编码的方法及装置
WO2022048582A1 (zh) 光流信息预测方法、装置、电子设备和存储介质
CN114679607B (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
CN112492297A (zh) 一种对视频的处理方法以及相关设备
CN113452944A (zh) 一种云手机的画面显示方法
CN112732962B (zh) 基于深度学习与Flink的线上实时预测垃圾图片类别方法
CN117478886A (zh) 多媒体数据编码方法、装置、电子设备及存储介质
CN117078670A (zh) 一种云相框的生产控制系统
CN115604131B (zh) 一种链路流量预测方法、系统、电子设备及介质
CN116567246A (zh) Avc编码方法和装置
CN114419473B (zh) 一种基于嵌入式设备的深度学习实时目标检测方法
CN116029345A (zh) 中间层特征压缩传输方法、压缩数据的解码方法及装置
CN112287803B (zh) 基于RoI编码的边缘协同目标检测方法及装置
CN112070211B (zh) 基于计算卸载机制的图像识别方法
CN112668504A (zh) 动作识别方法、装置及电子设备
CN111340137A (zh) 图像识别方法、装置及存储介质
CN115567720B (zh) 视频传输方法、装置、存储介质和设备
CN117939202B (zh) 一种基于在线教育的控制方法及系统
CN117221494B (zh) 基于物联网和大数据的音视频综合管控平台
US20220189171A1 (en) Apparatus and method for prediction of video frame based on deep learning
CN116843972A (zh) 一种图像识别方法、系统及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19943076

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 30/06/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19943076

Country of ref document: EP

Kind code of ref document: A1