WO2020168526A1 - 图像编码方法、设备及计算机可读存储介质 - Google Patents

图像编码方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2020168526A1
WO2020168526A1 PCT/CN2019/075762 CN2019075762W WO2020168526A1 WO 2020168526 A1 WO2020168526 A1 WO 2020168526A1 CN 2019075762 W CN2019075762 W CN 2019075762W WO 2020168526 A1 WO2020168526 A1 WO 2020168526A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
encoded
encoding
feature information
parameter
Prior art date
Application number
PCT/CN2019/075762
Other languages
English (en)
French (fr)
Inventor
赵文军
李恒杰
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2019/075762 priority Critical patent/WO2020168526A1/zh
Priority to CN201980005598.4A priority patent/CN111316326A/zh
Publication of WO2020168526A1 publication Critical patent/WO2020168526A1/zh
Priority to US17/201,155 priority patent/US20210201073A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Definitions

  • the embodiments of the present invention relate to the field of image processing, and in particular to an image encoding method, device, and computer-readable storage medium.
  • Image coding also known as image compression, refers to a technology that uses a small number of bits to represent an image or the information contained in an image under certain quality conditions.
  • the existing image coding is generally implemented by an image encoder. Since there are often differences between different images, there are also differences between different image features. When the image is encoded by the image encoder, the encoder needs to manually extract the features of different images, and adjust the parameters according to the extracted features.
  • the embodiments of the present invention provide an image encoding method, device, and computer-readable storage medium, so as to solve the technical problem that manual image encoding is time-consuming and labor-intensive in the prior art.
  • the first aspect of the embodiments of the present invention is to provide an image coding method, including:
  • the encoding parameter is sent to the image encoder, so that the image encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • the second aspect of the embodiments of the present invention is to provide an image encoding device, including: a memory and a processor;
  • the memory is used to store program codes
  • the processor calls the program code, and when the program code is executed, is used to perform the following operations:
  • the encoding parameter is sent to the image encoder, so that the image encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • a third aspect of the embodiments of the present invention is to provide a computer-readable storage medium having a computer program stored thereon, and the computer program is executed by a processor to implement the image encoding method described in the first aspect.
  • the image encoding method, device, and computer-readable storage medium acquire a set of images to be encoded, and the set of images to be encoded includes at least one image to be encoded;
  • the feature information of the encoded image is extracted to obtain the image feature information;
  • the encoding parameter corresponding to each of the image feature information is determined;
  • the encoding parameter is sent to the image encoder, so that the image encoding is performed on the to-be-determined image according to the encoding parameter.
  • Encode the image for encoding operation Encode the image for encoding operation.
  • FIG. 1 is a schematic flowchart of an image coding method provided by Embodiment 1 of the present invention
  • FIG. 2 is a schematic flowchart of an image encoding method provided by Embodiment 2 of the present invention.
  • FIG. 3 is a schematic flowchart of an image encoding method provided by Embodiment 3 of the present invention.
  • FIG. 4 is a schematic flowchart of an image coding method provided by Embodiment 4 of the present invention.
  • FIG. 5 is a schematic flowchart of an image coding method provided by Embodiment 5 of the present invention.
  • FIG. 6 is a schematic structural diagram of an image coding device provided by Embodiment 6 of the present invention.
  • a component when a component is said to be “fixed to” another component, it can be directly on the other component or a central component may also exist. When a component is considered to be “connected” to another component, it can be directly connected to another component or there may be a centered component at the same time.
  • the existing image coding is generally implemented by an image encoder. Since there are often differences between different images, there are also differences between different image features.
  • the encoder needs to manually extract the features of different images, and adjust the parameters according to the extracted features.
  • the above methods are used for image encoding, on the one hand, the essential features of the image cannot be directly extracted during the feature extraction process.
  • the above methods often require high professional quality of the encoder, and both feature extraction and parameter determination are required.
  • the manual implementation is time-consuming and labor-intensive, resulting in low image coding efficiency.
  • the present invention provides an image encoding method, device and computer-readable storage medium.
  • image encoding method, device, and computer-readable storage medium provided by the present invention can be applied to any image encoding scene.
  • Fig. 1 is a schematic flowchart of an image coding method provided by Embodiment 1 of the present invention. As shown in Fig. 1, the method includes:
  • Step 101 Obtain a set of images to be encoded, where the set of images to be encoded includes at least one image to be encoded;
  • Step 102 Extract feature information of each image to be coded by using a preset feature extraction model to obtain image feature information
  • Step 103 Determine encoding parameters corresponding to each of the image feature information.
  • Step 104 Send the encoding parameter to the image encoder, so that the image encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • a set of images to be encoded may be acquired, where the set of images to be encoded includes at least one image to be encoded.
  • a feature extraction model can be established first. After the coded image set is obtained, the image to be coded in the image set to be coded is added to the preset feature extraction model, through the feature extraction model Perform feature extraction on the image to be coded to obtain image feature information corresponding to the image to be coded.
  • the extraction of image feature information through the preset feature extraction model can effectively improve the accuracy and efficiency of feature extraction, and avoid inaccurate feature extraction and consuming human resources due to manual feature extraction on encoded images.
  • the problem It can be understood that since the image feature information corresponding to similar images is relatively similar, the same coding parameters can be used for image coding for similar images. Therefore, firstly, at least one similar image cluster can be determined, and for each similar image cluster, the corresponding coding parameter can be preset for each similar image cluster, wherein the best coding effect can be obtained by using the coding parameter.
  • the image cluster to which the image feature information belongs is first determined, and then the corresponding relationship to the image feature information can be determined according to the preset correspondence between the image cluster and the encoding parameter Encoding parameters.
  • the encoding parameter can be sent to the image encoder, so that the image encoder can perform image encoding on the image to be encoded according to the encoding parameter, because the encoding parameter can obtain The best coding effect, therefore, can improve the coding accuracy on the basis of improving the image coding efficiency.
  • the set of images to be encoded includes at least one image to be encoded; and extracting the feature information of each image to be encoded through a preset feature extraction model, Obtain image feature information; determine encoding parameters corresponding to each of the image feature information; send the encoding parameters to the image encoder, so that image encoding performs an encoding operation on the image to be encoded according to the encoding parameters.
  • the method further includes:
  • the preset model to be trained is trained through the preset image set to be trained to obtain the feature extraction model.
  • a feature extraction model can be established in advance, and feature extraction is performed on the image to be coded through the feature extraction model. Therefore, a model to be trained can be established first, and the model to be trained can be trained through a preset image set to be trained to obtain the feature extraction model.
  • the model to be trained may be a deep convolutional neural network (for example, Visual Geometry Group Net, VGGNet for short).
  • the VGGNet may have a variety of different structures, such as the VGG-16 model and the VGG-19 model.
  • the VGG-16 model It is a 16-layer deep convolutional neural network
  • the VGG-19 model is a 19-layer deep convolutional neural network.
  • VGG-16 may be specifically used as the model to be trained.
  • the use of the VGG-16 model has higher network performance, lower feature extraction error rate, and stronger scalability.
  • the image set to be trained can be randomly divided into a training set, a test set, and a verification set, the training model is trained through the training set, the output result of the training model is tested through the test set, and the output result of the training model is tested through the verification set. For verification, iterative training is performed on the model to be trained until the model to be trained converges, and a feature extraction model is obtained.
  • other convolutional neural networks can also be used as the model to be trained, and the present invention is not limited here.
  • the image encoding method provided in this embodiment trains the preset model to be trained through the preset image set to be trained to obtain the feature extraction model, so that the feature extraction model can realize the feature extraction of the image to be encoded, thereby improving
  • the accuracy of feature extraction and the saving of human resources provide a basis for improving the accuracy of image coding.
  • the image set to be trained specifically includes a texture data set and a real image data set.
  • any data set containing texture images can be used as the texture data set, for example, Flickr Material Dataset (FMD), Describable Texture Datasets (DTD), etc.
  • Describable Texture Datasets (DTD) can be specifically used.
  • the data sets are divided into 47 categories, and each category has 120 images.
  • the texture data set can be randomly divided into training set, test set and verification set according to the preset ratio.
  • the preset ratio can be 8:1:1, or any other type.
  • the proportion of model training that can be achieved is not limited in the present invention.
  • training the preset model to be trained through the preset image set to be trained includes:
  • the first model is retrained through the real image data set to obtain the feature extraction model.
  • the model to be trained can be trained through the image set to be trained, so that the model to be trained has a feature extraction function.
  • the model to be trained can be first trained through the texture data set in the image set to be trained to obtain the first model. Since the texture data set includes multiple images containing texture information, the first model obtained through the texture data set training The model can effectively identify and extract feature information.
  • the image to be encoded can be any kind of image, including not only texture images. Therefore, in order to enable the first model to have feature extraction capabilities for any kind of image, the first model is also required Make adjustments.
  • the first model can be retrained by using a preset real-scene image data set by means of transfer learning to obtain the feature extraction model.
  • the model to be trained is trained through the texture data set to obtain a first model; the first model is retrained through the real-scene image data set to obtain the feature Extract the model. Therefore, the feature extraction model can effectively extract the image feature information of the image to be coded, and then can set the coding parameters according to the image feature information, simplify the image coding process, and improve the efficiency and accuracy of image coding.
  • Fig. 2 is a schematic flow chart of the image coding method provided in the second embodiment of the present invention. Based on any of the foregoing embodiments, as shown in Fig. 2, the method includes:
  • Step 201 Obtain a set of images to be encoded, where the set of images to be encoded includes at least one image to be encoded;
  • Step 202 Input the image to be encoded into the feature extraction model
  • Step 203 Extract data output by the last convolutional layer in the feature extraction model to obtain image feature information of the image to be encoded;
  • Step 204 Determine encoding parameters corresponding to each of the image feature information.
  • Step 205 Send the encoding parameter to the image encoder, so that the image encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • the data output by the last convolutional layer in the feature extraction model can be directly extracted, and the last one in the feature extraction model
  • the data output by the convolutional layer is used as the image feature information of the image to be encoded.
  • the fully connected layer is needed, but the fully connected layer may not be needed in the process of applying the feature extraction model.
  • the image encoding method provided in this embodiment obtains the image feature information of the image to be encoded by inputting the image to be encoded into the feature extraction model; extracting the data output by the last convolutional layer in the feature extraction model .
  • the extraction efficiency of feature information of the image to be encoded can be effectively improved, and a foundation is provided for improving the encoding efficiency of the image to be encoded.
  • Fig. 3 is a schematic flow chart of an image coding method provided in embodiment 3 of the present invention. Based on any of the foregoing embodiments, as shown in Fig. 3, the method includes:
  • Step 301 Obtain a set of images to be encoded, where the set of images to be encoded includes at least one image to be encoded;
  • Step 302 Extract the feature information of each image to be encoded by using a preset feature extraction model to obtain image feature information
  • Step 303 Perform a clustering operation on the image feature information to obtain at least one image cluster
  • Step 304 Determine the encoding parameter corresponding to the image cluster according to the preset correspondence between the image cluster and the encoding parameter.
  • Step 305 Send the encoding parameter to the image encoder, so that the image encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • a plurality of image feature information corresponding to the image to be encoded is obtained. Since the image feature information corresponding to similar images is relatively similar, the image feature information corresponding to similar images is relatively similar.
  • the image can be encoded with the same encoding parameters. Therefore, firstly, at least one similar image cluster can be determined, and for each similar image cluster, the corresponding coding parameter can be preset for each similar image cluster, wherein the best coding effect can be obtained by using the coding parameter.
  • the image feature information can be clustered to obtain at least one image cluster, and the corresponding relationship between the preset image clusters and encoding parameters is determined, and the encoding parameters corresponding to the image to be encoded are determined, and the image After the encoding parameter corresponding to the feature information, the encoding parameter can be sent to the image encoder, so that the image encoder can perform image encoding on the image to be encoded according to the encoding parameter, and the best encoding effect can be obtained by encoding with the encoding parameter Therefore, it is possible to improve coding accuracy on the basis of improving image coding efficiency.
  • any clustering method can be used to realize the clustering of the image feature information, and the present invention is not limited herein.
  • At least one image cluster is obtained by performing a clustering operation on the image feature information, and the corresponding relationship between the image cluster and the encoding parameter is determined according to the preset image cluster.
  • Corresponding coding parameters can thus accurately determine the coding parameters corresponding to the image to be coded, and thus can improve the coding accuracy on the basis of improving the image coding efficiency.
  • the method includes:
  • the encoding parameter is sent to the image encoder, so that the image encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • the image feature information can be clustered through the vector of the image feature information. Specifically, in order to achieve clustering of image feature information, first, it is necessary to vectorize the image feature information to obtain a vector corresponding to the image feature information. It should be noted that any vectorized representation method can be used to realize the vectorized representation of image feature information, and the present invention is not limited herein. After the vector of image feature information is obtained, at least one image cluster can be determined according to the vector of image feature information.
  • the image coding method provided in this embodiment obtains a vector corresponding to the image feature information by vectorizing the image feature information; the at least one image cluster is determined according to the vector, so that it can be accurately implemented
  • the clustering of image feature information provides a basis for subsequent image coding.
  • the image feature information includes at least one image sub-feature information
  • the method includes:
  • the encoding parameter is sent to the image encoder, so that the image encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • a Fisher Vector can be used to implement vectorized representation of image feature information. Specifically, after feature extraction is performed on the image to be coded, image feature information is obtained.
  • the image feature information includes at least one image sub-feature information.
  • x t represents the sub-feature information of each image, and they approximately satisfy independent and identical distribution.
  • p i represents the Gaussian distribution
  • w represents the combination coefficient
  • D represents the feature vector dimension
  • ⁇ and ⁇ represent the mean and standard deviation of Gaussian distribution
  • Is the standard deviation of the i-th Gaussian model.
  • the image feature information includes at least one image sub-feature information. Therefore, after the linear combination model is established, the probability information of each image sub-feature belonging to each Gaussian distribution can be calculated. Specifically, the calculation of the probability information can be realized according to formula 3:
  • the vector corresponding to the preset combination coefficient, mean, and standard deviation can be normalized to obtain vector information corresponding to the image feature information. Furthermore, the clustering of image feature information and the determination of coding parameters can be realized according to the vector information.
  • the image coding method provided in this embodiment establishes a linear combination model corresponding to the image feature information and includes at least one Gaussian distribution; calculates the probability information of each image sub-feature information belonging to each Gaussian distribution; according to the linear combination model and the The probability information respectively obtains partial derivatives of the preset combination coefficient, mean, and standard deviation, and obtains the vector corresponding to the preset combination coefficient, mean, and standard deviation; for the preset combination coefficient, mean, and standard deviation.
  • the method includes:
  • the encoding parameter is sent to the image encoder, so that the image encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • the image feature information can be divided into at least one image cluster according to the similarity and difference of the image feature information.
  • an unsupervised learning classification method can be used to perform the image clustering operation.
  • the classification method of unsupervised learning includes at least one of the following: prototype clustering algorithm, hierarchical clustering algorithm, density clustering algorithm, and expectation-maximum (EM algorithm for short).
  • the at least one image cluster is determined according to the vector information through the classification method of unsupervised learning, so that the clustering of image feature information can be realized, and the subsequent improvement of image coding efficiency is provided. basis.
  • Fig. 4 is a schematic flow chart of an image coding method provided in embodiment 4 of the present invention. Based on any of the above embodiments, as shown in Fig. 4, the method includes:
  • Step 401 Obtain a set of images to be encoded, where the set of images to be encoded includes at least one image to be encoded;
  • Step 402 Extract the feature information of each image to be encoded by using a preset feature extraction model to obtain image feature information
  • Step 403 Perform a clustering operation on the image feature information to obtain at least one image cluster
  • Step 404 For each of the image clusters, select a preset number of images to be tested;
  • Step 405 Perform an image encoding operation on each of the images to be tested respectively by using at least one preset encoding parameter
  • Step 406 Calculate the quality parameters of each image to be tested after the decoding operation is performed
  • Step 407 For each encoding parameter, calculate an average value of the quality parameter corresponding to at least one image to be tested for image encoding using the encoding parameter;
  • Step 408 Use an encoding parameter whose average value of a quality parameter satisfies a preset condition as an encoding parameter corresponding to the image cluster, and establish a correspondence between the image cluster and the encoding parameter;
  • Step 409 Send the encoding parameter to the image encoder, so that the image encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • a corresponding coding parameter can be set for it, so that subsequent image coding can be performed according to the coding parameter.
  • multiple groups of coding parameters can be summarized based on historical experience, and each group includes at least one coding parameter. And select a preset number of images to be tested from each image cluster. For each image to be tested, the image to be tested is encoded by at least one preset encoding parameter.
  • the coding parameters of the preset conditions are used as the coding parameters corresponding to the image clusters, and the correspondence between the image clusters and the coding parameters is established.
  • the preset conditions that the quality parameters need to meet can be adjusted according to actual needs.
  • the preset conditions can be the encoding parameter with the highest quality parameter as the encoding parameter corresponding to the image clustering.
  • the preset condition It may also be that the encoding parameter with the lowest quality parameter is used as the encoding parameter corresponding to the image clustering, which is not limited in the present invention.
  • the image to be encoded is vectorized and the image cluster to which it belongs is determined, and the encoding parameters can be obtained directly according to the corresponding relationship, thereby improving the efficiency of acquiring the encoding parameters.
  • the image coding method provided in this embodiment selects a preset number of images to be tested by clustering each of the images, and performs image coding operations on each of the images to be tested with at least one preset coding parameter, and calculates For the quality parameters of each image to be tested after the decoding operation, for each encoding parameter, calculate the average value of the quality parameter corresponding to at least one image to be tested using the encoding parameter for image encoding, and use the encoding parameter with the largest average value of the quality parameter as the and
  • the corresponding coding parameters of the image clusters establish the correspondence between the image clusters and the coding parameters.
  • the encoding parameter whose average value of the quality parameter satisfies a preset condition is used as the encoding parameter corresponding to the image cluster to establish the image cluster and the encoding Correspondence between parameters, including:
  • the encoding parameter with the largest mean value of the quality parameter is used as the encoding parameter corresponding to the image cluster, and the correspondence between the image cluster and the encoding parameter is established.
  • the encoding parameter with the largest average quality parameter can be used as the encoding parameter corresponding to the image clustering.
  • the encoding parameter with the largest mean value of the quality parameter is used as the encoding parameter corresponding to the image cluster to establish the correspondence between the image cluster and the encoding parameter, thereby enabling Improve the efficiency of obtaining coding parameters.
  • the quality parameter includes at least one of the peak signal-to-noise ratio of the test image before and after decoding, the structural consistency of the test image before and after decoding, and the mean square error of the test image before and after decoding.
  • Fig. 5 is a schematic flowchart of an image coding method provided by embodiment 5 of the present invention. Based on any of the foregoing embodiments, as shown in Fig. 5, the method includes:
  • Step 501 Obtain a set of images to be encoded, where the set of images to be encoded includes at least one image to be encoded;
  • Step 502 Extract feature information of each image to be coded by using a preset feature extraction model to obtain image feature information
  • Step 503 Determine encoding parameters corresponding to each of the image feature information.
  • Step 504 Determine the image scene of the image to be encoded corresponding to each of the image feature information.
  • Step 505 Store the image scene in association with the encoding parameter.
  • the image coding method specifically includes an online (online) coding method and an offline (offline) coding method.
  • the online coding method the feature extraction of the image to be coded can be performed first, the image feature information corresponding to the image to be coded can be obtained, the image cluster to which the image feature information belongs is determined, and the relationship between the preset image cluster and coding parameters Correspondence between, determine the encoding parameter, and send the encoding parameter to the image encoder, so that the image encoder performs image encoding on the image to be encoded according to the encoding parameter.
  • the image scene to which the image to be encoded belongs can be determined, and the encoding parameters required by the current image to be encoded can be determined according to the correspondence between the image scene and the encoding parameters, and the image encoder can then determine the encoding parameters according to the encoding parameters. Realize the encoding of the image to be encoded.
  • the image encoding method provided in this embodiment determines the image scene of the image to be encoded corresponding to each of the image clusters, and stores the image scene in association with the encoding parameters, thereby enabling offline encoding and further improving Improved image coding efficiency.
  • the method includes:
  • the encoding parameter is sent to the image encoder, so that the image encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • the encoding of the image to be encoded can be implemented according to the corresponding relationship.
  • the corresponding relationship may be built in the image encoder, or may be set in a physical device independent of the image encoder, and the present invention is not limited herein.
  • the image scene corresponding to the image to be encoded in the image set to be encoded can be determined first, the encoding parameter corresponding to the image scene is obtained, and the encoding parameter is sent to the image encoder, so that the image is encoded
  • the device can encode the image to be encoded according to the encoding parameter.
  • the image encoding method provided in this embodiment determines the image scene corresponding to the image to be encoded in the image set to be encoded; obtains the encoding parameter corresponding to the image scene; and sends the encoding parameter to the image encoder so that the image Encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • offline coding can be realized, which further improves the image coding efficiency.
  • the characteristic information of the image to be encoded is texture information of the image to be encoded.
  • the texture information of the image is a visual feature that reflects the homogeneity phenomenon in the image, reflects the intrinsic properties shared by the surface of the object, and contains important information about the structure and arrangement of the surface of the object and the relationship between them and the surrounding environment. Texture information has three major signs: a certain partial sequence is repeated continuously, non-random arrangement and a roughly uniform unity in the texture area. Therefore, the texture information contains rich and specific image information, which can describe the content of the image well, so that the texture information of the image can be used as the characteristic information of the image to be encoded.
  • the image encoding method provided in this embodiment uses the texture information of the image to be encoded as the feature information of the image to be encoded, thereby improving the accuracy of feature extraction of the image to be encoded, and provides a basis for subsequent clustering and encoding of the image to be encoded .
  • the encoding parameters include at least one of a typical quantization parameter design, a quantization table design, a feature transformation accuracy design, and a rate control proportional design.
  • FIG. 6 is a schematic structural diagram of an image encoding device provided by Embodiment 6 of the present invention. As shown in FIG. 6, the device includes: a memory 61 and a processor 62;
  • the memory 61 is used to store program codes
  • the processor 62 calls the program code, and when the program code is executed, is used to perform the following operations:
  • the encoding parameter is sent to the image encoder, so that the image encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • the image encoding device acquires a set of images to be encoded, and the set of images to be encoded includes at least one image to be encoded; and extracts the feature information of each image to be encoded through a preset feature extraction model, Obtain image feature information; determine encoding parameters corresponding to each of the image feature information; send the encoding parameters to the image encoder, so that image encoding performs an encoding operation on the image to be encoded according to the encoding parameters.
  • the automatic encoding of the image to be encoded can be realized, the image encoding efficiency can be effectively improved, and human resources can be saved.
  • the processor before extracting the feature information of the image to be encoded by using a preset feature extraction model, the processor is further configured to:
  • the preset model to be trained is trained through the preset image set to be trained to obtain the feature extraction model.
  • the image set to be trained includes a texture data set and a real-scene image data set.
  • the processor is configured to: when training the preset model to be trained through the preset image set to be trained:
  • the first model is retrained through the real image data set to obtain the feature extraction model.
  • the processor extracts the feature information of the image to be encoded through a preset feature extraction model, and when obtaining image feature information, is used to:
  • the data output by the last convolutional layer in the feature extraction model is extracted to obtain the feature information of the image to be encoded.
  • the processor when determining the encoding parameter corresponding to the image feature information, is configured to:
  • the encoding parameter corresponding to the image cluster is determined according to the preset correspondence between the image cluster and the encoding parameter.
  • the processor performs a clustering operation on the image feature information, and when obtaining at least one image cluster, it is used to:
  • the at least one image cluster is determined according to the vector.
  • the image feature information includes at least one image sub-feature information
  • the processor is performing a vectorized representation on the image feature information to obtain the same information as the image feature information.
  • the vectorized representation of the image feature information is performed through the Fisher-Vector algorithm to obtain vector information corresponding to the image feature information.
  • the processor when determining the at least one image cluster according to the vector information, is configured to:
  • the at least one image cluster is determined according to the vector information through a classification method of unsupervised learning.
  • the classification method for unsupervised learning includes at least one of the following:
  • Prototype clustering algorithm hierarchical clustering algorithm, density clustering algorithm, maximum expectation algorithm.
  • the processor when determining the encoding parameter corresponding to the image cluster according to the preset correspondence between the image cluster and the encoding parameter, is configured to:
  • the coding parameter whose average value of the quality parameter satisfies the preset condition is used as the coding parameter corresponding to the image cluster, and the corresponding relationship between the image cluster and the coding parameter is established.
  • the processor uses the coding parameter whose average value of the quality parameter satisfies a preset condition as the coding parameter corresponding to the image cluster to establish the image cluster and
  • the corresponding relationship between the encoding parameters is used for:
  • the encoding parameter with the largest mean value of the quality parameter is used as the encoding parameter corresponding to the image cluster, and the correspondence between the image cluster and the encoding parameter is established.
  • the quality parameter includes at least one of the peak signal-to-noise ratio, the structural consistency of the test image before and after decoding, and the mean square error of the test image before and after decoding.
  • the processor is further configured to:
  • the processor is further configured to:
  • the encoding parameter is sent to the image encoder, so that the image encoding performs an encoding operation on the image to be encoded according to the encoding parameter.
  • the characteristic information of the image to be encoded is texture information of the image to be encoded.
  • the encoding parameters include at least one of a typical quantization parameter design, a quantization table design, a feature transformation accuracy design, and a rate control proportional design.
  • this embodiment also provides a computer-readable storage medium on which a computer program is stored, and the computer program is executed by a processor to implement the image encoding method described in the foregoing embodiment.
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are merely illustrative.
  • the division of the units is only a logical function division, and there may be other divisions in actual implementation, for example, multiple units or components can be combined or It can be integrated into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional units in the various embodiments of the present invention may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit may be implemented in the form of hardware, or may be implemented in the form of hardware plus software functional units.
  • the above-mentioned integrated unit implemented in the form of a software functional unit may be stored in a computer readable storage medium.
  • the above-mentioned software functional unit is stored in a storage medium and includes several instructions to make a computer device (which may be a personal computer, a server, or a network device, etc.) or a processor execute the method described in the various embodiments of the present invention. Part of the steps.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program code .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供一种图像编码方法、设备及计算机可读存储介质，方法包括：获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；确定与各所述图像特征信息对应的编码参数；将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。从而能够实现对待编码图像的自动编码，有效地提高图像编码效率，且能够节约人力资源。

Description

图像编码方法、设备及计算机可读存储介质 技术领域
本发明实施例涉及图像处理领域，尤其涉及一种图像编码方法、设备及计算机可读存储介质。
背景技术
由于图像信息中往往包含很多的冗余信息，因此，当利用数字方法传输或存储时需要对图像信息进行图像编码。图像编码也称图像压缩，是指在满足一定质量的条件下，以较少比特数表示图像或图像中所包含信息的技术。
现有的图像编码一般通过图像编码器实现，由于不同的图像之间往往存在差异，故不同的图像特征之间也存在差异。在通过图像编码器进行图像编码时，需要编码人员人工对不同图像进行特征提取，并根据提取到的特征进行参数调节。
但是，采用上述方法进行图像编码时，一方面在特征提取过程中无法直接提取到图像的本质特征，另一方面，上述方法往往对编码人员的专业素质要求较高，且特征提取以及参数确定均由人工实现，较为耗时耗力，进而导致图像编码效率较低。
发明内容
本发明实施例提供一种图像编码方法、设备及计算机可读存储介质，以解决现有技术中通过人工进行图像编码较为耗时耗力的技术问题。
本发明实施例的第一方面是提供一种图像编码方法，包括：
获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；
确定与各所述图像特征信息对应的编码参数；
将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数 对所述待编码图像进行编码操作。
本发明实施例的第二方面是提供一种图像编码设备，包括：存储器和处理器；
所述存储器用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；
确定与各所述图像特征信息对应的编码参数；
将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
本发明实施例的第三方面是提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的图像编码方法。
本实施例提供的图像编码方法、设备及计算机可读存储介质，通过获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；确定与各所述图像特征信息对应的编码参数；将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。从而能够实现对待编码图像的自动编码，有效地提高图像编码效率，且能够节约人力资源。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的图像编码方法的流程示意图；
图2为本发明实施例二提供的图像编码方法的流程示意图；
图3为本发明实施例三提供的图像编码方法的流程示意图；
图4为本发明实施例四提供的图像编码方法的流程示意图；
图5为本发明实施例五提供的图像编码方法的流程示意图；
图6为本发明实施例六提供的图像编码设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
现有的图像编码一般通过图像编码器实现，由于不同的图像之间往往存在差异，故不同的图像特征之间也存在差异。在通过图像编码器进行图像编码时，需要编码人员人工对不同图像进行特征提取，并根据提取到的特征进行参数调节。但是，采用上述方法进行图像编码时，一方面在特征提取过程中无法直接提取到图像的本质特征，另一方面，上述方法往往对编码人员的专业素质要求较高，且特征提取以及参数确定均由人工实现，较为耗时耗力，进而导致图像编码效率较低。为了解决上述技术问题，本发明提供了一种图像编码方法、设备及计算机可读存储介质。
需要说明的是，本发明提供的图像编码方法、设备及计算机可读存储介质能够应用在任意一种图像编码的场景中。
图1为本发明实施例一提供的图像编码方法的流程示意图，如图1所示，所述方法包括：
步骤101、获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
步骤102、通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；
步骤103、确定与各所述图像特征信息对应的编码参数；
步骤104、将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
在本实施例中，为了实现对待编码图像的编码，首先需要对待编码图像进行特征提取。具体地，可以获取待编码图像集，其中，待编码图像集中包括至少一张待编码图像。为了实现对待编码图像的图像特征信息的提取，首先可以建立特征提取模型，获取到编码图像集之后，将该待编码图像集中的待编码图像添加至预设的特征提取模型中，通过特征提取模型对该待编码图像进行特征提取，获得与待编码图像对应的图像特征信息。需要说明的是，通过预设的特征提取模型实现对图像特征信息的提取能够有效地提高特征提取的精准度以及效率，避免由于人工对待编码图像进行特征提取造成的特征提取不准确且耗费人力资源的问题。可以理解的是，由于相似的图像对应的图像特征信息较为相似，故针对相似的图像可以采用同样的编码参数进行图像编码。因此，首先可以确定至少一个相似图像聚类，针对各相似图像聚类，可以预先为其设置与其对应的编码参数，其中，使用该编码参数可以获得最佳编码效果。进一步地，获得与待编码图像对应的图像特征信息之后，首先确定该图像特征信息所属的图像聚类，后续可以根据预设的图像聚类与编码参数的对应关系，确定与该图像特征信息对应的编码参数。确定与该图像特征信息对应的编码参数之后，可以将该编码参数发送至图像编码器，从而图像编码器可以根据该编码参数对该待编码图像进行图像编码，由于通过该编码参数进行编码能够获得最佳编码效果，因此，能够在提高图像编码效率的基础上，提高编码精度。
本实施例提供的图像编码方法，通过获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；通过预设的特征提取模型对各所述待 编码图像的特征信息进行提取，获得图像特征信息；确定与各所述图像特征信息对应的编码参数；将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。从而能够实现对待编码图像的自动编码，有效地提高图像编码效率，且能够节约人力资源。
进一步地，在上述实施例的基础上，通过预设的特征提取模型对所述待编码图像的特征信息进行提取之前，所述方法还包括：
通过预设的待训练图像集对预设的待训练模型进行训练，获得所述特征提取模型。
在本实施例中，由于现有的图像编码方法中，一般通过编码人员人工对不同图像进行特征提取，但是，人工对待编码图像进行特征提取的过程中，往往无法直接提取到图像的本质特征，且较为耗费人力资源。因此，为了提高特征提取的精度以及节约人力资源，可以预先建立特征提取模型，通过该特征提取模型对待编码图像进行特征提取。因此，首先可以建立待训练模型，并通过预设的待训练图像集对该待训练模型进行训练，获得该特征提取模型。其中，待训练模型可以为深度卷积神经网络(例如Visual Geometry Group Net，简称VGGNet)，该VGGNet可以具有多种不同的结构，例如VGG-16模型和VGG-19模型，其中，VGG-16模型为16层深的卷积神经网络，VGG-19模型为19层深的卷积神经网络，本发明实施例中具体可以采用VGG-16作为待训练模型。需要说明的是，采用VGG-16模型具有较高的网络性能，特征提取错误率较低，且扩展性较强。具体地，可以将待训练图像集随机分为训练集、测试集与验证集，通过训练集对待训练模型进行训练，通过测试集对待训练模型输出结果进行测试，通过验证集对待训练模型输出结果进行验证，对待训练模型进行迭代训练，直至该待训练模型收敛，获得特征提取模型。此外，还可以采用其他卷积神经网络作为待训练模型，本发明在此不做限制。
本实施例提供的图像编码方法，通过预设的待训练图像集对预设的待训练模型进行训练，获得所述特征提取模型，从而能够通过特征提取模型实现对待编码图像的特征提取，从而提高特征提取的精度以及节约人力资源，为提高图像编码精度提供了基础。
需要说明的是，待训练图像集具体包括纹理数据集以及实景图像数据 集。其中，可以采用任意一种包含纹理图像的数据集作为纹理数据集，举例来说，可以为Flickr Material Dataset(FMD)，Describable Texture Datasets(DTD)等。本发明实施例中具体可以采用Describable Texture Datasets(DTD)，该数据集分为47类，其中，每类具有120张图像。在实际训练过程中，可以将纹理数据集按照预设的比例随机分为训练集、测试集以及验证集，其中，预设的比例具体可以为8：1：1，也可以为其他任意一种能够实现模型训练的比例，本发明在此不做限制。
相应地，通过预设的待训练图像集对预设的待训练模型进行训练，包括：
通过所述纹理数据集对所述待训练模型进行训练，获得第一模型；
通过所述实景图像数据集对所述第一模型进行再训练，获得所述特征提取模型。
在本实施例中，获得待训练图像集之后，可以通过待训练图像集对待训练模型进行训练，以使待训练模型具有特征提取的功能。具体地，可以首先通过待训练图像集中的纹理数据集对待训练模型进行初次训练，获得第一模型，由于纹理数据集中包括多张包含纹理信息的图像，因此，通过纹理数据集训练获得的第一模型能够有效的对特征信息进行识别与提取。但是，由于实际应用过程中，待编码图像可以为任意一种图像，不仅包含纹理图像，因此，为了使第一模型能够对任意一种图像均具有特征提取的能力，还需要对该第一模型进行调整。具体地，可以通过迁移学习的方式使用预设的实景图像数据集对该第一模型进行再训练，获得该特征提取模型。
本实施例提供的图像编码方法，通过所述纹理数据集对所述待训练模型进行训练，获得第一模型；通过所述实景图像数据集对所述第一模型进行再训练，获得所述特征提取模型。从而能够使特征提取模型能够有效地提取出待编码图像的图像特征信息，进而能够根据该图像特征信息进行编码参数的设置，简化了图像编码的流程，并提高了图像编码的效率与精度。
图2为本发明实施例二提供的图像编码方法的流程示意图，在上述任一实施例的基础上，如图2所示，所述方法包括：
步骤201、获取待编码图像集，所述待编码图像集中包括至少一张待 编码图像；
步骤202、将所述待编码图像输入至所述特征提取模型；
步骤203、提取所述特征提取模型中最后一个卷积层输出的数据，获得所述待编码图像的图像特征信息；
步骤204、确定与各所述图像特征信息对应的编码参数；
步骤205、将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
在本实施例中，为了提高图像特征信息提取的效率，将待编码图像输入至特征提取模型之后，可以直接提取特征提取模型中最后一个卷积层输出的数据，并将特征提取模型中最后一个卷积层输出的数据作为待编码图像的图像特征信息。通过将特征提取模型中最后一个卷积层输出的数据作为待编码图像的图像特征信息，从而无需经过全连接层，进而无需限制输入的大小，对于采集到的各种大小的图像，均能直接进行特征提取。
需要说明的是，在特征提取模型训练的过程中，需要该全连接层，而在该特征提取模型应用过程中可以无需该全连接层。
本实施例提供的图像编码方法，通过将所述待编码图像输入至所述特征提取模型；提取所述特征提取模型中最后一个卷积层输出的数据，获得所述待编码图像的图像特征信息。从而能够有效地提高待编码图像特征信息的提取效率，为提高待编码图像的编码效率提供了基础。
图3为本发明实施例三提供的图像编码方法的流程示意图，在上述任一实施例的基础上，如图3所示，所述方法包括：
步骤301、获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
步骤302、通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；
步骤303、对所述图像特征信息进行聚类操作，获得至少一个图像聚类；
步骤304、根据预设的图像聚类与编码参数之间的对应关系确定与所述图像聚类对应的编码参数；
步骤305、将所述编码参数发送至图像编码器，以使图像编码根据所 述编码参数对所述待编码图像进行编码操作。
在本实施例中，对待编码图像集中的各待编码图像进行图像特征信息提取之后，获得多个与待编码图像对应的图像特征信息，由于相似的图像对应的图像特征信息较为相似，故针对相似的图像可以采用同样的编码参数进行图像编码。因此，首先可以确定至少一个相似图像聚类，针对各相似图像聚类，可以预先为其设置与其对应的编码参数，其中，使用该编码参数可以获得最佳编码效果。具体地，可以对图像特征信息进行聚类操作，获得至少一个图像聚类，针对预设的图像聚类以及编码参数之间的对应关系，确定与待编码图像对应的编码参数，确定与该图像特征信息对应的编码参数之后，可以将该编码参数发送至图像编码器，从而图像编码器可以根据该编码参数对该待编码图像进行图像编码，由于通过该编码参数进行编码能够获得最佳编码效果，因此，能够在提高图像编码效率的基础上，提高编码精度。其中，可以采用任意一种聚类方式实现对图像特征信息的聚类，本发明在此不做限制。
本实施例提供的图像编码方法，通过对所述图像特征信息进行聚类操作，获得至少一个图像聚类，根据预设的图像聚类与编码参数之间的对应关系确定与所述图像聚类对应的编码参数，从而能够精准地确定待编码图像对应的编码参数，进而能够在提高图像编码效率的基础上，提高编码精度。
进一步地，在上述任一实施例的基础上，所述方法包括：
获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；
对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量；
根据所述向量确定所述至少一个图像聚类；
根据预设的图像聚类与编码参数之间的对应关系确定与所述图像聚类对应的编码参数；
将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
在本实施例中，可以通过图像特征信息的向量实现对图像特征信息的聚类。具体地，为了实现对图像特征信息的聚类，首先，需要对图像特征信息进行向量化表示，获得与图像特征信息对应的向量。需要说明的是，可以采用任意一种向量化表示方法实现对图像特征信息的向量化表示，本发明在此不做限制。获得图像特征信息的向量之后，即可以根据该图像特征信息的向量确定至少一个图像聚类。
本实施例提供的图像编码方法，通过对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量；根据所述向量确定所述至少一个图像聚类，从而能够精准地实现对图像特征信息的聚类，为后续图像编码提供了基础。
进一步地，在上述任一实施例的基础上，图像特征信息中包括至少一个图像子特征信息，所述方法包括：
获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；
通过Fisher-Vector算法对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量信息；
根据所述向量确定所述至少一个图像聚类；
根据预设的图像聚类与编码参数之间的对应关系确定与所述图像聚类对应的编码参数；
将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
在本实施例中，可以采用Fisher Vector实现对图像特征信息的向量化表示。具体地，对待编码图像进行特征提取后，获得图像特征信息，图像特征信息中包括至少一个图像子特征信息，该图像可以表示为：X＝{x t,t＝1,2…,T}，其中x t表示每个图像子特征信息，它们近似满足独立同分布。首先需要建立所述图像特征信息对应的包括至少一个高斯分布的线性组合模型，如公式1与公式2表示：
Figure PCTCN2019075762-appb-000001
Figure PCTCN2019075762-appb-000002
其中，p i表示高斯分布，w表示组合系数，
Figure PCTCN2019075762-appb-000003
D表示特征向量维度，μ和σ分别表示高斯分布的均值和标准差，
Figure PCTCN2019075762-appb-000004
为第i个高斯模型的标准差。
图像特征信息中包括至少一个图像子特征信息，因此，建立了线性组合模型之后，可以计算各图像子特征属于各高斯分布的概率信息，具体可以根据公式3实现对该概率信息的计算：
Figure PCTCN2019075762-appb-000005
根据该线性组合模型以及概率信息分别对预设的组合系数、均值以及标准差求偏导，获得与预设的组合系数、均值以及标准差对应的向量，如公式4所示：
Figure PCTCN2019075762-appb-000006
Figure PCTCN2019075762-appb-000007
Figure PCTCN2019075762-appb-000008
获得与预设的组合系数、均值以及标准差对应的向量之后，可以对与预设的组合系数、均值以及标准差对应的向量进行归一化操作，进而能够获得图像特征信息对应的向量信息。进而能够根据该向量信息实现对图像特征信息的聚类以及编码参数的确定。
本实施例提供的图像编码方法，通过建立所述图像特征信息对应的包括至少一个高斯分布的线性组合模型；计算各图像子特征信息属于各高斯分布的概率信息；根据所述线性组合模型以及所述概率信息分别对预设的组合系数、均值以及标准差求偏导，获得与预设的组合系数、均值以及标准差对应的向量；对所述与预设的组合系数、均值以及标准差对应的向量进行归一化操作，获得所述与所述图像特征信息对应的向量信息，从而能够精准地计算获得与图像特征信息对应的向量，进而能够根据该向量信息实现对图像特征信息的聚类以及编码参数的确定，为提高图像编码的效率 提供了基础。
进一步地，在上述任一实施例的基础上，所述方法包括：
获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；
对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量；
通过无监督学习的分类方法根据所述向量信息确定所述至少一个图像聚类；
根据预设的图像聚类与编码参数之间的对应关系确定与所述图像聚类对应的编码参数；
将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
在本实施例中，可以根据图像特征信息的相似性和差异性，将图像特征信息划分为至少一个图像聚类，具体地，可以采用无监督学习的分类方法进行图像聚类操作。
其中，无监督学习的分类方法包括以下至少一项：原型聚类算法，层次聚类算法、密度聚类算法、最大期望算法(Expectation-Maximum，简称EM算法)。
本实施例提供的图像编码方法，通过通过无监督学习的分类方法根据所述向量信息确定所述至少一个图像聚类，从而能够实现对图像特征信息的聚类，为后续提高图像编码效率提供了基础。
图4为本发明实施例四提供的图像编码方法的流程示意图，在上述任一实施例的基础上，如图4所示，所述方法包括：
步骤401、获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
步骤402、通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；
步骤403、对所述图像特征信息进行聚类操作，获得至少一个图像聚类；
步骤404、针对每个所述图像聚类，选取预设数量的待测图像；
步骤405、通过预设的至少一个编码参数分别对各所述待测图像进行图像编码操作；
步骤406、计算进行解码操作后的各待测图像的质量参数；
步骤407、针对各编码参数，计算使用所述编码参数进行图像编码的至少一张待测图像对应的质量参数均值；
步骤408、将质量参数均值满足预设的条件的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系；
步骤409、将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
在本实施例中，获得至少一个图像聚类之后，针对每个图像聚类，可以为其设置对应的编码参数，以便后续根据该编码参数进行图像编码。具体地，可以根据历史经验总结出多组编码参数，每组中包括至少一个编码参数。并从各图像聚类中选取预设数量的待测图像。针对各待测图像，通过预设的至少一个编码参数对该待测图像进行编码。对编码后的待测图像进行解码操作，计算获得解码后的待测图像的质量参数，针对各编码参数，计算使用该编码参数进行编码的待测图像的质量参数均值，可以将质量参数均值满足预设的条件的编码参数作为与图像聚类的对应的编码参数，建立图像聚类与编码参数之间的对应关系。实际应用中，质量参数需满足的预设的条件可以根据实际需求进行调节，举例来说，预设的条件可以为将质量参数最高的编码参数作为图像聚类对应的编码参数，预设的条件还可以为将质量参数最低的编码参数作为图像聚类对应的编码参数，本发明在此不做限制。后续在接收到待编码图像，对该待编码图像进行向量化表示，确定其所属的图像聚类后，可以直接根据该对应关系实现对编码参数的获取，进而能够提高编码参数的获取效率，此外，还能够提高图像编码的精度。本实施例提供的图像编码方法，通过针对每个所述图像聚类，选取预设数量的待测图像，通过预设的至少一个编码参数分别对各所述待测图像进行图像编码操作，计算进行解码操作后的各待测图像的质量参数，针对各编码参数，计算使用所述编码参数进行图像编码的至少一张待测图像对 应的质量参数均值，将质量参数均值最大的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系。从而能够快速地实现对编码参数的获取，提高图像编码的效率以及精准度。
进一步地，在上述任一实施例的基础上，所述将质量参数均值满足预设的条件的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系，包括：
将质量参数均值最大的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系。
在本实施例中，若质量参数均值较高，则表征该图像聚类较为适合使用该编码参数进行编码，因此，可以将质量参数均值最大的编码参数作为与图像聚类对应的编码参数，实现图像聚类与编码参数之间对应关系的建立。后续在接收到待编码图像，对该待编码图像进行向量化表示，确定其所属的图像聚类后，可以直接根据该对应关系实现对编码参数的获取，进而能够提高编码参数的获取效率，此外，还能够提高图像编码的精度。
本实施例提供的图像编码方法，通过将质量参数均值最大的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系，从而能够提高编码参数的获取效率。
需要说明的是，质量参数包括解码前后待测图像的峰值信噪比、解码前后待测图像的结构一致性、解码前后待测图像的均方差中的至少一项。通过将解码前后待测图像的峰值信噪比、解码前后待测图像的结构一致性、解码前后待测图像的均方差中的至少一项作为质量参数，从而能够精准地确定最适合图像聚类的编码参数，进一步地提高了图像编码的精准度。
图5为本发明实施例五提供的图像编码方法的流程示意图，在上述任一实施例的基础上，如图5所示，所述方法包括：
步骤501、获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
步骤502、通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；
步骤503、确定与各所述图像特征信息对应的编码参数；
步骤504、确定与各所述图像特征信息对应的待编码图像的图像场景；
步骤505、将所述图像场景与所述编码参数关联存储。
在本实施例中，针对不同的需求以及应用场景，可以分别采用不同的图像编码方式。举例来说，图像编码方式具体包括线上(online)编码方式以及线下(offline)编码方式。当采用线上编码方式时，首先可以对待编码图像进行特征提取，获得待编码图像对应的图像特征信息，确定该图像特征信息所属图像聚类，并根据预设的图像聚类与编码参数之间的对应关系，确定编码参数，将该编码参数发送至图像编码器，以使图像编码器根据该编码参数对该待编码图像进行图像编码。当采用线下编码方式时，首先可以提取多张待编码图像对应的图像特征信息，确定该图像特征信息所属图像聚类，并根据预设的图像聚类与编码参数之间的对应关系，确定编码参数，进一步地，确定各图像聚类对应的待编码图像所属的图像场景，建立图像场景与编码参数之间的对应关系，其中图像场景包括但不限于雨天场景、山川场景、城市场景等。因此，在收到待编码图像后，可以确定待编码图像所属的图像场景，根据图像场景与编码参数之间的对应关系确定当前待编码图像所需编码参数，进而图像编码器可以根据该编码参数实现对待编码图像的编码。
本实施例提供的图像编码方法，通过确定与各所述图像聚类对应的待编码图像的图像场景，将所述图像场景与所述编码参数关联存储，从而能够实现线下编码，进一步地提高了图像编码效率。
进一步地，在上述任一实施例的基础上，所述方法包括：
获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
确定所述待编码图像集中待编码图像对应的图像场景；
获取与所述图像场景对应的编码参数；
将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
在本实施例中，待编码图像的图像场景与编码参数之间的对应关系之后，可以根据该对应关系实现对待编码图像的编码。该对应关系可以内置在图像编码器中，也可以设置在独立与图像编码器的实体装置中，本发明在此不做限制。具体地，接收到待编码图像集之后，首先可以确定该待编码图像集中待编码图像对应的图像场景，获取与该图像场景对应的编码参 数，将该编码参数发送至图像编码器，从而图像编码器能够根据该编码参数对待编码图像进行编码。
本实施例提供的图像编码方法，通过确定所述待编码图像集中待编码图像对应的图像场景；获取与所述图像场景对应的编码参数；将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。从而能够实现线下编码，进一步地提高了图像编码效率。
进一步地，在上述任一实施例的基础上，所述待编码图像的特征信息为所述待编码图像的纹理信息。
在本实施例中，图像的纹理信息是反映图像中同质现象的视觉特征，体现了物体表面共有的内在属性，包含了物体表面结构组织排列的重要信息以及它们与周围环境之间的联系。纹理信息具有三大标志：某种局部序列性不断重复，非随机排列和纹理区域内大致为均匀的统一体。因此，纹理信息包含着丰富且具体的图像信息，可以很好地描述图像的内容，从而可以将图像的纹理信息作为待编码图像的特征信息。
本实施例提供的图像编码方法，通过将待编码图像的纹理信息作为待编码图像的特征信息，从而能够提高待编码图像特征提取的精准度，为后续待编码图像的聚类、编码提供了基础。
进一步地，在上述任一实施例的基础上，所述编码参数包括典型量化参数设计、量化表设计、特征变换精度设计、码率控制的比例设计中的至少一项。
图6为本发明实施例六提供的图像编码设备的结构示意图，如图6所示，所述设备包括：存储器61和处理器62；
所述存储器61用于存储程序代码；
所述处理器62，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；
确定与各所述图像特征信息对应的编码参数；
将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数 对所述待编码图像进行编码操作。
本实施例提供的图像编码设备，通过获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；确定与各所述图像特征信息对应的编码参数；将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。从而能够实现对待编码图像的自动编码，有效地提高图像编码效率，且能够节约人力资源。
进一步地，在上述任一实施例的基础上，所述处理器在通过预设的特征提取模型对所述待编码图像的特征信息进行提取之前，还用于：
通过预设的待训练图像集对预设的待训练模型进行训练，获得所述特征提取模型。
进一步地，在上述任一实施例的基础上，所述待训练图像集中包括纹理数据集以及实景图像数据集。
进一步地，在上述任一实施例的基础上，所述处理器在通过预设的待训练图像集对预设的待训练模型进行训练时，用于：
通过所述纹理数据集对所述待训练模型进行训练，获得第一模型；
通过所述实景图像数据集对所述第一模型进行再训练，获得所述特征提取模型。
进一步地，在上述任一实施例的基础上，所述处理器通过预设的特征提取模型对所述待编码图像的特征信息进行提取，获得图像特征信息时，用于：
将所述待编码图像输入至所述特征提取模型；
提取所述特征提取模型中最后一个卷积层输出的数据，获得所述待编码图像的特征信息。
进一步地，在上述任一实施例的基础上，所述处理器在确定与所述图像特征信息对应的编码参数时，用于：
对所述图像特征信息进行聚类操作，获得至少一个图像聚类；
根据预设的图像聚类与编码参数之间的对应关系确定与所述图像聚类对应的编码参数。
进一步地，在上述任一实施例的基础上，所述处理器对所述图像特征 信息进行聚类操作，获得至少一个图像聚类时，用于：
对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量；
根据所述向量确定所述至少一个图像聚类。
进一步地，在上述任一实施例的基础上，所述图像特征信息中包括至少一个图像子特征信息，所述处理器在对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量信息时，用于：
通过Fisher-Vector算法对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量信息。
进一步地，在上述任一实施例的基础上，所述处理器在根据所述向量信息确定所述至少一个图像聚类时，用于：
通过无监督学习的分类方法根据所述向量信息确定所述至少一个图像聚类。
进一步地，在上述任一实施例的基础上，所述无监督学习的分类方法包括以下至少一项：
原型聚类算法，层次聚类算法、密度聚类算法、最大期望算法。
进一步地，在上述任一实施例的基础上，所述处理器在根据预设的图像聚类与编码参数之间的对应关系确定与所述图像聚类对应的编码参数时，用于：
针对每个所述图像聚类，选取预设数量的待测图像；
通过预设的至少一个编码参数分别对各所述待测图像进行图像编码操作；
计算进行解码操作后的各待测图像的质量参数；
针对各编码参数，计算使用所述编码参数进行图像编码的至少一张待测图像对应的质量参数均值；
将质量参数均值满足预设的条件的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系。
进一步地，在上述任一实施例的基础上，所述处理器在将质量参数均值满足预设的条件的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系时，用于：
将质量参数均值最大的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系。
进一步地，在上述任一实施例的基础上，所述质量参数包括峰值信噪比、解码前后待测图像的结构一致性、解码前后待测图像的均方差中的至少一项。
进一步地，在上述任一实施例的基础上，所述处理器在确定与各所述图像特征信息对应的编码参数之后，还用于：
确定与各所述图像特征信息对应的待编码图像的图像场景；
将所述图像场景与所述编码参数关联存储。
进一步地，在上述任一实施例的基础上，所述处理器在获取待编码图像集之后，还用于：
确定所述待编码图像集中待编码图像对应的图像场景；
获取与所述图像场景对应的编码参数；
将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
进一步地，在上述任一实施例的基础上，所述待编码图像的特征信息为所述待编码图像的纹理信息。
进一步地，在上述任一实施例的基础上，所述编码参数包括典型量化参数设计、量化表设计、特征变换精度设计、码率控制的比例设计中的至少一项。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的图像编码方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (35)

  1. 一种图像编码方法，其特征在于，包括：
    获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
    通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；
    确定与各所述图像特征信息对应的编码参数；
    将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
  2. 根据权利要求1所述的方法，其特征在于，所述通过预设的特征提取模型对所述待编码图像的特征信息进行提取之前，还包括：
    通过预设的待训练图像集对预设的待训练模型进行训练，获得所述特征提取模型。
  3. 根据权利要求2所述的方法，其特征在于，所述待训练图像集中包括纹理数据集以及实景图像数据集。
  4. 根据权利要求3所述的方法，其特征在于，所述通过预设的待训练图像集对预设的待训练模型进行训练，包括：
    通过所述纹理数据集对所述待训练模型进行训练，获得第一模型；
    通过所述实景图像数据集对所述第一模型进行再训练，获得所述特征提取模型。
  5. 根据权利要求1-4任一项所述的方法，其特征在于，所述通过预设的特征提取模型对所述待编码图像的特征信息进行提取，获得图像特征信息，包括：
    将所述待编码图像输入至所述特征提取模型；
    提取所述特征提取模型中最后一个卷积层输出的数据，获得所述待编码图像的特征信息。
  6. 根据权利要求1-5任一项所述的方法，其特征在于，所述确定与所述图像特征信息对应的编码参数，包括：
    对所述图像特征信息进行聚类操作，获得至少一个图像聚类；
    根据预设的图像聚类与编码参数之间的对应关系确定与所述图像聚类对应的编码参数。
  7. 根据权利要求6所述的方法，其特征在于，所述对所述图像特征信息进行聚类操作，获得至少一个图像聚类，包括：
    对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量；
    根据所述向量确定所述至少一个图像聚类。
  8. 根据权利要求7所述的方法，其特征在于，所述对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量信息，包括：
    通过Fisher-Vector算法对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量信息。
  9. 根据权利要求7所述的方法，其特征在于，根据所述向量信息确定所述至少一个图像聚类，包括：
    通过无监督学习的分类方法根据所述向量信息确定所述至少一个图像聚类。
  10. 根据权利要求9所述的方法，其特征在于，所述无监督学习的分类方法包括以下至少一项：
    原型聚类算法，层次聚类算法、密度聚类算法、最大期望算法。
  11. 根据权利要求6所述的方法，其特征在于，所述根据预设的图像聚类与编码参数之间的对应关系确定与所述图像聚类对应的编码参数包括：
    针对每个所述图像聚类，选取预设数量的待测图像；
    通过预设的至少一个编码参数分别对各所述待测图像进行图像编码操作；
    计算进行解码操作后的各待测图像的质量参数；
    针对各编码参数，计算使用所述编码参数进行图像编码的至少一张待测图像对应的质量参数均值；
    将质量参数均值满足预设的条件的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系。
  12. 根据权利要求11所述的方法，其特征在于，所述将质量参数均值满足预设的条件的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系，包括：
    将质量参数均值最大的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系。
  13. 根据权利要求11所述的方法，其特征在于，所述质量参数包括解码前后待测图像的峰值信噪比、解码前后待测图像的结构一致性、解码前后待测图像的均方差中的至少一项。
  14. 根据权利要求1-13任一项所述的方法，其特征在于，所述确定与各所述图像特征信息对应的编码参数之后，还包括：
    确定与各所述图像特征信息对应的待编码图像的图像场景；
    将所述图像场景与所述编码参数关联存储。
  15. 根据权利要求14所述的方法，其特征在于，所述获取待编码图像集之后，还包括：
    确定所述待编码图像集中待编码图像对应的图像场景；
    获取与所述图像场景对应的编码参数；
    将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
  16. 根据权利要求1-15任一项所述的方法，其特征在于，所述待编码图像的特征信息为所述待编码图像的纹理信息。
  17. 根据权利要求1-16任一项所述的方法，其特征在于，所述编码参数包括典型量化参数设计、量化表设计、特征变换精度设计、码率控制的比例设计中的至少一项。
  18. 一种图像编码设备，其特征在于，包括：存储器和处理器；
    所述存储器用于存储程序代码；
    所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
    获取待编码图像集，所述待编码图像集中包括至少一张待编码图像；
    通过预设的特征提取模型对各所述待编码图像的特征信息进行提取，获得图像特征信息；
    确定与各所述图像特征信息对应的编码参数；
    将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
  19. 根据权利要求18所述的设备，其特征在于，所述处理器在通过预设的特征提取模型对所述待编码图像的特征信息进行提取之前，还用于：
    通过预设的待训练图像集对预设的待训练模型进行训练，获得所述特征提取模型。
  20. 根据权利要求19所述的设备，其特征在于，所述待训练图像集中包括纹理数据集以及实景图像数据集。
  21. 根据权利要求20所述的设备，其特征在于，所述处理器在通过预设的待训练图像集对预设的待训练模型进行训练时，用于：
    通过所述纹理数据集对所述待训练模型进行训练，获得第一模型；
    通过所述实景图像数据集对所述第一模型进行再训练，获得所述特征提取模型。
  22. 根据权利要求18-21任一项所述的设备，其特征在于，所述处理器通过预设的特征提取模型对所述待编码图像的特征信息进行提取，获得图像特征信息时，用于：
    将所述待编码图像输入至所述特征提取模型；
    提取所述特征提取模型中最后一个卷积层输出的数据，获得所述待编码图像的特征信息。
  23. 根据权利要求18-22任一项所述的设备，其特征在于，所述处理器在确定与所述图像特征信息对应的编码参数时，用于：
    对所述图像特征信息进行聚类操作，获得至少一个图像聚类；
    根据预设的图像聚类与编码参数之间的对应关系确定与所述图像聚类对应的编码参数。
  24. 根据权利要求23所述的设备，其特征在于，所述处理器对所述图像特征信息进行聚类操作，获得至少一个图像聚类时，用于：
    对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量；
    根据所述向量确定所述至少一个图像聚类。
  25. 根据权利要求24所述的设备，其特征在于，所述图像特征信息中包括至少一个图像子特征信息，所述处理器在对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量信息时，用于：
    通过Fisher-Vector算法对所述图像特征信息进行向量化表示，获得与所述图像特征信息对应的向量信息。
  26. 根据权利要求24所述的设备，其特征在于，所述处理器在根据所述向量信息确定所述至少一个图像聚类时，用于：
    通过无监督学习的分类方法根据所述向量信息确定所述至少一个图像聚类。
  27. 根据权利要求26所述的设备，其特征在于，所述无监督学习的分类方法包括以下至少一项：
    原型聚类算法，层次聚类算法、密度聚类算法、最大期望算法。
  28. 根据权利要求23所述的设备，其特征在于，所述处理器在根据预设的图像聚类与编码参数之间的对应关系确定与所述图像聚类对应的编码参数时，用于：
    针对每个所述图像聚类，选取预设数量的待测图像；
    通过预设的至少一个编码参数分别对各所述待测图像进行图像编码操作；
    计算进行解码操作后的各待测图像的质量参数；
    针对各编码参数，计算使用所述编码参数进行图像编码的至少一张待测图像对应的质量参数均值；
    将质量参数均值满足预设的条件的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系。
  29. 根据权利要求28所述的设备，其特征在于，所述处理器在将质量参数均值满足预设的条件的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系时，用于：
    将质量参数均值最大的编码参数作为与所述图像聚类的对应的编码参数，建立所述图像聚类与所述编码参数之间的对应关系。
  30. 根据权利要求28所述的设备，其特征在于，所述质量参数包括峰值信噪比、解码前后待测图像的结构一致性、解码前后待测图像的均方差中的至少一项。
  31. 根据权利要求18-30任一项所述的设备，其特征在于，所述处理器在确定与各所述图像特征信息对应的编码参数之后，还用于：
    确定与各所述图像特征信息对应的待编码图像的图像场景；
    将所述图像场景与所述编码参数关联存储。
  32. 根据权利要求31所述的设备，其特征在于，所述处理器在获取待编码图像集之后，还用于：
    确定所述待编码图像集中待编码图像对应的图像场景；
    获取与所述图像场景对应的编码参数；
    将所述编码参数发送至图像编码器，以使图像编码根据所述编码参数对所述待编码图像进行编码操作。
  33. 根据权利要求18-32任一项所述的设备，其特征在于，所述待编码图像的特征信息为所述待编码图像的纹理信息。
  34. 根据权利要求18-33任一项所述的设备，其特征在于，所述编码参数包括典型量化参数设计、量化表设计、特征变换精度设计、码率控制的比例设计中的至少一项。
  35. 一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-17任一项所述的方法。
PCT/CN2019/075762 2019-02-21 2019-02-21 图像编码方法、设备及计算机可读存储介质 WO2020168526A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2019/075762 WO2020168526A1 (zh) 2019-02-21 2019-02-21 图像编码方法、设备及计算机可读存储介质
CN201980005598.4A CN111316326A (zh) 2019-02-21 2019-02-21 图像编码方法、设备及计算机可读存储介质
US17/201,155 US20210201073A1 (en) 2019-02-21 2021-03-15 Image encoding method and device and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/075762 WO2020168526A1 (zh) 2019-02-21 2019-02-21 图像编码方法、设备及计算机可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/201,155 Continuation US20210201073A1 (en) 2019-02-21 2021-03-15 Image encoding method and device and computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2020168526A1 true WO2020168526A1 (zh) 2020-08-27

Family

ID=71161147

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/075762 WO2020168526A1 (zh) 2019-02-21 2019-02-21 图像编码方法、设备及计算机可读存储介质

Country Status (3)

Country Link
US (1) US20210201073A1 (zh)
CN (1) CN111316326A (zh)
WO (1) WO2020168526A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298892A (zh) * 2021-04-09 2021-08-24 北京沃东天骏信息技术有限公司 一种图像编码方法和设备，及存储介质
CN117750019B (zh) * 2022-11-24 2024-09-24 行吟信息科技(武汉)有限公司 视频编码方法及装置、电子设备及计算机可读存储介质
CN116523914B (zh) * 2023-07-03 2023-09-19 智慧眼科技股份有限公司 一种动脉瘤分类识别装置、方法、设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344112A (zh) * 2000-09-18 2002-04-10 株式会社东芝 视频编码方法和视频编码设备
EP0984634B1 (en) * 1998-08-31 2007-03-14 Sharp Kabushiki Kaisha Moving picture coding apparatus
CN101453642A (zh) * 2007-11-30 2009-06-10 华为技术有限公司 图像编/解码方法、装置和系统
CN104410863A (zh) * 2014-12-11 2015-03-11 上海兆芯集成电路有限公司 图像处理器以及图像处理方法
CN105306947A (zh) * 2015-10-27 2016-02-03 中国科学院深圳先进技术研究院 基于机器学习的视频转码方法
CN107888917A (zh) * 2017-11-28 2018-04-06 北京奇艺世纪科技有限公司 一种图像编解码方法及装置
CN109286825A (zh) * 2018-12-14 2019-01-29 北京百度网讯科技有限公司 用于处理视频的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0984634B1 (en) * 1998-08-31 2007-03-14 Sharp Kabushiki Kaisha Moving picture coding apparatus
CN1344112A (zh) * 2000-09-18 2002-04-10 株式会社东芝 视频编码方法和视频编码设备
CN101453642A (zh) * 2007-11-30 2009-06-10 华为技术有限公司 图像编/解码方法、装置和系统
CN104410863A (zh) * 2014-12-11 2015-03-11 上海兆芯集成电路有限公司 图像处理器以及图像处理方法
CN105306947A (zh) * 2015-10-27 2016-02-03 中国科学院深圳先进技术研究院 基于机器学习的视频转码方法
CN107888917A (zh) * 2017-11-28 2018-04-06 北京奇艺世纪科技有限公司 一种图像编解码方法及装置
CN109286825A (zh) * 2018-12-14 2019-01-29 北京百度网讯科技有限公司 用于处理视频的方法和装置

Also Published As

Publication number Publication date
CN111316326A (zh) 2020-06-19
US20210201073A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
Duan et al. Overview of the MPEG-CDVS standard
CN107239793B (zh) 多量化深度二值特征学习方法及装置
Tolias et al. To aggregate or not to aggregate: Selective match kernels for image search
US20170026665A1 (en) Method and device for compressing local feature descriptor, and storage medium
WO2020168526A1 (zh) 图像编码方法、设备及计算机可读存储介质
WO2020215560A1 (zh) 自编码神经网络处理方法、装置、计算机设备及存储介质
CN103226589A (zh) 获取图像的紧凑全局特征描述子的方法及图像检索方法
WO2023051783A1 (zh) 一种编码方法、解码方法、装置、设备及可读存储介质
CN104036012A (zh) 字典学习、视觉词袋特征提取方法及检索系统
CN106780639B (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN104881449B (zh) 基于流形学习数据压缩哈希的图像检索方法
CN110175249A (zh) 一种相似图片的检索方法及系统
CN107122712A (zh) 基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法
CN112672168B (zh) 基于图卷积的点云压缩方法及装置
WO2023024749A1 (zh) 视频检索的方法、装置、设备及存储介质
CN113656373A (zh) 构建检索数据库的方法、装置、设备以及存储介质
CN114677535A (zh) 域适应图像分类网络的训练方法、图像分类方法及装置
CN114328988A (zh) 多媒体数据的特征提取方法、多媒体数据检索方法及装置
CN108764258B (zh) 一种用于群体图像插入的最优图像集选取方法
CN117671271A (zh) 模型训练方法、图像分割方法、装置、设备和介质
CN116935292B (zh) 一种基于自注意力模型的短视频场景分类方法及系统
CN111143619B (zh) 视频指纹生成方法、检索方法、电子设备及介质
JP2017158183A (ja) 画像処理装置
CN117217328A (zh) 基于约束因子的联邦学习客户端选择方法
CN115546236B (zh) 基于小波变换的图像分割方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19916317

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19916317

Country of ref document: EP

Kind code of ref document: A1