WO2022205893A1 - 图像特征的传输方法、装置和系统 - Google Patents

图像特征的传输方法、装置和系统 Download PDF

Info

Publication number
WO2022205893A1
WO2022205893A1 PCT/CN2021/127994 CN2021127994W WO2022205893A1 WO 2022205893 A1 WO2022205893 A1 WO 2022205893A1 CN 2021127994 W CN2021127994 W CN 2021127994W WO 2022205893 A1 WO2022205893 A1 WO 2022205893A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
information
redundant
matrix
feature matrix
Prior art date
Application number
PCT/CN2021/127994
Other languages
English (en)
French (fr)
Inventor
王慧芬
张园
杨明川
贺征
Original Assignee
中国电信股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国电信股份有限公司 filed Critical 中国电信股份有限公司
Publication of WO2022205893A1 publication Critical patent/WO2022205893A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Definitions

  • the present disclosure relates to the field of communication technologies, and in particular, to an image feature transmission method, an image feature transmission device, an image feature transmission system, and a non-volatile computer-readable storage medium.
  • data in communication is encoded by a human vision-oriented encoding method.
  • a method for transmitting image features including: using a machine learning model to extract first feature information of an image to be processed, where the first feature information includes feature matrices of each channel; determine the redundant feature matrix; delete the redundant feature matrix from the first feature information to generate the second feature information; transmit the encoded second feature information and the related information of the redundant feature matrix to the decoding terminal .
  • determining the redundant feature matrix according to the information amount of each feature matrix includes: calculating the sum of the eigenvalues or the mean value of the eigenvalues in each feature matrix, respectively, as the information amount of each feature matrix; setting the information amount to 0 The feature matrix of , is determined as the redundant feature matrix.
  • determining the redundant feature matrix according to the information amount of each feature matrix includes: sorting the feature matrices whose information amount is not 0 according to the order of the information amount from small to large; The feature matrix equal to the serial number threshold and the feature matrix with 0 information are determined as redundant feature matrices.
  • determining the redundant feature matrix according to the information amount of each feature matrix includes: calculating the sum of the eigenvalues or the mean value of the eigenvalues in each feature matrix, respectively, as the information amount of each feature matrix; The feature matrix equal to the information threshold is determined as the redundant feature matrix.
  • the transmission method further includes: obtaining the second feature information and the related information of the redundant feature matrix through decoding processing at the decoding end; information to generate third feature information for processing the to-be-processed image.
  • the decoding end generating the third feature information according to the second feature information and the related information of the redundant feature matrix includes: generating a corresponding number of all-zero matrices according to the related information of the redundant feature matrix, and determining the redundant feature matrix.
  • transmitting the encoded second feature information and the related information of the redundant feature matrix to the decoding end includes: performing quantization processing and encoding processing on the second feature information and the related information of the redundant feature matrix and then transmitting to the decoder.
  • the transmission method further includes performing sum decoding processing and inverse quantization processing at the decoding end to obtain the second feature information and related information of the redundant feature matrix.
  • an apparatus for transmitting image features including: an extraction unit configured to extract first feature information of an image to be processed by using a machine learning model, where the first feature information includes a feature matrix of each channel ; Determining unit, for determining redundant feature matrix according to the amount of information of each feature matrix; The first generating unit, for deleting redundant feature matrix from the first feature information, and generating the second feature information; Transmission unit, with for transmitting the encoded second feature information and the related information of the redundant feature matrix to the decoding end.
  • the determining unit calculates the sum of the eigenvalues or the mean value of the eigenvalues in each feature matrix, respectively, as the information amount of each feature matrix, and determines a feature matrix whose information amount is 0 as a redundant feature matrix.
  • the determining unit sorts the feature matrices whose information amount is not 0 in order of the information amount from small to large, and sorts the feature matrices whose sequence numbers are less than or equal to the sequence number threshold and the features whose information amount is 0 matrix, which is determined as a redundant feature matrix.
  • the determining unit calculates the sum of the eigenvalues or the mean value of the eigenvalues in each feature matrix respectively, as the information amount of each feature matrix, and determines the feature matrix whose information amount is less than or equal to the information amount threshold as redundant features matrix.
  • the transmission device further includes: an obtaining unit, configured to obtain the second feature information and related information of the redundant feature matrix through decoding processing at the decoding end; a second generating unit, configured to obtain the second feature information at the decoding end According to the second feature information and the related information of the redundant feature matrix, the third feature information is generated for processing the to-be-processed image.
  • the second generating unit generates a corresponding number of all-zero matrices according to relevant information of the redundant feature matrix, determines a channel corresponding to the redundant feature matrix, and inserts the all-zero matrix into the second feature information according to the corresponding channel , and generate the third feature information.
  • the transmission unit performs quantization processing and encoding processing on the second characteristic information and the related information of the redundant characteristic matrix, and transmits the information to the decoding end.
  • the obtaining unit performs sum-decoding processing and inverse quantization processing at the decoding end to obtain the second feature information and related information of the redundant feature matrix.
  • an image feature transmission system including: an encoding end for extracting first feature information of an image to be processed by using a machine learning model, where the first feature information includes a feature matrix of each channel , according to the information amount of each feature matrix, determine the redundant feature matrix, delete the redundant feature matrix from the first feature information, generate the second feature information, and combine the encoded second feature information and the relevant information of the redundant feature matrix It is transmitted to the decoding end; the decoding end is used to obtain the relevant information of the second characteristic information and the redundant characteristic matrix through decoding processing, and the decoding end generates the first characteristic information according to the relevant information of the second characteristic information and the redundant characteristic matrix.
  • an apparatus for transmitting image features comprising: a memory; and a processor coupled to the memory, the processor being configured to execute any one of the foregoing implementations based on instructions stored in the memory device The transfer method of the image features in the example.
  • a non-volatile computer-readable storage medium on which a computer program is stored, and when the program is executed by a processor, implements the image feature transmission method in any one of the above-mentioned embodiments.
  • FIG. 1 shows a flowchart of some embodiments of the image feature transmission method of the present disclosure
  • FIG. 2 shows a flowchart of other embodiments of the transmission method of the image feature of the present disclosure
  • FIG. 3 shows a flowchart of further embodiments of the image feature transmission method of the present disclosure
  • FIG. 4 shows a block diagram of some embodiments of an apparatus for transmitting image features of the present disclosure
  • Figure 5 shows a block diagram of other embodiments of the image feature transmission apparatus of the present disclosure.
  • Figure 6 shows a block diagram of further embodiments of the image feature transmission apparatus of the present disclosure
  • FIG. 7 illustrates a block diagram of some embodiments of the transmission system of the image features of the present disclosure.
  • the inventor of the present disclosure found that the above-mentioned related art has the following problems: the coding compression rate is low, and it is difficult to ensure the communication quality when the amount of communication data increases.
  • the present disclosure proposes a technical solution for image feature transmission, which can improve the coding compression rate, thereby ensuring communication quality.
  • the premise of coding and compression is redundancy, and the purpose of coding and compression is to remove redundancy, so as to achieve the purpose of compression. Therefore, the present disclosure improves the compression rate of feature encoding based on the redundant features of the neural network.
  • the channel of the initial input image sample depends on the image type (such as RGB red, green and blue channels); the out_channels output after the convolution operation is completed depends on the number of convolution kernels.
  • the out_channels at this time will also be used as the in_channels of the convolution kernel in the next convolution; the in_channels in the convolution kernel are the out_channels of the previous convolution.
  • the features of the same channel are superimposed by the convolution operation of all the output channels of the previous layer and the convolution kernels with the same number of layers.
  • the neural network will autonomously learn the weight value of each convolution kernel during the training process, and extract the attention information through different convolution kernel weight values. Therefore, there must be a lot of non-attention information in the feature map of the middle layer of the convolutional neural network, that is, feature redundancy information. Redundancy in feature maps is an important feature of convolutional neural networks.
  • the logistic function reaches 1/2 when the input is 0, that is, it is already a half-saturated stable state, which is not enough to meet the expectations of practical biology for simulated neural networks.
  • about 50% of the neurons in a neural network using rectified linear units (ie, linear rectification) are active.
  • the convolutional neural network has the characteristics of local perception, and each neuron only perceives the part, not the whole image. Local pixels are closely related, while distant pixels are weakly related. The eigenvalues are skewed towards the perceived target object region.
  • neurons (feature channels) in the shallow network that do not perceive the target object contain redundant information.
  • these neurons that do not perceive the target object can be used as redundant information and not enter the encoding object, reducing the number of encodings and improving the compression rate.
  • the present disclosure proposes a de-redundancy method for eliminating the feature matrix of redundant channels by calculating the amount of shallow feature information based on the channel feature distribution characteristics of the shallow middle layer of the neural network. For example, it can be realized by the following embodiments.
  • FIG. 1 shows a flow chart of some embodiments of the transmission method of image features of the present disclosure.
  • a machine learning model is used to extract the first feature information of the image to be processed.
  • the first feature information includes a feature matrix of each channel.
  • Cascade R-CNN (Regions with Convolutional Neural Network) ResNet101 (Residual Network, Residual Network) is used to process RGB (Red Green Blue, Red Green Blue, red green) with a size of 4864 ⁇ 3648 ⁇ 3 blue) image to be processed.
  • the feature layer output contained in the intermediate layer features after the first pooling layer of Cascade R-CNN ResNet101 can be used as the object to be encoded.
  • the middle layer can be a 64 ⁇ 200 ⁇ 272 layer, where 64 is the number of channels (that is, the number of feature layers included), and 200 ⁇ 272 is the size of the feature matrix output by each feature layer. That is to say, the first feature information F output by the intermediate layer includes N feature matrices, corresponding to N channels.
  • step 120 the redundant feature matrix is determined according to the information amount of each feature matrix.
  • the sum of the eigenvalues in each feature matrix is calculated separately as the information amount of each feature matrix; the feature matrix whose information amount is 0 is determined as a redundant feature matrix.
  • the feature matrices whose information amount is not 0 are determined as Redundant feature matrix.
  • All S n in S can be sorted in order from small to large, and the number of channels T whose sum of eigenvalues is 0 can be counted. For example, if T is 15, the corresponding channel (ie, feature matrix) serial numbers are 5, 7, 8, 17, 27, 37, 41, 42, 43, 46, 48, 50, 53, 55, and 62.
  • the sum of the eigenvalues or the mean value of the eigenvalues in each feature matrix is calculated respectively as the information amount of each feature matrix; the feature matrix whose information amount is less than or equal to the information amount threshold is determined as a redundant feature matrix.
  • step 130 the redundant feature matrix is deleted from the first feature information to generate second feature information.
  • redundant channel elimination may be performed on the first feature information F including N channel feature matrices.
  • the feature matrix of the channels corresponding to the first T+M Sn in S ⁇ S n ⁇ can be deleted to obtain the de-redundant intermediate layer feature F0 with the total number of channels (NTM), that is, the second feature information.
  • M is a sequence number threshold set according to the actual situation (for example, M can take a value of 13), which is used to determine the number of redundant channels to be eliminated.
  • the serial numbers of 13 redundant channels are 51, 13, 14, 22, 25, 19, 49, 9, 39, 44, 18, 38, 35.
  • step 140 the encoded second feature information and the related information of the redundant feature matrix are transmitted to the decoding end.
  • the second feature information and the related information of the redundant feature matrix are quantized and encoded, and then transmitted to the decoding end.
  • the quantization coding operation may be performed on F0 and the index list of (T+M) redundant channels to obtain the binary stream to be transmitted.
  • the index list is used as the relevant information of the redundant feature matrix, which records the channel numbers corresponding to all deleted redundant feature matrices.
  • the quantization may be a quantization method such as uniform quantization.
  • redundant information in the information to be transmitted is eliminated according to the information amount of each channel feature matrix of the machine learning model, thereby improving the coding compression rate and ensuring the communication quality.
  • the decoding end may implement the technical solution of the present disclosure according to the embodiment in FIG. 2 .
  • FIG. 2 shows a flow chart of other embodiments of the image feature transmission method of the present disclosure.
  • step 210 the second feature information and the related information of the redundant feature matrix are obtained through decoding processing at the decoding end.
  • sum-decoding processing and inverse quantization processing are performed at the decoding end to obtain the second feature information and related information of the redundant feature matrix.
  • inverse encoding and inverse quantization operation is performed on the binary code stream to obtain the second information feature F0 of the redundant feature matrix and the index list of redundant channels with the total number of channels (N-T-M).
  • the index list records T feature matrix numbers with 0 information: 5, 7, 8, 17, 27, 37, 41, 42, 43, 46, 48, 50, 53, 55, 62, and M
  • the sequence numbers of the feature matrices that are ranked first ie, less informative: 51, 13, 14, 22, 25, 19, 49, 9, 39, 44, 18, 38, 35.
  • step 220 third feature information is generated at the decoding end according to the second feature information and the related information of the redundant feature matrix, which is used for processing the image to be processed.
  • a corresponding number of all-zero matrices are generated according to relevant information of the redundant feature matrix, and a channel corresponding to the redundant feature matrix is determined; according to the corresponding channel, the all-zero matrix is inserted into the second feature information to generate a third characteristic information.
  • each replacement feature matrix with all eigenvalues of 0 is generated, and inserted into the corresponding feature matrix position of F0.
  • FIG. 3 shows a flowchart of further embodiments of the method of transmitting image features of the present disclosure.
  • each encoding included in the intermediate layer used by the neural network to extract image features is selected as the encoding layer to be encoded.
  • step 330 the queue S ⁇ S n ⁇ is sorted in ascending order, and the number of channels whose sum of eigenvalues is 0 is counted as T.
  • step 340 redundant channel elimination is performed on the intermediate layer output feature F containing N channels. Delete the first T+M channels in S ⁇ S n ⁇ to obtain the feature F0 of the de-redundant intermediate layer with the total number of channels (NTM). M is the threshold for removing redundant channels.
  • step 350 a quantization coding operation is performed on the F0, (T+M) redundant channel index lists to obtain a binary stream.
  • step 360 an inverse encoding and inverse quantization operation is performed on the binary code stream to obtain a de-redundant intermediate layer feature F0 and a redundant channel index list with a total number of channels (N-T-M). Perform the channel addition operation on the intermediate layer feature F0, and add the channel whose sequence number is the feature value of the element in the list is all 0.
  • redundant information in the information to be transmitted is eliminated according to the information amount of each channel feature matrix of the machine learning model, thereby improving the coding compression rate and ensuring the communication quality.
  • Figure 4 shows a block diagram of some embodiments of a transmission apparatus of image features of the present disclosure.
  • the image feature transmission device 4 includes an extraction unit 41 , a determination unit 42 , a first generation unit 43 and a transmission unit 44 .
  • the extraction unit 41 uses the machine learning model to extract the first feature information of the image to be processed.
  • the first feature information includes a feature matrix of each channel.
  • the determining unit 42 determines the redundant feature matrix according to the information amount of each feature matrix.
  • the determining unit 42 calculates the sum of the eigenvalues or the mean value of the eigenvalues in each feature matrix, respectively, as the information amount of each feature matrix; the feature matrix with the information amount of 0 is determined as a redundant feature matrix.
  • the determining unit 42 sorts the feature matrices whose information amount is not 0 according to the order of the information amount from small to large; Feature matrix, determined as redundant feature matrix.
  • the determining unit 42 calculates the sum of the eigenvalues in each feature matrix, respectively, as the information amount of each feature matrix; and determines a feature matrix whose information amount is less than or equal to an information amount threshold as a redundant feature matrix.
  • the first generating unit 43 deletes the redundant feature matrix from the first feature information to generate second feature information.
  • the transmitting unit 44 transmits the encoded second feature information and the related information of the redundant feature matrix to the decoding end.
  • the transmitting unit 44 performs quantization processing and encoding processing on the second characteristic information and the related information of the redundant characteristic matrix, and transmits the information to the decoding end.
  • the transmission device 4 further includes: an obtaining unit 45, configured to obtain the second feature information and the related information of the redundant feature matrix through decoding processing at the decoding end;
  • the code end generates third feature information according to the second feature information and the related information of the redundant feature matrix, which is used for processing the to-be-processed image.
  • the second generating unit 46 generates a corresponding number of all-zero matrices according to the relevant information of the redundant feature matrix, determines the channel corresponding to the redundant feature matrix, and inserts the all-zero matrix into the second feature according to the corresponding channel information to generate third feature information.
  • the obtaining unit 45 performs sum decoding processing and inverse quantization processing at the decoding end to obtain the second feature information and related information of the redundant feature matrix.
  • FIG. 5 shows a block diagram of further embodiments of the transmission apparatus of the image features of the present disclosure.
  • the image feature transmission apparatus 5 of this embodiment includes: a memory 51 and a processor 52 coupled to the memory 51 , and the processor 52 is configured to execute the present disclosure based on instructions stored in the memory 51
  • the image feature transmission method in any one of the embodiments.
  • the memory 51 may include, for example, a system memory, a fixed non-volatile storage medium, and the like.
  • the system memory stores, for example, an operating system, an application program, a boot loader Boot Loader, a database, and other programs.
  • FIG. 6 shows a block diagram of further embodiments of the transmission apparatus of the image features of the present disclosure.
  • the image feature transmission apparatus 6 of this embodiment includes: a memory 610 and a processor 620 coupled to the memory 610 , and the processor 620 is configured to execute any of the foregoing based on the instructions stored in the memory 610 .
  • Memory 610 may include, for example, system memory, fixed non-volatile storage media, and the like.
  • the system memory stores, for example, an operating system, an application program, a boot loader, and other programs.
  • the image feature transmission device 6 may further include an input/output interface 630, a network interface 640, a storage interface 650, and the like. These interfaces 630 , 640 , 650 and the memory 610 and the processor 620 may be connected, for example, through a bus 660 .
  • the input and output interface 630 provides a connection interface for input and output devices such as a display, a mouse, a keyboard, a touch screen, a microphone, and a speaker.
  • Network interface 640 provides a connection interface for various networked devices.
  • the storage interface 650 provides a connection interface for external storage devices such as SD cards and U disks.
  • FIG. 7 illustrates a block diagram of some embodiments of the transmission system of the image features of the present disclosure.
  • the image feature transmission system 7 includes an encoding end 71 and a decoding end 72 .
  • the encoding end 71 is used to extract the first feature information of the to-be-processed image by using the machine learning model, the first feature information includes the feature matrix of each channel; according to the information amount of each feature matrix, determine the redundant feature matrix; The matrix is deleted from the first feature information to generate the second feature information; the encoded second feature information and the related information of the redundant feature matrix are transmitted to the decoding end.
  • the decoding end 72 is used for obtaining the relevant information of the second characteristic information and the redundant characteristic matrix through decoding processing; the decoding terminal generates the third characteristic information according to the relevant information of the second characteristic information and the redundant characteristic matrix, and uses for processing images to be processed.
  • embodiments of the present disclosure may be provided as a method, system, or computer program product. Accordingly, the present disclosure may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment combining software and hardware aspects. Furthermore, the present disclosure may take the form of a computer program product embodied on one or more computer-usable non-transitory storage media having computer-usable program code embodied therein, including but not limited to disk storage, CD-ROM, optical storage, and the like.
  • the methods and systems of the present disclosure may be implemented in many ways.
  • the methods and systems of the present disclosure may be implemented in software, hardware, firmware, or any combination of software, hardware, and firmware.
  • the above order of steps for the method is for illustration only, and the steps of the method of the present disclosure are not limited to the order specifically described above unless specifically stated otherwise.
  • the present disclosure can also be implemented as programs recorded in a recording medium, the programs including machine-readable instructions for implementing methods according to the present disclosure.
  • the present disclosure also covers a recording medium storing a program for executing the method according to the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及一种图像特征的传输方法、装置和系统，涉及通信技术领域。该传输方法包括：利用机器学习模型，提取待处理图像的第一特征信息，第一特征信息包含各通道的特征矩阵；根据各特征矩阵的信息量，确定冗余特征矩阵；将冗余特征矩阵从第一特征信息中删除，生成第二特征信息；将编码后的第二特征信息和冗余特征矩阵的相关信息传输给译码端。

Description

图像特征的传输方法、装置和系统
相关申请的交叉引用
本申请是以CN申请号为202110339569.0，申请日为2021年3月30日的申请为基础，并主张其优先权，该CN申请的公开内容在此作为整体引入本申请中。
技术领域
本公开涉及通信技术领域，特别涉及一种图像特征的传输方法、图像特征的传输装置、图像特征的传输系统和非易失性计算机可读存储介质。
背景技术
随着机器学习应用的增长，车联网、视频监控、智慧城市等领域已经采用了许多的智能平台。这些平台与大量的传感器之间产生了海量的数据通信。
在相关技术中，通过面向人类视觉的编码方法对通信中的数据进行编码。
发明内容
根据本公开的一些实施例，提供了一种图像特征的传输方法，包括：利用机器学习模型，提取待处理图像的第一特征信息，第一特征信息包含各通道的特征矩阵；根据各特征矩阵的信息量，确定冗余特征矩阵；将冗余特征矩阵从第一特征信息中删除，生成第二特征信息；将编码后的第二特征信息和冗余特征矩阵的相关信息传输给译码端。
在一些实施例中，根据各特征矩阵的信息量，确定冗余特征矩阵包括：分别计算各特征矩阵中特征值的和或者特征值的均值，作为各特征矩阵的信息量；将信息量为0的特征矩阵，确定为冗余特征矩阵。
在一些实施例中，根据各特征矩阵的信息量，确定冗余特征矩阵包括：按照信息量由小到大的顺序，对将信息量不为0的特征矩阵进行排序；将排序的序号小于或等于序号阈值的特征矩阵以及信息量为0的特征矩阵，确定为冗余特征矩阵。
在一些实施例中，根据各特征矩阵的信息量，确定冗余特征矩阵包括：分别计算各特征矩阵中特征值的和或者特征值的均值，作为各特征矩阵的信息量；将信息量小于或等于信息量阈值的特征矩阵，确定为冗余特征矩阵。
在一些实施例中，该传输方法还包括：在译码端通过解码处理，获取第二特征信息和冗余特征矩阵的相关信息；在译码端根据第二特征信息和冗余特征矩阵的相关信息，生成第三特征信息，用于处理待处理图像。
在一些实施例中，译码端根据第二特征信息和冗余特征矩阵的相关信息，生成第三特征信息包括：根据冗余特征矩阵的相关信息，生成相应数量的全0矩阵，确定冗余特征矩阵对应的通道；根据对应的通道，将全0矩阵插入第二特征信息，生成第三特征信息。
在一些实施例中，将编码后的第二特征信息和冗余特征矩阵的相关信息传输给译码端包括：对第二特征信息和冗余特征矩阵的相关信息进行量化处理和编码处理后传输给译码端。
在一些实施例中，该传输方法还包括在译码端进行和译码处理和反量化处理，获取第二特征信息和冗余特征矩阵的相关信息。
根据本公开的另一些实施例，提供一种图像特征的传输装置，包括：提取单元，用于利用机器学习模型，提取待处理图像的第一特征信息，第一特征信息包含各通道的特征矩阵；确定单元，用于根据各特征矩阵的信息量，确定冗余特征矩阵；第一生成单元，用于将冗余特征矩阵从第一特征信息中删除，生成第二特征信息；传输单元，用于将编码后的第二特征信息和冗余特征矩阵的相关信息传输给译码端。
在一些实施例中，确定单元分别计算各特征矩阵中特征值的和或者特征值的均值，作为各特征矩阵的信息量，将信息量为0的特征矩阵，确定为冗余特征矩阵。
在一些实施例中，确定单元按照信息量由小到大的顺序，对将信息量不为0的特征矩阵进行排序，将排序的序号小于或等于序号阈值的特征矩阵以及信息量为0的特征矩阵，确定为冗余特征矩阵。
在一些实施例中，确定单元分别计算各特征矩阵中特征值的和或者特征值的均值，作为各特征矩阵的信息量，将信息量小于或等于信息量阈值的特征矩阵，确定为冗余特征矩阵。
在一些实施例中，该传输装置还包括：获取单元，用于在译码端通过解码处理，获取第二特征信息和冗余特征矩阵的相关信息；第二生成单元，用于在译码端根据第二特征信息和冗余特征矩阵的相关信息，生成第三特征信息，用于处理待处理图像。
在一些实施例中，第二生成单元根据冗余特征矩阵的相关信息，生成相应数量的全0矩阵，确定冗余特征矩阵对应的通道，根据对应的通道，将全0矩阵插入第二特 征信息，生成第三特征信息。
在一些实施例中，传输单元对第二特征信息和冗余特征矩阵的相关信息进行量化处理和编码处理后传输给译码端。
在一些实施例中，获取单元在译码端进行和译码处理和反量化处理，获取第二特征信息和冗余特征矩阵的相关信息。
根据本公开的又一些实施例，提供一种图像特征的传输系统，包括：编码端，用于利用机器学习模型，提取待处理图像的第一特征信息，第一特征信息包含各通道的特征矩阵，根据各特征矩阵的信息量，确定冗余特征矩阵，将冗余特征矩阵从第一特征信息中删除，生成第二特征信息，将编码后的第二特征信息和冗余特征矩阵的相关信息传输给译码端；译码端，用于通过解码处理，获取第二特征信息和冗余特征矩阵的相关信息，在译码端根据第二特征信息和冗余特征矩阵的相关信息，生成第三特征信息，用于处理待处理图像。
根据本公开的再一些实施例，提供一种图像特征的传输装置，包括：存储器；和耦接至存储器的处理器，处理器被配置为基于存储在存储器装置中的指令，执行上述任一个实施例中的图像特征的传输方法。
根据本公开的再一些实施例，提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的图像特征的传输方法。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开：
图1示出本公开的图像特征的传输方法的一些实施例的流程图；
图2示出本公开的图像特征的传输方法的另一些实施例的流程图；
图3示出本公开的图像特征的传输方法的又一些实施例的流程图；
图4示出本公开的图像特征的传输装置的一些实施例的框图；
图5示出本公开的图像特征的传输装置的另一些实施例的框图；
图6示出本公开的图像特征的传输装置的又一些实施例的框图；
图7示出本公开的图像特征的传输系统的一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开的发明人发现上述相关技术中存在如下问题：编码压缩率低，在通信数据量增长的情况下，难以保证通信质量。
鉴于此，本公开提出了一种图像特征的传输技术方案，能够提高编码压缩率，从而保证通信质量。
如前所述，数据量的增长直接导致先前面向人类视觉的编码方法效率低下，在延时和规模上也难以满足现实。因此，需要面向智能机器的特征编码方法。
编码压缩的前提是冗余，编码压缩的目的是去除冗余，从而达到压缩的目的。因此，本公开在神经网络冗余特征的基础上，提高特征编码的压缩率。
例如，卷积神经网络中的通道有三种：最初输入的图片样本的通道取决于图片类型(如RGB红绿蓝通道)；卷积操作完成后输出的out_channels，取决于卷积核的数量。此时的out_channels也会作为下一次卷积时的卷积核的in_channels；卷积核中的in_channels，就是上一次卷积的out_channels。
也就是说，同一通道特征是由上一层所有输出通道与具有相同层数的卷积核进行卷积操作后叠加的结果。神经网络会在训练过程中自主学习到各卷积核的权重值，通过不同的卷积核权重值提取关注信息。因此，卷积神经网络的中间层特征图必然存在 大量非关注信息，也就是特征冗余信息。feature map(特征图)中的冗余是卷积神经网络的重要特点。
从仿生物学角度来说，相关大脑方面的研究表明生物神经元的信息编码通常是比较分散及稀疏的。通常情况下，大脑中在同一时间大概只有1％～4％的神经元处于活跃状态。使用线性修正以及正则化(regularization)可以对机器神经网络中神经元的活跃度(即输出为正值)进行调试。
相比之下，逻辑函数在输入为0时达到1/2，即已经是半饱和的稳定状态，不够符合实际生物学对模拟神经网络的期望。一般情况下，在一个使用修正线性单元(即线性整流)的神经网络中大概有50％的神经元处于激活态。
卷积神经网络具有局部感知的特点，每个神经元只感知局部，而不是整幅图像。局部像素关系紧密，较远像素相关性弱。特征值会向感知到的目标对象区域倾斜。
因此，浅层网络中包含更多的位置信息，浅层网络中未感知到目标对象的神经元(特征通道)包含冗余信息。在特征编码中对这些未感知到目标对象的神经元可以作为冗余信息不进入编码对象，降低编码数量，提高压缩率。
本公开从神经网络浅层中间层的通道特征分布特性出发，提出通过计算浅层特征信息量，剔除冗余通道的特征矩阵的去冗余方法。例如，可以通过下面的实施例实现。
图1示出本公开的图像特征的传输方法的一些实施例的流程图。
如图1所示，在步骤110中，利用机器学习模型，提取待处理图像的第一特征信息。第一特征信息包含各通道的特征矩阵。
在一些实施例中，利用Cascade R-CNN(Regions with Convolutional Neural Network，区域卷积神经网络)ResNet101(Residual Network，残差网络)处理大小为4864×3648×3的RGB(Red Green Blue，红绿蓝)待处理图像。
例如，可以将Cascade R-CNN ResNet101的第一个池化层后的中间层特征包含的特征层输出作为待编码对象。中间层可以为一个64×200×272的层，64为通道数量(即包含的特征层数量)，200×272为各特征层输出的特征矩阵的大小。也就是说，中间层输出的第一特征信息F包含N个特征矩阵，对应N个通道。
在步骤120中，根据各特征矩阵的信息量，确定冗余特征矩阵。
在一些实施例中，分别计算各特征矩阵中特征值的和，作为各特征矩阵的信息量；将信息量为0的特征矩阵，确定为冗余特征矩阵。
例如，还可以按照信息量由小到大的顺序，对将信息量不为0的特征矩阵进行排 序；将排序的序号小于或等于序号阈值的特征矩阵以及信息量为0的特征矩阵，确定为冗余特征矩阵。
在一些实施例中，可以计算特征层i输出的特征矩阵i中所有特征值之和S i，得到所有特征值之和的队列S{S n}，n＝0,1，…,N-1(如N＝64)。
可以按照从小到大的顺序，对S中的所有S n排序，统计特征值之和为0的通道数量T。如T为15，对应的通道(即特征矩阵)序号为5、7、8、17、27、37、41、42、43、46、48、50、53、55、62。
在一些实施例中，分别计算各特征矩阵中特征值的和或者特征值的均值，作为各特征矩阵的信息量；将信息量小于或等于信息量阈值的特征矩阵，确定为冗余特征矩阵。
在步骤130中，将冗余特征矩阵从第一特征信息中删除，生成第二特征信息。
在一些实施例中，可以对包含N个通道特征矩阵的第一特征信息F进行冗余通道剔除。例如，可以删除S{S n}中前T+M个S n对应的通道的特征矩阵，得到总通道数为(N-T-M)的去冗余中间层特征F0，即第二特征信息。
M为根据实际情况设置的序号阈值(如M可以取值13)，用于确定剔除冗余通道的数量。例如，13个冗余通道的序号为51、13、14、22、25、19、49、9、39、44、18、38、35。
在步骤140中，将编码后的第二特征信息和冗余特征矩阵的相关信息传输给译码端。
在一些实施例中，对第二特征信息和冗余特征矩阵的相关信息进行量化处理和编码处理后传输给译码端。例如，可以对F0以及(T+M)个冗余通道的索引list进行量化编码操作，得到待传输的二进制流。例如，索引list作为冗余特征矩阵的相关信息，其中记载有所有删除的冗余特征矩阵对应的通道序号。量化可以为均匀量化(Uniform quantization)等量化方法。
在上述实施例中，根据机器学习模型的各通道特征矩阵的信息量，消除待传输信息中的冗余信息，从而提高编码压缩率，保证通信质量。
在一些实施例中，译码端可以根据图2中的实施例实现本公开的技术方案。
图2示出本公开的图像特征的传输方法的另一些实施例的流程图。
如图2所示，在步骤210中，在译码端通过解码处理，获取第二特征信息和冗余特征矩阵的相关信息。
在一些实施例中，在译码端进行和译码处理和反量化处理，获取第二特征信息和冗余特征矩阵的相关信息。例如，对二进制码流进行反编码反量化操作，得到总通道数为(N-T-M)的剔除了冗余特征矩阵的第二信息特征F0和冗余通道的索引list。
例如，索引list记载有T个信息量为0的特征矩阵序号：5、7、8、17、27、37、41、42、43、46、48、50、53、55、62，以及M个排序靠前的(即信息量较小的)特征矩阵序号：51、13、14、22、25、19、49、9、39、44、18、38、35。
在步骤220中，在译码端根据第二特征信息和冗余特征矩阵的相关信息，生成第三特征信息，用于处理待处理图像。
在一些实施例中，根据冗余特征矩阵的相关信息，生成相应数量的全0矩阵，确定冗余特征矩阵对应的通道；根据对应的通道，将全0矩阵插入第二特征信息，生成第三特征信息。
例如，对第二特征信息F0执行通道添加操作。根据索引list中的序号，生成特征值全为0的各替换特征矩阵，插入到F0的相应特征矩阵位置。
图3示出本公开的图像特征的传输方法的又一些实施例的流程图。
如图3所示，在步骤310中，将神经网络用于提取图像特征的中间层包含的各编码成，选择为待编码的编码层。
在步骤320中，计算各特征层输出的各通道的特征矩阵中所有特征值之和，得到所有特征值之和的队列S{S n}，n＝0,1，…,N-1，N为通道数。
在步骤330中，按照从小到大的顺序，对队列S{S n}进行排序，统计其中特征值之和为0的通道数为T。
在步骤340中，对包含N个通道的中间层输出特征F进行冗余通道剔除。删除S{S n}中前T+M个通道，得到总通道数为(N-T-M)的去冗余中间层的特征F0。M为去除冗余通道数阈值。
在步骤350中，对F0、(T+M)个冗余通道索引list进行量化编码操作，得到二进制流。
在步骤360中，对二进制码流进行反编码反量化操作，得到总通道数为(N-T-M)的去冗余中间层特征F0和冗余通道索引list。对中间层特征F0执行通道添加操作，添加序号为list中元素的特征值全0的通道。
在上述实施例中，根据机器学习模型的各通道特征矩阵的信息量，消除待传输信息中的冗余信息，从而提高编码压缩率，保证通信质量。
图4示出本公开的图像特征的传输装置的一些实施例的框图。
如图4所示，图像特征的传输装置4包括提取单元41、确定单元42、第一生成单元43和传输单元44。
提取单元41利用机器学习模型，提取待处理图像的第一特征信息。第一特征信息包含各通道的特征矩阵。
确定单元42根据各特征矩阵的信息量，确定冗余特征矩阵。
在一些实施例中，确定单元42分别计算各特征矩阵中特征值的和或者特征值的均值，作为各特征矩阵的信息量；将信息量为0的特征矩阵，确定为冗余特征矩阵。
在一些实施例中，确定单元42按照信息量由小到大的顺序，对将信息量不为0的特征矩阵进行排序；将排序的序号小于或等于序号阈值的特征矩阵以及信息量为0的特征矩阵，确定为冗余特征矩阵。
在一些实施例中，确定单元42分别计算各特征矩阵中特征值的和，作为各特征矩阵的信息量；将信息量小于或等于信息量阈值的特征矩阵，确定为冗余特征矩阵。
第一生成单元43将冗余特征矩阵从第一特征信息中删除，生成第二特征信息。
传输单元44将编码后的第二特征信息和冗余特征矩阵的相关信息传输给译码端。
在一些实施例中，传输单元44对第二特征信息和冗余特征矩阵的相关信息进行量化处理和编码处理后传输给译码端。
在一些实施例中，传输装置4还包括：获取单元45，用于在译码端通过解码处理，获取第二特征信息和冗余特征矩阵的相关信息；第二生成单元46，用于在译码端根据第二特征信息和冗余特征矩阵的相关信息，生成第三特征信息，用于处理待处理图像。
在一些实施例中，第二生成单元46根据冗余特征矩阵的相关信息，生成相应数量的全0矩阵，确定冗余特征矩阵对应的通道，根据对应的通道，将全0矩阵插入第二特征信息，生成第三特征信息。
在一些实施例中，获取单元45在译码端进行和译码处理和反量化处理，获取第二特征信息和冗余特征矩阵的相关信息。
图5示出本公开的图像特征的传输装置的另一些实施例的框图。
如图5所示，该实施例的图像特征的传输装置5包括：存储器51以及耦接至该存储器51的处理器52，处理器52被配置为基于存储在存储器51中的指令，执行本公开中任意一个实施例中的图像特征的传输方法。
其中，存储器51例如可以包括系统存储器、固定非易失性存储介质等。系统存储 器例如存储有操作系统、应用程序、引导装载程序Boot Loader、数据库以及其他程序等。
图6示出本公开的图像特征的传输装置的又一些实施例的框图。
如图6所示，该实施例的图像特征的传输装置6包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的图像特征的传输方法。
存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序Boot Loader以及其他程序等。
图像特征的传输装置6还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏、麦克、音箱等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
图7示出本公开的图像特征的传输系统的一些实施例的框图。
如图7所示，图像特征的传输系统7包括编码端71、译码端72。
编码端71，用于利用机器学习模型，提取待处理图像的第一特征信息，第一特征信息包含各通道的特征矩阵；根据各特征矩阵的信息量，确定冗余特征矩阵；将冗余特征矩阵从第一特征信息中删除，生成第二特征信息；将编码后的第二特征信息和冗余特征矩阵的相关信息传输给译码端。
译码端72，用于通过解码处理，获取第二特征信息和冗余特征矩阵的相关信息；在译码端根据第二特征信息和冗余特征矩阵的相关信息，生成第三特征信息，用于处理待处理图像。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的图像特征的传输方法、图像特征的传输装置、图像特征的传输系统和非易失性计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白 如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (19)

  1. 一种图像特征的传输方法，包括：
    利用机器学习模型，提取待处理图像的第一特征信息，所述第一特征信息包含各通道的特征矩阵；
    根据各特征矩阵的信息量，确定冗余特征矩阵；
    将所述冗余特征矩阵从所述第一特征信息中删除，生成第二特征信息；
    将编码后的所述第二特征信息和所述冗余特征矩阵的相关信息传输给译码端。
  2. 根据权利要求1所述的传输方法，其中，所述根据各特征矩阵的信息量，确定冗余特征矩阵包括：
    分别计算所述各特征矩阵中特征值的和或者特征值的均值，作为所述各特征矩阵的信息量；
    将信息量为0的特征矩阵，确定为所述冗余特征矩阵。
  3. 根据权利要求1所述的传输方法，其中，所述根据各特征矩阵的信息量，确定冗余特征矩阵包括：
    按照信息量由小到大的顺序，对将信息量不为0的特征矩阵进行排序；
    将排序的序号小于或等于序号阈值的特征矩阵以及信息量为0的特征矩阵，确定为所述冗余特征矩阵。
  4. 根据权利要求1所述的传输方法，其中，所述根据各特征矩阵的信息量，确定冗余特征矩阵包括：
    分别计算所述各特征矩阵中特征值的和或者特征值均值，作为所述各特征矩阵的信息量；
    将信息量小于或等于信息量阈值的特征矩阵，确定为所述冗余特征矩阵。
  5. 根据权利要求1所述的传输方法，还包括：
    在所述译码端通过解码处理，获取所述第二特征信息和所述冗余特征矩阵的相关信息；
    在所述译码端根据所述第二特征信息和所述冗余特征矩阵的相关信息，生成第三特征信息，用于处理所述待处理图像。
  6. 根据权利要求5所述的传输方法，其中，所述译码端根据所述第二特征信息和所述冗余特征矩阵的相关信息，生成第三特征信息包括：
    根据所述冗余特征矩阵的相关信息，生成相应数量的全0矩阵，确定所述冗余特征矩阵对应的通道；
    根据所述对应的通道，将所述全0矩阵插入所述第二特征信息，生成所述第三特征信息。
  7. 根据权利要求1-6任一项所述的传输方法，其中，所述将编码后的所述第二特征信息和所述冗余特征矩阵的相关信息传输给译码端包括：
    对所述第二特征信息和所述冗余特征矩阵的相关信息进行量化处理和编码处理后传输给所述译码端。
  8. 根据权利要求7所述的传输方法，还包括
    在所述译码端进行和译码处理和反量化处理，获取所述第二特征信息和所述冗余特征矩阵的相关信息。
  9. 一种图像特征的传输装置，包括：
    提取单元，用于利用机器学习模型，提取待处理图像的第一特征信息，所述第一特征信息包含各通道的特征矩阵；
    确定单元，用于根据各特征矩阵的信息量，确定冗余特征矩阵；
    第一生成单元，用于将所述冗余特征矩阵从所述第一特征信息中删除，生成第二特征信息；
    传输单元，用于将编码后的所述第二特征信息和所述冗余特征矩阵的相关信息传输给译码端。
  10. 根据权利要求9所述的传输装置，其中，
    所述确定单元分别计算所述各特征矩阵中特征值的和或者特征值的均值，作为所述各特征矩阵的信息量，将信息量为0的特征矩阵，确定为所述冗余特征矩阵。
  11. 根据权利要求10所述的传输装置，其中，
    所述确定单元按照信息量由小到大的顺序，对将信息量不为0的特征矩阵进行排序，将排序的序号小于或等于序号阈值的特征矩阵以及信息量为0的特征矩阵，确定为所述冗余特征矩阵。
  12. 根据权利要求9所述的传输装置，其中，
    所述确定单元分别计算所述各特征矩阵中特征值的和或者特征值的均值，作为所述各特征矩阵的信息量，将信息量小于或等于信息量阈值的特征矩阵，确定为所述冗余特征矩阵。
  13. 根据权利要求9所述的传输装置，还包括：
    获取单元，用于在所述译码端通过解码处理，获取所述第二特征信息和所述冗余特征矩阵的相关信息；
    第二生成单元，用于在所述译码端根据所述第二特征信息和所述冗余特征矩阵的相关信息，生成第三特征信息，用于处理所述待处理图像。
  14. 根据权利要求13所述的传输装置，其中，
    所述第二生成单元根据所述冗余特征矩阵的相关信息，生成相应数量的全0矩阵，确定所述冗余特征矩阵对应的通道，根据所述对应的通道，将所述全0矩阵插入所述第二特征信息，生成所述第三特征信息。
  15. 根据权利要求9-14任一项所述的传输装置，其中，
    所述传输单元对所述第二特征信息和所述冗余特征矩阵的相关信息进行量化处理和编码处理后传输给所述译码端。
  16. 根据权利要求15所述的传输装置，其中，
    所述获取单元在所述译码端进行和译码处理和反量化处理，获取所述第二特征信息和所述冗余特征矩阵的相关信息。
  17. 一种图像特征的传输系统，包括：
    编码端，用于利用机器学习模型，提取待处理图像的第一特征信息，所述第一特征信息包含各通道的特征矩阵，根据各特征矩阵的信息量，确定冗余特征矩阵，将所述冗余特征矩阵从所述第一特征信息中删除，生成第二特征信息，将编码后的所述第二特征信息和所述冗余特征矩阵的相关信息传输给译码端；
    译码端，用于通过解码处理，获取所述第二特征信息和所述冗余特征矩阵的相关信息，在所述译码端根据所述第二特征信息和所述冗余特征矩阵的相关信息，生成第三特征信息，用于处理所述待处理图像。
  18. 一种图像特征的传输装置，包括：
    存储器；和
    耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-8任一项所述的图像特征的传输方法。
  19. 一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-8任一项所述的图像特征的传输方法。
PCT/CN2021/127994 2021-03-30 2021-11-01 图像特征的传输方法、装置和系统 WO2022205893A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110339569.0A CN115150614A (zh) 2021-03-30 2021-03-30 图像特征的传输方法、装置和系统
CN202110339569.0 2021-03-30

Publications (1)

Publication Number Publication Date
WO2022205893A1 true WO2022205893A1 (zh) 2022-10-06

Family

ID=83403318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/127994 WO2022205893A1 (zh) 2021-03-30 2021-11-01 图像特征的传输方法、装置和系统

Country Status (2)

Country Link
CN (1) CN115150614A (zh)
WO (1) WO2022205893A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665067A (zh) * 2018-05-29 2018-10-16 北京大学 用于深度神经网络频繁传输的压缩方法及系统
CN109902810A (zh) * 2017-12-11 2019-06-18 北京中科寒武纪科技有限公司 神经网络运算设备和方法
CN109978142A (zh) * 2019-03-29 2019-07-05 腾讯科技（深圳）有限公司 神经网络模型的压缩方法和装置
CN110119745A (zh) * 2019-04-03 2019-08-13 平安科技（深圳）有限公司 深度学习模型的压缩方法、装置、计算机设备及存储介质
CN111010883A (zh) * 2018-08-06 2020-04-14 华为技术有限公司 矩阵的处理方法、装置及逻辑电路
CN111444976A (zh) * 2020-04-02 2020-07-24 Oppo广东移动通信有限公司 目标检测方法、装置、电子设备和可读存储介质
WO2020190772A1 (en) * 2019-03-15 2020-09-24 Futurewei Technologies, Inc. Neural network model compression and optimization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902810A (zh) * 2017-12-11 2019-06-18 北京中科寒武纪科技有限公司 神经网络运算设备和方法
CN108665067A (zh) * 2018-05-29 2018-10-16 北京大学 用于深度神经网络频繁传输的压缩方法及系统
CN111010883A (zh) * 2018-08-06 2020-04-14 华为技术有限公司 矩阵的处理方法、装置及逻辑电路
WO2020190772A1 (en) * 2019-03-15 2020-09-24 Futurewei Technologies, Inc. Neural network model compression and optimization
CN109978142A (zh) * 2019-03-29 2019-07-05 腾讯科技（深圳）有限公司 神经网络模型的压缩方法和装置
CN110119745A (zh) * 2019-04-03 2019-08-13 平安科技（深圳）有限公司 深度学习模型的压缩方法、装置、计算机设备及存储介质
CN111444976A (zh) * 2020-04-02 2020-07-24 Oppo广东移动通信有限公司 目标检测方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN115150614A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN111950723B (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN110622206A (zh) 使用多通道特征图的图像处理装置和方法
CN111382867B (zh) 神经网络压缩的方法、数据处理的方法及相关装置
CN110020639B (zh) 视频特征提取方法及相关设备
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
WO2021135715A1 (zh) 一种图像压缩方法及装置
CN112016450B (zh) 机器学习模型的训练方法、装置和电子设备
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN112163637B (zh) 基于非平衡数据的图像分类模型训练方法、装置
WO2021147276A1 (zh) 数据处理方法、装置及芯片、电子设备、存储介质
Niu et al. Machine learning-based framework for saliency detection in distorted images
WO2010080857A2 (en) Scalable media fingerprint extraction
CN115082306A (zh) 一种基于蓝图可分离残差网络的图像超分辨率方法
CN111126501B (zh) 一种图像识别方法、终端设备及存储介质
WO2022205893A1 (zh) 图像特征的传输方法、装置和系统
CN113256744B (zh) 一种图像编码、解码方法及系统
CN116468947A (zh) 刀具图像识别方法、装置、计算机设备及存储介质
CN112633394B (zh) 一种智能用户标签确定方法、终端设备及存储介质
WO2022205890A1 (zh) 图像特征的传输方法、装置和系统
KR102305981B1 (ko) 신경망 압축 훈련 방법 및 압축된 신경망을 이용하는 방법
CN114339252A (zh) 一种数据压缩方法及装置
WO2020063225A1 (zh) 一种数据处理方法和装置
CN110647898B (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN112749666B (zh) 一种动作识别模型的训练及动作识别方法与相关装置
CN116758618B (zh) 图像识别方法、训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21934529

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21934529

Country of ref document: EP

Kind code of ref document: A1