WO2022211409A1 - 특징맵 축소를 이용하는 머신 비전 데이터 코딩 장치 및 방법 - Google Patents

특징맵 축소를 이용하는 머신 비전 데이터 코딩 장치 및 방법 Download PDF

Info

Publication number
WO2022211409A1
WO2022211409A1 PCT/KR2022/004312 KR2022004312W WO2022211409A1 WO 2022211409 A1 WO2022211409 A1 WO 2022211409A1 KR 2022004312 W KR2022004312 W KR 2022004312W WO 2022211409 A1 WO2022211409 A1 WO 2022211409A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature map
feature
reduced
encoding
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/004312
Other languages
English (en)
French (fr)
Inventor
강제원
유채화
박승욱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Ewha Womans University
Kia Corp
Original Assignee
Hyundai Motor Co
Ewha Womans University
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220037097A external-priority patent/KR20220136176A/ko
Application filed by Hyundai Motor Co, Ewha Womans University, Kia Corp filed Critical Hyundai Motor Co
Priority to CN202280024083.0A priority Critical patent/CN117063201A/zh
Publication of WO2022211409A1 publication Critical patent/WO2022211409A1/ko
Priority to US18/371,730 priority patent/US12561846B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present disclosure relates to a machine vision data coding apparatus and method using feature map reduction.
  • MPEG Moving Picture Expert Group
  • VCM Video Coding for Machines
  • the basic structure of the VCM coding device is as illustrated in FIG. 1 .
  • the VCM encoder extracts features as information for machine vision, performs feature conversion as needed, and then encodes them.
  • the VCM encoder may refer to the encoded feature when encoding the input image or video.
  • the VCM encoder generates a bitstream by encoding features and input images (or residual images) for machine vision.
  • the VCM encoder multiplexes and transmits each bitstream generated by encoding a feature and a video.
  • the VCM decoder demultiplexes the transmitted bitstream into a feature bitstream and a video bitstream, and then decodes the feature and the video, respectively.
  • the VCM decoder may refer to the restored feature when decoding the video. After inverse conversion, the reconstructed features can be used simultaneously for machine vision and human vision.
  • an interface for Neural Network may be used to apply a deep learning model to extracting features in a VCM encoder, performing a task for machine vision in a VCM decoder, and the like.
  • a representative type of information for machine vision is a feature map extracted by a machine task-specific deep learning model. If the VCM encoder transmits the feature map instead of transmitting the video/video, the computational load in the cloud server including the VCM decoder can be greatly reduced, and there is an advantage in protecting personal information.
  • the feature map is a stacked array of multiple channels compared to a general image/video, the size of the feature map is fundamentally large.
  • the size of the output feature map of a specific layer of the deep learning model may be smaller than that of the input image/video, there is also a problem that the corresponding layer changes whenever the deep learning model is changed.
  • An object of the present invention is to provide a VCM (Video Coding for Machines) coding apparatus and method using a feature map decomposition method based on the feature map decomposition method.
  • VCM Video Coding for Machines
  • an encoding method for encoding a feature map performed by a machine vision encoding apparatus extracting the feature map from an input image using a deep learning model, wherein the The feature map is generated from the middle layer of the deep learning model; generating a reduced feature map by reducing the size of the feature map; converting the data type of the reduced feature map and rearranging the reduced feature map to generate a converted feature map; and generating a bitstream by encoding the transformed feature map using a video encoder.
  • a feature extractor for extracting a feature map from an input image using a deep learning model, wherein the feature map is generated from an intermediate layer of the deep learning model; a feature reducer for generating a reduced feature map by reducing the size of the feature map; a pre-quantizer for quantizing the reduced feature map to transform a data type of the reduced feature map; a repacker that rearranges the quantized feature map in the form of a video sequence to generate a converted feature map; and a feature encoder for generating a bitstream by encoding the transformed feature map using a video encoder.
  • a decoding method performed by a machine vision decoding apparatus, the method comprising: decoding a transformed feature map from a bitstream using a video decoder; restoring a reduced feature map by rearranging the transformed feature map and converting a data type of the rearranged transformed feature map; and generating a restored feature map by expanding the size of the reduced feature map, wherein the restored feature map corresponds to a feature map generated from an intermediate layer of a deep learning model in a machine vision encoding apparatus,
  • a decryption method is provided.
  • a sparsity method for reducing the need for spatial and channel aspects of the feature map and a feature map based on tensor decomposition
  • a sparing method that reduces the spatial and channel unnecessary of the feature map As a step of feature transformation, a sparing method that reduces the spatial and channel unnecessary of the feature map, and a tensor decomposition based
  • a sparing method that reduces the spatial and channel unnecessary of the feature map As a step of feature transformation, a sparing method that reduces the spatial and channel unnecessary of the feature map, and a tensor decomposition based
  • FIG. 1 is a block diagram conceptually illustrating a VCM coding apparatus.
  • FIG. 2 is an exemplary diagram illustrating a feature map for each layer of a deep learning model according to an embodiment of the present disclosure.
  • FIG. 3 is an exemplary diagram conceptually illustrating operations of a front end and a cloud server.
  • FIG. 4 is a block diagram conceptually illustrating a VCM core apparatus for performing intermediate feature compression according to an embodiment of the present disclosure.
  • FIG. 5 is a block diagram conceptually illustrating a VCM encoding apparatus using intermediate feature map reduction according to an embodiment of the present disclosure.
  • FIG. 6 is a block diagram conceptually illustrating a VCM decoding apparatus using intermediate feature map reconstruction according to an embodiment of the present disclosure.
  • FIG. 7 is an exemplary diagram illustrating a feature map reduction method based on feature map sparsity, according to an embodiment of the present disclosure.
  • FIG. 8 is an exemplary diagram illustrating a feature map reduction method based on feature map sparsity, according to another embodiment of the present disclosure.
  • FIG. 9 is an exemplary diagram illustrating a feature map reduction method using Tucker decomposition according to an embodiment of the present disclosure.
  • FIG. 10 is an exemplary diagram illustrating a feature map reduction method using CP decomposition according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating a VCM encoding method using intermediate feature map reduction according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart illustrating a VCM decoding method using intermediate feature map reconstruction according to an embodiment of the present disclosure.
  • This embodiment discloses a machine vision data coding apparatus and method using feature map reduction.
  • a sparsification method that reduces the unnecessaryness of the spatial and channel aspects of the feature map, and tensor decomposition
  • VCM video coding for machines
  • the VCM coding apparatus includes a VCM encoding apparatus and a VCM decoding apparatus.
  • the existing codecs for encoding and decoding a video signal so as to be optimized for human vision are referred to as a video encoder and a video decoder.
  • a multidimensional array output from each layer of a deep learning model having a hierarchical structure is typically a feature, a feature map, a deep feature, or a deep learning feature map (deep learning). It is called a feature map).
  • the feature map for each layer has a form in which two-dimensional arrays with spatial correlation are stacked.
  • the height H and the width W of the 2D array are called the height and width of the corresponding feature map
  • the number of stacked 2D arrays is called the number C of channels of the corresponding feature map.
  • CNN Convolutional Neural Network
  • the layer deepens the height and width of the feature map decrease and the size of the channel increases by pooling.
  • the short-channel 2D feature map may be regarded as one frame
  • the stacked feature maps may be regarded as one continuous video sequence.
  • the front-end device acquires information from a user or the physical world, and then transmits the acquired information to a cloud server (ie, a data center), and the cloud server uses the acquired information to perform additional processes and Perform the analysis.
  • a cloud server ie, a data center
  • a front-end device disposed in a real environment such as a security surveillance camera, a wearable device, etc. may acquire massive data transmitted to a cloud server for visual analysis, as illustrated in FIG. 3 .
  • the compression and transmission of video between the front end and the cloud server can rely on the traditional 'compress-then-analyse' method.
  • the front end device captures and compresses the visual data, and then sends the coded bitstream to the cloud server. After decoding the bitstream, the cloud server performs shape extraction and visual analysis.
  • the cloud server performs shape extraction and visual analysis.
  • visual compression at the video signal level can be burdensome and generally unmanageable.
  • the computational load of numerous deep learning models that are simultaneously executed for feature extraction may act as a significant difficulty.
  • the extracted features are used for task analysis instead of visual signals. It can be a feasible alternative to 'analysis'.
  • the top layer ie, the deepest layer
  • the low layer ie, the shallow layer
  • the top layer usually the top layer ( That is, the characteristics of the deepest layer) may be transmitted to the cloud end.
  • lightweight tasks such as comparison between features are performed on the cloud server, and tasks such as feature extraction are distributed to the front end.
  • this feature transmission is advantageous for privacy protection. Compared to the transmission of a visual signal in which personal information can be easily exposed, feature transmission can avoid visible information disclosure.
  • the deep learning model is designed and trained for a specific task, and the features of the upper layer are very abstract and task-specific, it may be difficult to generalize the features of the upper layer. In other words, it may be difficult for features compressed according to standardization to be applied to other scenarios, and this problem may become an obstacle in making a standard for feature compression of a deep learning model.
  • an intermediate deep feature compression method exists as a method for reducing the computational load in the cloud server while maintaining feature availability. This approach is considered a compromise between the extreme 'compression after analysis' and 'analysis after compression' as described above, and can provide a good balance between computational load, communication cost and generalization capability.
  • a deep learning model can be considered as a combination of stacked feature extractors rather than a single feature extractor.
  • the features of the upper layer are abstract and task-specific based on a large receptive field, whereas the features of the lower layer have a small receptive field and encode a lot of location information in the 2D feature map, so it can be suitable for a wide range of analysis. Therefore, in the case of compressing and transmitting the characteristics of the middle layer instead of the final layer, the cloud server can flexibly request the appropriate characteristics according to the task performed at the front end.
  • Intermediate feature coding is very important in the pipeline of the VCM standard, and can be applied in the order of feature transformation, feature encoding, and feature decoding in the structure of the VCM coding apparatus illustrated in FIG. 1 .
  • intermediate feature coding will be described. Meanwhile, in the illustration of FIG. 4 , components that perform video encoding and video decoding of an input image are not shown because they are not highly related to the present embodiment.
  • the feature map represents the intermediate feature map that is the output of the middle layer of the deep learning model.
  • FIG. 4 is a block diagram conceptually illustrating a VCM coding apparatus for performing intermediate feature compression, according to an embodiment of the present disclosure.
  • the VCM encoding apparatus includes all or a part of a feature extractor 410 , a feature converter 420 , and a feature encoder 430 .
  • the VCM decoding apparatus includes all or a part of a feature decoder 450 and a feature inverse converter 460 .
  • the feature encoder 430 and the feature decoder 450 may be implemented using an existing video coding apparatus.
  • the feature extractor 410 in the VCM encoding device extracts a feature map of a task for machine vision from an input image based on a deep learning model. Additionally, the deep learning model in the feature extractor 410 may perform a machine vision task, for example, to generate an analysis result of the machine vision task.
  • the deep learning model in the feature extractor 410 any neural network model capable of generating a feature map suitable for analysis of machine vision tasks may be used.
  • the deep learning model may be a CNN-based model implemented with multiple encoding layers.
  • one encoding layer includes a convolutional layer and a pooling layer.
  • the feature modifier 420 includes a pre-quantizer 422 and a repacker 424 for data type conversion for the feature map, channel reordering of the feature map, and the like.
  • the feature map extracted by the deep learning model may have a number type that is not compatible with the input of the existing video coding device. Accordingly, in order to match the input compatibility with the feature encoder 430 , the pre-quantizer 422 performs pre-quantization first.
  • feature maps of a general deep learning model are of a float32 type, whereas an existing video coding apparatus uses an integer input of 8 or more bits.
  • another pre-quantization method may be used according to the distribution analysis of the intermediate feature map.
  • the repacker 424 converts the pre-quantized N (here, N is a natural number) feature maps R N ⁇ H ⁇ W ⁇ C to R H′ ⁇ W′ , which is a format such as a video sequence, to fit the input format of the video coding device.
  • Repack with ⁇ NC .
  • H and W are the height and width of the 2D feature map
  • C is the number of channels.
  • H' ⁇ W' means that the size of the original feature map H ⁇ W is expanded by padding to fit the input frame size of the video coding apparatus.
  • R represents a real number.
  • N ⁇ H ⁇ W ⁇ C corresponds to the feature maps extracted from N frames.
  • the feature map is represented by F ⁇ R H ⁇ W ⁇ C
  • the 2D feature map constituting the feature map is represented by f ⁇ R H ⁇ W .
  • the repacker 424 may repack the pre-quantized N (here, N is a natural number) feature maps R N ⁇ H ⁇ W ⁇ C into one frame.
  • N is a natural number
  • the feature maps for each channel may be repacked into one super frame. For these repacked super frames, better compression efficiency can be achieved using only intra prediction of the video coding apparatus.
  • this repacking process will be referred to as frame packing.
  • the feature encoder 430 generates a corresponding bitstream by encoding the transformed feature map.
  • the feature decoder 450 in the VCM decoding apparatus decodes the transformed feature map from the bitstream.
  • the feature inverse transformer 460 applies a feature map inverse transformation, which is an inverse process of the feature map transformation by the VCM encoding apparatus, to the bitstream, a derepacker 462 and a post-dequantizer 464 . ) is included.
  • the de-repacker 462 transforms the repacked feature map in a format such as a video sequence into an original feature map size.
  • the post inverse quantizer 464 inversely quantizes the feature map having an integer value into a floating-point type. This reconstructed feature map may be used for machine vision task analysis as described above.
  • the compressed intermediate feature map may be larger than the video/image stream when transmitting the intermediate feature map instead of the visual signal.
  • the features of the upper layer of the deep learning model generally have a smaller compression size than the features of the lower layer. That is, some kinds of features may use less bandwidth than the video/video bitstream. Therefore, in this case, transmitting the intermediate feature map is meaningful in terms of transmission bandwidth efficiency.
  • the intermediate feature map cannot be compressed to a size smaller than the image/video bit stream, it is still meaningful to transmit the feature map. Since computational resources are consumed more than bandwidth in many application cases, it may be more important to distribute the computational load of the cloud server to the front-end equipment using intermediate feature map transmission.
  • FIG. 5 is a block diagram conceptually illustrating a VCM encoding apparatus using intermediate feature map reduction according to an embodiment of the present disclosure.
  • the feature reducer 512 additionally performs various feature map reduction methods to By reducing the size of the feature map, it is possible to improve the encoding efficiency of the feature map.
  • the feature reducer 512 may use two methods: feature map sparsification-based feature map reduction, and tensor decomposition-based feature map reduction. . By using these two methods individually or simultaneously, the feature reducer 512 can maximize feature map reduction. In addition, when the two methods are used together, there is no restriction on the order of use.
  • the method for reducing the feature map according to the present embodiment may be used in combination with a separate pre-processing method such as frame packing of the feature map as described above.
  • FIG. 6 is a block diagram conceptually illustrating a VCM decoding apparatus using intermediate feature map reconstruction according to an embodiment of the present disclosure.
  • the feature reconstructor 612 corresponding to the feature reducer 512 is a post inverse quantized feature map, that is, a reduced feature map. Restore the original feature map from the feature map.
  • a specific feature map restoration method may depend on a feature map reduction method used in the VCM encoding apparatus.
  • the feature map reduction methods performed by the feature reducer 512 and the feature restorer 612 will be described. 5 and 6 , it is assumed that an existing video coding apparatus is used for feature encoding/decoding, but the feature map reduction methods described below are not necessarily limited thereto. That is, the feature map reduction methods according to the present embodiment may be utilized to reduce the size of the extracted feature map regardless of a deep learning model for feature extraction or a coding method.
  • feature map reduction based on feature map sparsity utilizes the sparsity existing in the space or channel side of the feature map.
  • some regions and some channels may be greatly activated according to spatial characteristics of an input image/frame or characteristics of a trained filter.
  • a small activated region induces small activations continuously even if it is input to the next layer, and finally has a small influence on the judgment in the last layer of the deep learning model. Therefore, even when the value of the region outputting such small activations is sparsed to 0, the size of the feature map itself can be reduced without significantly lowering the judgment performance of the deep learning model. That is, the encoding efficiency of the feature map can be improved based on the feature map sparsity that sparse the region within the feature map activated to be smaller than a predetermined reference value.
  • FIG. 7 is an exemplary diagram illustrating a feature map reduction method based on feature map sparsity, according to an embodiment of the present disclosure.
  • the feature reducer 512 sparses a region that outputs small activations according to the degree of activation within a single 2D feature map f ⁇ R H ⁇ W constituting the intermediate feature map F ⁇ R H ⁇ W ⁇ C .
  • the feature reducer 512 when the area (eg, pixel) of the 2D feature map f of a specific channel of the feature map is expressed numerically according to the feature value, the feature reducer 512 completely sets the feature value of the area smaller than the specific threshold to 0. do.
  • the threshold is set to 1.5, regions marked as 1 may be set to 0. Even if an appropriate threshold is set and the feature value of a region smaller than this threshold is set to 0, the performance of the deep learning model is not significantly affected.
  • the feature reducer 512 is configured for C 2D maps ⁇ f 1 , f 2 , ...,f C ⁇ corresponding to all channels of the feature map, or some 2D maps ⁇ f 1 , f 2 , ..., For f C' ⁇ (C' ⁇ C), this spatial aspect feature map sparsation can be performed.
  • FIG. 8 is an exemplary diagram illustrating a feature map reduction method based on feature map sparsity, according to another embodiment of the present disclosure.
  • the feature reducer 512 reduces redundancy between two 2D feature maps when the 2D feature maps of two channels adjacent by a predetermined channel interval S are similar, that is, when the distance between the two feature maps is smaller than a specific threshold. For this purpose, by setting one 2D feature map to 0 or completely deleting one channel, the number of channels in the original feature map can be reduced, thereby reducing the size of the entire feature map.
  • the feature reducer 512 calculates a distance between two 2D feature maps with a constant channel interval S ?f i +S - f i ? (1 ⁇ i ⁇ CS).
  • a norm such as L1, L2, etc. may be used for the distance.
  • the channel interval S is set to 1.
  • the feature reducer 512 considers two 2D feature maps with a distance less than a certain threshold d as very similar feature maps.
  • the feature reducer 512 selects all pairs of channels having similar 2D feature maps, and sets all values of the 2D feature maps of the rear channel (or the front channel) to 0 among the two 2D feature maps for each pair.
  • the feature reducer 512 may completely delete one channel for each pair, as illustrated in FIG. 8 .
  • the feature reducer 512 may generate an intermediate feature map F' in which the total number of channels is reduced by using only 2D feature maps of dissimilar channels.
  • the VCM encoding apparatus When sparse channels exist, the VCM encoding apparatus encodes a channel interval S value and a 2D feature map of each sparse channel, and then transmits it to the VCM decoding apparatus. Since all values of the 2D feature map of each sparse channel are 0, the VCM encoding apparatus can easily encode the 2D feature map of each sparse channel, thereby greatly improving the encoding efficiency.
  • the VCM encoding apparatus may encode the channel interval S value and the index of each deleted channel, and then transmit it to the VCM decoding apparatus. Instead of encoding the H ⁇ W size 2D feature map for the deleted channel, the VCM encoding apparatus encodes only an integer value corresponding to an index, thereby greatly improving encoding efficiency.
  • the feature restorer 612 in the VCM decoding apparatus may refer to the restored reduced feature map, the restored channel stride S value, or the deleted channel index information.
  • the VCM decoding apparatus restores the original feature map before reduction by copying the 2D feature map of the channel before (or after) the S interval at the sparse channel position.
  • the VCM decoding apparatus restores the original feature map before reduction by copying the 2D feature map of the channel before (or after) the S interval to the deleted channel position with reference to the deleted channel index information.
  • the reconstructed feature map is an array having the same size as the original feature map, and thereafter, the VCM decoding apparatus can use the reconstructed feature map to analyze the machine vision task.
  • the VCM encoding apparatus may compress and transmit the feature map after multiplying the element value c i included in the 1 ⁇ C vector representing the weight of each channel by the corresponding feature map f i .
  • the VCM decoding apparatus may generate a restored feature map by dividing the received feature map by c i when decoding the feature map.
  • c i may be obtained from an SE block of a deep learning-based attention model or a deep learning-based SE (Squeeze and Excitation) model.
  • the feature map in the form of a multidimensional array as described above may be expressed by decomposing several low-dimensional simple tensors using tensor decomposition. In this case, the total size of the decomposed tensors may be reduced than the size of the original feature map.
  • the feature map reduction is not limited to a specific tensor decomposition method, and in addition to the examples described below, matrix decomposition (eg, singular value decomposition (SVD), CUR decomposition, QR decomposition, etc.) and HOSVD Various tensor decomposition methods such as (Higher Order SVD) may be applied. After the tensor decomposition method is applied, the VCM encoding apparatus may utilize decomposed low-dimensional tensors instead of the original feature map for feature encoding.
  • matrix decomposition eg, singular value decomposition (SVD), CUR decomposition, QR decomposition, etc.
  • HOSVD Various tensor decomposition methods such as (Higher Order SVD) may be applied.
  • the VCM encoding apparatus may utilize decomposed low-dimensional tensors instead of the original feature map for feature encoding.
  • FIG. 9 is an exemplary diagram illustrating a feature map reduction method using Tucker decomposition according to an embodiment of the present disclosure.
  • the feature reducer 512 uses Tucker decomposition to create an intermediate feature map for a single image. is a single kernel tensor. , and three factor matrices It can be decomposed as (i ⁇ 1,2,3 ⁇ ). At this time, r i is expressed as i-rank, and the feature map is In the case of generating a matrix in the form of a matrix, it indicates the rank of this matrix. Using one kernel tensor and three factor matrices, the feature map F can be approximated by operation of tensors, as shown in Equation 1.
  • Equation (2) the operators ⁇ 1 , ⁇ 2 and ⁇ 3 may be expressed as in Equation (2).
  • the data size n 1 n 2 n 3 of the original feature map is reduced to 'r 1 r 2 r 3 + r 1 n 1 + r 2 n 2 + r 3 n 3 '.
  • the VCM encoding apparatus encodes each of the decomposed tensors K, F (1) , F (2) and F (3) using a video encoder, and then multiplexes the generated bitstreams to the VCM decoding apparatus. can be transmitted
  • the VCM decoding apparatus decodes the bitstream of decomposed tensors using a video decoder, and then applies the decoded tensors to the derepacker 462 and the post inverse quantizer 464 as illustrated in FIG. 4 . .
  • the VCM decoding apparatus may reconstruct the original feature map according to Equation 1 using the dequantized dequantized tensors.
  • a method of reducing the feature map by the feature reducer 512 based on Canonical Polyadic (CP) decomposition is described using the example of FIG. 10 .
  • FIG. 10 is an exemplary diagram illustrating a feature map reduction method using CP decomposition according to an embodiment of the present disclosure.
  • the feature reducer 512 uses CP decomposition, as illustrated in FIG. 10 , for the intermediate feature map. can be decomposed into a linear combination of rank 1 tensors. That is, as shown in Equation 3, the feature map F may be approximated based on P (here, P is a natural number) rank 1 tensors.
  • the operator o represents the cross product.
  • the VCM encoding apparatus generates tensors A, B, and C by concatenating rank 1 tensors having the same size, and then encodes them.
  • the data size n 1 n 2 n 3 of the original feature map is reduced to '(n 1 + n 2 + n 3 )P'.
  • the VCM encoding apparatus may encode the decomposed P rank 1 tensors.
  • the VCM encoding apparatus transmits the bitstream obtained by encoding the decomposed tensors to the VCM decoding apparatus.
  • the VCM decoding apparatus decodes the bitstream of decomposed tensors using a video decoder, and then applies the decoded tensors to the derepacker 462 and the post inverse quantizer 464 as illustrated in FIG. 4 . .
  • the VCM decoding apparatus may reconstruct the original feature map according to Equation 3 by using the dequantized dequantized tensors.
  • the VCM encoding apparatus may encode tensors obtained by combining only P' ( ⁇ P) rank 1 tensors, and may transmit the encoded tensors to the VCM decoding apparatus.
  • the VCM decoding apparatus may reconstruct the original feature map by using the decoded P' rank 1 tensors.
  • VCM encoding method using intermediate feature map reduction and a VCM decoding method using intermediate feature map reconstruction will be described using the illustrations of FIGS. 11 and 12 .
  • FIG. 11 is a flowchart illustrating a VCM encoding method using intermediate feature map reduction according to an embodiment of the present disclosure.
  • the VCM encoding apparatus extracts a feature map from the input image using a deep learning model (S1100).
  • the feature map represents an intermediate feature map generated from the middle layer of the deep learning model.
  • the feature map includes as many 2D feature maps as the number of channels having the same height and width.
  • the VCM encoding apparatus generates a reduced feature map by reducing the size of the feature map (S1102).
  • the VCM encoding apparatus reduces the size of the feature map based on the feature map sparsity in terms of space or channel of the feature map.
  • the VCM encoding apparatus may reduce the feature map based on tensor decomposition.
  • the VCM encoding apparatus compares the feature value of a region with a preset threshold in the 2D feature map constituting the feature map.
  • a preset threshold the feature value of the corresponding region may be set to 0.
  • the VCM encoding apparatus calculates a distance between two 2D feature maps having a preset channel interval. After selecting all pairs of 2D feature maps corresponding to the case where the calculated distance is smaller than a preset threshold, the VCM encoding apparatus sparses all values of one 2D feature map to 0 for each of the selected pairs, or Delete one 2D feature map.
  • the VCM encoding apparatus may decompose the feature map into one kernel tensor and three factor matrices.
  • the feature map can be approximated by one kernel tensor and three factor matrices.
  • the VCM encoding apparatus may decompose the feature map into P rank 1 tensors.
  • the feature map may be approximated based on P rank 1 tensors.
  • the VCM encoding apparatus quantizes the reduced feature map to transform the data type of the reduced feature map (S1104).
  • the VCM encoding apparatus generates a converted feature map by rearranging the quantized feature map in the form of a video sequence (S1106).
  • the VCM encoding apparatus generates a bitstream by encoding the transformed feature map using a video encoder (S1108).
  • the VCM encoding apparatus when using the channel sparsity of the feature map, the VCM encoding apparatus generates a bitstream as follows. With respect to the sparse feature map, the VCM encoding apparatus may encode the 2D feature map and a preset channel interval, and then transmit it to the VCM decoding apparatus. Alternatively, for the deleted feature map, the VCM encoding apparatus may encode the index of the deleted 2D feature map and a preset channel interval, and then transmit it to the VCM decoding apparatus.
  • the VCM encoding apparatus may encode each of the kernel tensor and factor matrices to generate corresponding bitstreams, and then transmit the generated bitstreams to the VCM decoding apparatus.
  • the VCM encoding apparatus may encode each of the P rank 1 tensors to generate corresponding bitstreams, and then transmit the generated bitstreams to the VCM decoding apparatus.
  • the VCM encoding apparatus may generate tensors in which rank 1 tensors having the same size are combined.
  • the VCM encoding apparatus may generate corresponding bitstreams by encoding them, and then transmit them to the VCM decoding apparatus.
  • FIG. 12 is a block diagram illustrating a VCM decoding method using intermediate feature map reconstruction according to an embodiment of the present disclosure.
  • the intermediate feature map represents a feature map generated from the middle layer of the deep learning model in the machine vision encoding apparatus.
  • the feature map includes as many 2D feature maps as the number of channels having the same height and width.
  • the VCM decoding apparatus decodes the transformed feature map from the bitstream using a video decoder (S1200).
  • the VCM decoding apparatus decodes the bitstream as follows. For the sparse 2D feature map, the VCM decoding apparatus decodes the sparse 2D feature map with a preset channel interval. Alternatively, for the deleted 2D feature map, the VCM decoding apparatus decodes a preset channel interval and an index of the deleted 2D feature map.
  • the VCM decoding apparatus rearranges the transformed feature map in the form of a video sequence (S1202).
  • the VCM decoding apparatus restores the reduced feature map by inverse quantizing the rearranged transformed feature map in order to transform the data type of the rearranged transformed feature map (S1204).
  • the VCM decoding apparatus generates a restored feature map by extending the size of the reduced feature map (S1206).
  • the restored feature map corresponds to the above-described intermediate feature map.
  • the VCM decoding apparatus When the reduced feature map is reduced based on channel-side feature map sparsity, the VCM decoding apparatus generates a restored feature map as follows. For the sparse 2D feature map, the VCM decoding apparatus may generate the restored feature map by copying the restored 2D feature map before or after a predetermined channel interval to the location of the sparse 2D feature map. Alternatively, for the deleted 2D feature map, the VCM decoding apparatus refers to the decoded index and copies the restored 2D feature map before or after a predetermined channel interval to the location of the deleted 2D feature map, thereby generating the restored feature map. can do.
  • the VCM decoding apparatus approximates the restored feature map using the kernel tensor and factor matrices constituting the reduced feature map.
  • the VCM decoding apparatus approximates the restored feature map using P rank 1 tensors constituting the reduced feature map. can do.
  • non-transitory recording medium includes, for example, any type of recording device in which data is stored in a form readable by a computer system.
  • the non-transitory recording medium includes a storage medium such as an erasable programmable read only memory (EPROM), a flash drive, an optical drive, a magnetic hard drive, and a solid state drive (SSD).
  • EPROM erasable programmable read only memory
  • SSD solid state drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

특징맵 축소를 이용하는 머신 비전 데이터 코딩 장치 및 방법에 관한 개시로서, 본 실시예는, 머신 태스크 특화된 딥러닝 모델에 의해 추출된 특징맵의 크기를 감소시키기 위해, 특징맵의 공간과 채널 측면의 불필요성을 감소시키는 희소화(sparsification) 방법, 및 텐서 분해(tensor decomposition)에 기반하는 특징맵 분해 방법을 이용하는 VCM(Video Coding for Machines) 코딩 장치 및 방법을 제공한다.

Description

특징맵 축소를 이용하는 머신 비전 데이터 코딩 장치 및 방법
본 개시는 특징맵 축소를 이용하는 머신 비전 데이터 코딩 장치 및 방법에 관한 것이다.
이하에 기술되는 내용은 단순히 본 발명과 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
딥러닝(deep learning) 기술의 및 컴퓨팅 파워의 발전과 함께 머신 비전 어플리케이션이 폭발적으로 증가함에 따라 비디오 트래픽(video traffic)의 대부분이 기계에 의해 이용될 것이라는 인식이 확산되고 있다. 머신 투 머신(machine-to-machine) 애플리케이션은 향후 인터넷 비디오 트래픽의 가장 큰 사용량을 차지할 것으로 예상된다. 따라서, 기계가 사용하는 비디오 데이터의 정보를 최적화하는 방안은 비디오 처리 기술의 혁신 및 신규 솔루션의 상용화 측면에서 핵심 요소가 될 수 있다.
기존의 비디오 코딩 방식은 특정 비트 전송률 제약 조건 하에서 최고의 영상 또는 영상 품질을 목표로 하므로, 인간의 시각에 최적화되어 있다. 반면, 머신 비전을 위한 코딩의 경우, 복원 영상/비디오가 반드시 높은 시각적 성능을 가질 필요는 없다. 지연 시간(latency)과 규모(scale)에 대해 엄격한 제한사항이 있는 커넥티드 차량, IoT(Internet of Things) 장치, 초대형 비디오 감시 네트워크, 스마트 시티, 품질 검사 등의 분야가 출현함에 따라 머신 비전을 위한 새로운 패러다임이 등장하여 머신 비전을 목표로 하는 신규 이미지/비디오 코딩 방법의 필요성이 대두되었다.
이에 따라, 표준화 기구인 MPEG(Moving Picture Expert Group)에서는 머신 비전을 위한 표준화의 필요성이 논의되고, 머신 비전 데이터를 위한 압축 코딩, 및 휴먼-머신 하이브리드 시야를 위한 압축 코딩을 제공하는 차세대 비디오 코딩 장치로서 VCM(Video Coding for Machines)이 제안되었다.
VCM 코딩 장치의 구조에는 다양한 변형이 있을 수 있으나, 기본적인 VCM 코딩 장치의 구조는 도 1에 예시된 바와 같다. 센서의 출력인 비디오가 입력되었을 때, VCM 부호화기는 머신 비전을 위한 정보로서 특징을 추출(feature extraction)하고, 이를 필요에 맞게 변형(feature conversion)한 후, 부호화(feature encoding)한다. 또한, VCM 부호화기는 입력 영상 또는 비디오를 부호화할 때 부호화된 특징을 참조할 수 있다. 최종적으로, VCM 부호화기는 머신 비전을 위한 특징과 입력 영상(또는, 잔차 영상)을 부호화하여 비트스트림을 생성한다. VCM 부호화기는 특징 및 비디오를 부호화하여 생성되는 각각의 비트스트림을 다중화(multiplexing)하여 함께 전송한다.
VCM 복호화기는 전송된 비트스트림으로부터 특징 비트스트림과 비디오 비트스트림으로 역다중화(demultiplexing)한 후, 특징과 비디오를 각각 복호화한다. 이때, VCM 복호화기는, 비디오의 복호화 시, 복원된 특징을 참조할 수 있다. 복원된 특징은 역변형(inverse conversion)된 후, 머신 비전과 인간의 시각에 동시에 사용될 수 있다.
또한, 도 1의 예시에서, VCM 부호화기에서의 특징 추출, VCM 복호화기에서의 머신 비전용 태스크 수행 등에 딥러닝 모델을 적용하기 위해, 신경망 연결부(interface for Neural Network)가 이용될 수 있다.
특히, 머신 비전을 위한 정보의 대표적인 유형은, 머신 태스크 특화된 딥러닝 모델에 의해 추출되는 특징맵(feature map)이다. 영상/비디오를 전송하는 대신 VCM 부호화기가 특징맵을 전송하면, VCM 복호화기를 포함하는 클라우드 서버에서의 연산 부하가 크게 감소될 수 있고, 개인 정보 보호에도 이점이 있다. 하지만, 특징맵은 일반적인 영상/비디오에 비해 다수의 채널이 적층된(stacked) 형태의 배열이므로, 근본적으로 그 크기가 크다. 또한, 딥러닝 모델의 특정 계층의 출력 특징맵의 크기가 입력 영상/비디오보다 작을 수 있지만, 딥러닝 모델이 변경될 때마다 대응되는 계층이 달라진다는 문제도 있다.
특징맵의 크기가 입력 영상/비디오보다 과도하게 큰 경우, 전술한 연산 부하 감소, 개인 정보 보호 등의 이점이 퇴색될 수 있다. 따라서, 추출된 특징맵의 특성을 반영하여 그 크기를 감소시키는 추가적인 방법이 고안될 필요가 있다.
본 개시는, 머신 태스크 특화된 딥러닝 모델에 의해 추출된 특징맵의 크기를 감소시키기 위해, 특징맵의 공간과 채널 측면의 불필요성을 감소시키는 희소화(sparsification) 방법, 및 텐서 분해(tensor decomposition)에 기반하는 특징맵 분해 방법을 이용하는 VCM(Video Coding for Machines) 코딩 장치 및 방법을 제공하는 데 목적이 있다.
본 개시의 실시예에 따르면, 머신 비전 부호화 장치가 수행하는, 특징맵을 부호화하는 부호화 방법에 있어서, 딥러닝(deep learning) 모델을 이용하여 입력 영상으로부터 상기 특징맵을 추출하는 단계, 여기서, 상기 특징맵은 상기 딥러닝 모델의 중간 계층으로부터 생성됨; 상기 특징맵의 크기를 축소하여 축소(reduced) 특징맵을 생성하는 단계; 상기 축소 특징맵의 데이터 타입을 변환하고, 상기 축소 특징맵을 재배열하여 변형(converted) 특징맵을 생성하는 단계; 및 비디오 부호화기를 이용하여 상기 변형 특징맵을 부호화함으로써 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는, 부호화 방법을 제공한다.
본 개시의 다른 실시예에 따르면, 딥러닝(deep learning) 모델을 이용하여 입력 영상으로부터 특징맵을 추출하는 특징 추출기, 여기서, 상기 특징맵은 상기 딥러닝 모델의 중간 계층으로부터 생성됨; 상기 특징맵의 크기를 축소하여 축소(reduced) 특징맵을 생성하는 특징 축소기(feature reducer); 상기 축소 특징맵의 데이터 타입을 변환하기 위해 상기 축소 특징맵을 양자화하는 사전 양자화기(pre-quantizer); 상기 양자화된 특징맵을 비디오 시퀀스의 형태로 재배열하여 변형(converted) 특징맵을 생성하는 리패커(repacker); 및 비디오 부호화기를 이용하여 상기 변형 특징맵을 부호화함으로써 비트스트림을 생성하는 특징 부호화기를 포함하는 것을 특징으로 하는, 머신 비전 부호화 장치를 제공한다.
본 개시의 다른 실시예에 따르면, 머신 비전 복호화 장치가 수행하는 복호화 방법에 있어서, 비디오 복호화기를 이용하여 비트스트림으로부터 변형 특징맵을 복호화하는 단계; 상기 변형 특징맵을 재배열하고, 상기 재배열된 변형 특징맵의 데이터 타입을 변환하여 축소(reduced) 특징맵을 복원하는 단계; 및 상기 축소 특징맵의 크기를 확장하여 복원 특징맵을 생성하는 단계를 포함하되, 상기 복원 특징맵은 머신 비전 부호화 장치 내 딥러닝 모델의 중간 계층으로부터 생성된 특징맵에 대응하는 것을 특징으로 하는, 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 따르면, 머신 태스크 특화된 딥러닝 모델에 의해 추출된 특징맵에 대해, 특징맵의 공간과 채널 측면의 불필요성을 감소시키는 희소화 방법, 및 텐서 분해에 기반하는 특징맵 분해 방법을 이용하는 VCM 코딩 장치 및 방법을 제공함으로써, 특징맵의 크기를 감소시키는 것이 가능해지는 효과가 있다.
또한 본 실시예에 따르면, 머신 태스크 특화된 딥러닝 모델에 의해 추출된 특징맵에 대해, 특징 변형의 한 단계로서 특징맵의 공간과 채널 측면의 불필요성을 감소시키는 희소화 방법, 및 텐서 분해에 기반하는 특징맵 분해 방법을 이용하는 VCM 코딩 장치 및 방법을 제공함으로써, 특징 변형 전후에 존재하는 특징 추출 단계 및 특징 부호화 단계와는 독립적으로 특징맵 축소를 사용하는 것이 가능해지는 효과가 있다.
도 1은 VCM 코딩 장치를 개념적으로 나타내는 블록도이다.
도 2는 본 개시에 일 실시예에 따른 딥러닝 모델의 계층별 특징맵을 나타내는 예시도이다.
도 3은 프런트 단과 클라우드 서버의 동작을 개념적으로 나타내는 예시도이다.
도 4는 본 개시의 일 실시예에 따른, 중간 특징 압축을 수행하는 VCM 코eld 장치를 개념적으로 나타내는 블록도이다.
도 5는 본 개시의 일 실시예에 따른, 중간 특징맵 축소를 이용하는 VCM 부호화 장치를 개념적으로 나타내는 블록도이다.
도 6은 본 개시의 일 실시예에 따른, 중간 특징맵 복원을 이용하는 VCM 복호화 장치를 개념적으로 나타내는 블록도이다.
도 7은 본 개시의 일 실시예에 따른, 특징맵 희소화 기반의 특징맵 축소 방법을 나타내는 예시도이다.
도 8은 본 개시의 다른 실시예에 따른, 특징맵 희소화 기반의 특징맵 축소 방법을 나타내는 예시도이다.
도 9는 본 개시의 일 실시예에 따른, 터커 분해를 이용하는 특징맵 축소 방법을 나타내는 예시도이다.
도 10은 본 개시의 일 실시예에 따른, CP 분해를 이용하는 특징맵 축소 방법을 나타내는 예시도이다.
도 11는 본 개시의 일 실시예에 따른, 중간 특징맵 축소를 이용하는 VCM 부호화 방법을 나타내는 순서도이다.
도 12는 본 개시의 일 실시예에 따른, 중간 특징맵 복원을 이용하는 VCM 복호화 방법을 나타내는 순서도이다.
이하, 본 발명의 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예들의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 실시예는 특징맵 축소를 이용하는 머신 비전 데이터 코딩 장치 및 방법에 관한 내용을 개시한다. 보다 자세하게는, 머신 태스크 특화된 딥러닝 모델에 의해 추출된 특징맵의 크기를 감소시키기 위해, 특징맵의 공간과 채널 측면의 불필요성을 감소시키는 희소화(sparsification) 방법, 및 텐서 분해(tensor decomposition)에 기반하는 특징맵 분해 방법을 이용하는 VCM(Video Coding for Machines) 코딩 장치 및 방법을 제공한다.
여기서, VCM 코딩 장치는 VCM 부호화 장치와 VCM 복호화 장치를 포함한다.
한편, 인간의 시각에 최적화되도록 비디오 신호를 부호화 및 복호화하는 기존의 코덱을 비디오 부호화기 및 비디오 복호화기로 나타낸다.
I. 중간 특징맵 코딩(intermediate deep feature coding)
계층적 구조를 갖는 딥러닝 모델의 각 계층(layer)에서 출력되는 다차원의 배열은 통상적으로 특징(feature), 특징맵(feature map), 딥 특징(deep feature), 또는 딥러닝 특징맵 (deep learning feature map)으로 명칭된다. 도 2의 예시와 같이, 각 계층별 특징맵은 공간적 상관성이 있는 2차원의 배열이 적층된(stacked) 형태를 가진다. 이때, 2차원 배열의 높이 H와 너비 W는 해당 특징맵의 높이와 너비로 명칭되고, 스택된 2차원 배열의 개수는 해당 특징맵의 채널의 개수 C로 명칭된다. 영상처리에 적합한 것으로 알려진 CNN(Convolutional Neural Network) 구조에서는, 일반적으로 계층이 깊어질수록 풀링(pooling)에 의해 특징맵의 높이와 너비의 크기가 작아지고 채널의 크기는 증가한다. 또한, 직관적으로, 단채널의 2차원 특징맵은 하나의 프레임으로 간주될 수 있고, 적층된 특징맵들은 연속된 하나의 비디오 시퀀스로 간주될 수 있다.
네트워크 인프라(network infra)의 발달로 최근 클라우드 기반 애플리케이션들(cloud-based applications)이 등장하고 있다. 특히, 프런트 단(front-end) 장치는 사용자 또는 물리적 세계로부터 정보를 획득한 후, 획득된 정보를 클라우드 서버(즉, 데이터 센터)로 전송하고, 클라우드 서버는 획득된 정보를 이용하여 추가적인 프로세스와 분석을 수행한다. 보안 감시 카메라, 웨어러블 기기(wearable device) 등과 같은 실제 환경에 배치된 프런트 단 장치는, 도 3에 예시된 바와 같이, 시각적 분석을 위해 클라우드 서버에 전송되는 방대한 데이터를 획득할 수 있다. 예컨대, i) 자율 주행 차량에서의 보행자 감지, 사람/차량 식별 및 번호판 인식, ii) 휴대용 장치(예를 들어, 스마트폰, 스마트 안경 등)의 애플리케이션에서의 얼굴 인식, 랜드마크 탐색 및 물체 감지 iii) 감시 카메라에서의 감시 영상 획득 및 사람/차량 인식 등에 있어서, 많은 딥러닝 기반의 비전 모델들이 이러한 클라우드 기반 패러다임에 적용될 수 있다.
한편, 이러한 클라우드 기반 패러다임에서, 프런트 단과 클라우드 서버 간의 비디오의 압축과 전송은 전통적인 '압축 후 분석(compress-then-analyse)' 방식에 의존할 수 있다. 프런트 단 장치는 시각적 데이터를 캡처하고 압축한 후, 코드화된 비트스트림을 클라우드 서버로 전송한다. 클라우드 서버는 비트스트림을 디코딩한 후 형상 추출 및 시각적 분석을 수행한다. 하지만, 비디오 감시 및 IoT와 같은 시나리오에서는, 방대한 양의 프런트 단 장치가 수백 만 개의 비트스트림들을 동시에 생성할 수 있다. 따라서, 프런트 단의 측면에서, 비디오 신호 레벨에서의 시각적 압축은 전송 부담이 크고 일반적으로 감당할 수 없는 규모일 수 있다. 또한, 클라우드 서버의 측면에서, 특징 추출을 위해 동시에 실행되는 수많은 딥러닝 모델들의 연산 부하가 상당한 어려움으로 작용될 수 있다.
이에 반해, 프런트 단에서 추출한 특징을 압축한 후 클라우드 서버로 전송하는 '분석 후 압축 (analyze-then-compress)' 방식에서는, 시각적 신호 대신 추출된 특징이 태스크 분석에 사용되므로, 전술한 '압축 후 분석'의 실현 가능한 대안이 될 수 있다. 딥러닝 기반 특징들에 있어서, 딥러닝 모델의 최상위 계층(즉, 가장 깊은 계층)의 특징들이 하위 계층(즉, 얕은 계층)보다 간결(compact)하고 분석에 바로 사용될 수 있기 때문에, 보통 최상위 계층(즉, 가장 깊은 계층)의 특징들이 클라우드 단에 전송될 수 있다. 이러한 시나리오에서는, 특징 간 비교와 같은 경량 작업들이 클라우드 서버에서 수행되고, 특징 추출과 같은 작업들은 프런트 단에 분산된다. 또한, 이러한 특징 전송은 개인 정보 보호에도 유리하다. 개인 정보가 용이하게 노출될 수 있는 시각적 신호의 전송과 비교하여, 특징 전송은 가시적 정보 공개를 회피할 수 있다.
한편, 딥러닝 모델이 특정 태스크에 대해 설계 및 트레이닝되고, 최상위 계층의 특징들은 매우 추상적이고 태스크 특화되기 때문에, 최상위 계층의 특징들을 압축하는 것은 일반화되기 어려울 수 있다. 즉, 표준화에 따라 압축된 특징들이 다른 시나리오에 적용되기 어려울 수 있는데, 이러한 문제는 딥러닝 모델의 특징 압축에 대한 표준을 만드는 데 있어서 장애물이 될 수 있다.
전술한 바와 같은 사안들을 고려하여, 특징의 가용성(availability)을 유지하면서도, 클라우드 서버에서의 연산 부하를 줄이기 위한 방안으로, 중간 특징 압축(intermediate deep feature compression) 방식이 존재한다. 이 방식은 전술한 바와 같은 극단적인 '분석 후 압축'과 '압축 후 분석' 간의 절충으로 간주되며, 연산 부하, 통신 비용 및 일반화 능력 사이의 균형을 잘 제공할 수 있다.
딥러닝 모델은 일반적으로 계층 구조를 가지므로, 딥러닝 모델은 단일 특징 추출기가 아닌 적층된 특징 추출기들의 조합으로 간주될 수 있다. 상위 계층의 특징은 큰 수용 필드(receptive field)를 바탕으로 추상적이고 태스크 특화적인 반면, 하위 계층의 특징은 작은 수용 필드를 가지고 2D 특징맵에 많은 위치 정보를 부호화하므로 광범위한 분석에 적합할 수 있다. 따라서, 최종 계층 대신 중간 계층의 특징을 압축 및 전송하는 경우, 프런트 단에서 수행되는 태스크에 따라, 클라우드 서버는 적절한 특징을 유연하게 요청할 수 있다.
중간 특징 코딩은 VCM 표준의 파이프라인에서 매우 중요한데, 도 1에 예시된 VCM 코딩 장치의 구조에서 특징 변형, 특징 부호화, 및 특징 복호화 순서로 적용될 수 있다. 이하, 도 4의 도시를 이용하여, 중간 특징 코딩을 기술한다. 한편, 도 4의 도시에서는, 입력 영상의 비디오 부호화 및 비디오 복호화를 수행하는 구성요소들은, 본 실시예와 연관성이 크지 않으므로 그 도시를 생략한다.
이하의 설명에서, 특징맵은 딥러닝 모델의 중간 계층의 출력인 중간 특징맵을 나타낸다.
도 4는 본 개시의 일 실시예에 따른, 중간 특징 압축을 수행하는 VCM 코딩 장치를 개념적으로 나타내는 블록도이다.
VCM 부호화 장치는 특징 추출기(feature extractor, 410), 특징 변형기(feature converter, 420) 및 특징 부호화기(430)의 전부 또는 일부를 포함한다. 또한, VCM 복호화 장치는 특징 복호화기(450) 및 특징 역변형기(feature inverse converter, 460)의 전부 또는 일부를 포함한다.
우선, 특징 부호화기(430)와 특징 복호화기(450)는 기존 비디오 코딩 장치를 이용하여 구현될 수 있다.
VCM 부호화 장치 내 특징 추출기(410)는 딥러닝 모델을 기반으로, 입력 영상으로부터 머신 비전을 위한 태스크의 특징맵을 추출한다. 추가적으로, 특징 추출기(410) 내 딥러닝 모델은 머신 비전 태스크를 수행하여, 예컨대, 머신 비전 태스크의 분석 결과를 생성할 수 있다.
특징 추출기(410) 내 딥러닝 모델로는, 머신 비전 태스크의 분석에 적합한 특징맵을 생성할 수 있는 어느 신경망 모델이든 이용될 수 있다. 예컨대, 딥러닝 모델은 다수의 인코딩 계층들(layers)로 구현된 CNN 기반의 모델일 수 있다. 이때, 하나의 인코딩 계층은 콘볼루션 레이어(convolutional layer)와 풀링 레이어(pooling layer)를 포함한다.
특징 변형기(420)는, 특징맵에 대해 데이터 타입 변환, 특징맵 채널 재정렬 등을 위해 사전 양자화기(pre-quantizer, 422) 및 리팩커(repacker, 424)를 포함한다.
딥러닝 모델에 의해 추출된 특징맵은 기존의 비디오 코딩 장치의 입력과 호환되지 않는 숫자 유형을 가질 수 있다. 따라서, 특징 부호화기(430)와의 입력 호환성을 맞추기 위해, 사전 양자화기(422)는 사전 양자화(pre-quantization)를 먼저 수행한다. 예를 들어, 일반적인 딥러닝 모델의 특징맵들은 float32 타입인 반면, 기존의 비디오 코딩 장치는 8 또는 그 이상의 비트의 정수형 입력을 이용한다. 또한, 중간 특징맵의 분포 분석에 따라 다른 사전 양자화 방법이 사용될 수 있다.
리팩커(424)는 사전 양자화된 N(여기서, N은 자연수) 개의 특징맵 RN×H×W×C 을 비디오 코딩 장치의 입력 형식에 맞도록 비디오 시퀀스와 같은 포맷인 RH'×W'×NC로 리패킹한다. 여기서, H와 W는 2D 특징맵의 높이와 너비, C는 채널의 개수이다. H'×W'은, 비디오 코딩 장치의 입력 프레임 크기에 적합하도록 원본 특징맵의 크기 H×W가 패딩에 의해 확장된 것이다. R은 실수를 나타낸다. 또한, 입력 영상 중 하나의 프레임으로부터 딥러닝 모델이 추출하는 특징맵이 H×W×C이므로, N×H×W×C는 N 개의 프레임들로부터 추출된 특징맵들에 해당된다.
이하의 설명에서, 특징맵은 F ∈ RH×W×C로 나타내고, 특징맵을 구성하는 2D 특징맵을 f ∈ RH×W 로 나타낸다.
다른 실시예로서, 리팩커(424)는 사전 양자화된 N(여기서, N은 자연수) 개의 특징맵 RN×H×W×C을 하나의 프레임으로 리패킹할 수 있다. 예컨대, 전술한 바와 같이 특징 부호화기(430)가 기존의 비디오 코딩 장치인 경우, 인터 예측 모드 대신 인트라 예측 모드만을 사용하기 위해, 채널별 특징맵들이 하나의 수퍼 프레임으로 리패킹될 수 있다. 이러한 리패킹된 수퍼 프레임에 대해, 비디오 코딩 장치의 인트라 예측만을 사용하여 더 좋은 압축 효율이 달성될 수 있다. 이하, 이러한 리패킹 과정을 프레임 패킹으로 명칭한다.
특징 부호화기(430)는 변형된 특징맵을 부호화하여 해당되는 비트스트림을 생성한다.
VCM 복호화 장치 내 특징 복호화기(450)는 비트스트림으로부터 변형된 특징맵을 복호화한다.
특징 역변형기(460)는, VCM 부호화 장치에 의한 특징맵 변형의 역과정인 특징맵 역변형을 비트스트림에 적용하기 위해, 디리팩커(derepacker, 462) 및 사후 역양자화기(post-dequantizer, 464)를 포함한다.
디리팩커(462)는 비디오 시퀀스와 같은 포맷으로 리패킹된 특징맵을 원본 특징맵 크기로 변형한다.
사후 역양자화기(464)는 정수값을 갖는 특징맵을 부동소수점 타입으로 역양자화한다. 이러한 복원된 특징맵은, 전술한 바와 같이 머신 비전 태스크 분석을 위해 이용될 수 있다.
시각적 신호 대신 중간 특징맵을 전송할 때 압축된 중간 특징맵이 비디오/이미지 스트림보다 더 클 수 있다는 우려가 존재한다. 하지만, 딥러닝 모델 상위 계층의 특징들은 일반적으로 하위 계층의 특징보다 더 작은 압축 크기를 가지며, 특히, 최상위 계층으로 근접할수록 해당되는 특징들이 원본 시각 정보보다 좋은 압축률을 갖는 것이 알려져 있다. 즉, 어떤 종류의 특징은 영상/비디오 비트스트림보다 적은 대역폭을 사용할 수 있다. 따라서, 이런 경우, 중간 특징맵을 전송하는 것이 전송 대역폭 효율화 측면에서 의미가 있다.
한편, 중간 특징맵이 영상/비디오 비트 스트림보다 작은 크기로 압축되지 못한다고 하더라도, 특징맵을 전송하는 것은 여전히 의미가 있다. 많은 적용 사례에서 연산 자원이 대역폭보다 더 많이 소비되므로, 중간 특징맵 전송을 이용하여 클라우드 서버의 연산 부하를 프런트 단 장비로 분산시키는 것이 더욱 중요할 수 있다.
II. 중간 특징맵 축소(intermediate deep feature reduction)
이하, 도 5 및 도 6의 도시를 이용하여, 특징 변형 단계에서 중간 특징맵을 축소하는 방법, 및 특징 역변형 단계에서 중간 특징맵을 복원하는 방법을 기술한다.
도 5는 본 개시의 일 실시예에 따른, 중간 특징맵 축소를 이용하는 VCM 부호화 장치를 개념적으로 나타내는 블록도이다.
도 5의 도시에 신규로 추가된 특징 축소기(feature reducer, 512)를 제외한 나머지 구성요소들은 도 4에 도시된 VCM 부호화 장치의 구성요소들과 동일하다. 전술한 바와 같이, 특징 변형 단계는 특징 부호화를 위해 기존 비디오 코딩 장치를 이용하는 것을 전제하므로, 특징맵을 사전 양자화하기 전에, 특징 축소기(512)는 여러 가지 특징맵 축소 방법을 추가적으로 수행하여, 원본 특징맵의 크기를 감축시킴으로써, 특징맵의 부호화 효율을 향상시킬 수 있다.
한편, 특징맵 축소를 위해 특징 축소기(512)는, 특징맵 희소화(feature map sparsification) 기반의 특징맵 축소, 및 텐서 분해(tensor decomposition) 기반의 특징맵 축소의 두 가지 방법을 사용할 수 있다. 이러한 두 가지 방법을 개별적으로 사용되거나 동시에 사용함으로써, 특징 축소기(512)는 특징맵 축소를 극대화할 수 있다. 또한, 두 가지 방법이 함께 사용되는 경우, 사용 순서에는 제약이 없다. 본 실시예에 따른 특징맵 축소를 위한 방법은, 전술한 바와 같은 특징맵의 프레임 패킹과 같은 별개의 전처리 방법과도 조합되어 함께 사용될 수 있다.
도 6은 본 개시의 일 실시예에 따른, 중간 특징맵 복원을 이용하는 VCM 복호화 장치를 개념적으로 나타내는 블록도이다.
도 6의 도시에 신규로 추가된 특징 복원기(feature reconstructor, 612)를 제외한 나머지 구성요소들은 도 4에 도시된 VCM 복호화 장치의 구성요소들과 동일하다. 전술한 바와 같이, 특징 역변형 단계는 특징 복호화를 위해 기존 비디오 코딩 장치를 이용하는 것을 전제하므로, 특징 축소기(512)에 대응하는 특징 복원기(612)는 사후 역양자화된 특징맵, 즉 축소된 특징맵으로부터 원본 특징맵을 복원한다. 구체적인 특징맵 복원 방법은 VCM 부호화 장치에서 사용한 특징맵 축소 방법에 의존할 수 있다.
이하, 특징 축소기(512) 및 특징 복원기(612)가 수행하는 특징맵 축소화 방법들을 기술한다. 도 5 및 도 6에 도시에서는, 특징 부호화/복호화를 위해 기존 비디오 코딩 장치를 이용하는 것을 전제하나, 이하에 기술되는 특징맵 축소화 방법들은 반드시 이에 한정되지 않는다. 즉, 본 실시예에 따른 특징맵 축소화 방법들은, 특징 추출을 위한 딥러닝 모델, 또는 코딩 방법과 관계없이 추출된 특징맵의 크기를 축소시키기 위해 활용될 수 있다.
먼저, 특징맵 축소화 방법들 중 특징맵 희소화 기반의 특징맵 축소는 특징맵의 공간 또는 채널 측면에 존재하는 희소성(sparsity)을 활용한다.
딥러닝 모델이 중간 특징맵을 생성 시, 입력 영상/프레임의 공간적 특성 또는 트레이닝되는 필터의 특성에 따라 일부 영역 및 일부 채널이 크게 활성화(activation)될 수 있다. 이에 반해, 작게 활성화된 영역은 다음 계층에 입력되더라도 연속적으로 작은 활성화를 유도하고, 최종적으로 딥러닝 모델의 마지막 계층에서의 판단에 작은 영향을 준다. 따라서, 이렇게 작은 활성화를 출력하는 영역의 값을 0으로 희소화시키더라도, 딥러닝 모델의 판단 성능이 크게 저하되지 않은 채로 특징맵의 크기 자체는 축소될 수 있다. 즉, 일정 기준 값보다 작게 활성화된 특징맵 내 영역을 희소화시키는 특징맵 희소화를 기반으로, 특징맵의 부호화 효율이 향상될 수 있다.
이하, 도 7의 예시를 이용하여, 공간 측면에 존재하는 희소성에 기초하여 특징 축소기(512)가 특징맵을 축소하는 방법을 기술한다.
도 7은 본 개시의 일 실시예에 따른, 특징맵 희소화 기반의 특징맵 축소 방법을 나타내는 예시도이다.
특징 축소기(512)는 중간 특징맵 F ∈ RH×W×C을 구성하는 단일 2D 특징맵 f ∈ RH×W 내에서 활성화 정도에 따라 작은 활성화를 출력하는 영역을 희소화한다. 예컨대, 특징맵의 특정 채널의 2D 특징맵 f의 영역(예컨대, 픽셀)을 특징 값에 따라 숫자로 표현했을 때, 특징 축소기(512)는 특정 임계치보다 작은 영역의 특징 값을 완전히 0으로 설정한다. 도 7의 예시에서, 임계치를 1.5로 설정할 경우, 1로 표시된 영역들이 0으로 설정될 수 있다. 이렁게 적절한 임계치를 설정하여, 이 임계치보다 작은 영역의 특징 값을 0으로 설정하더라도, 딥러닝 모델의 성능은 큰 영향을 받지 않는다. 특징 축소기(512)는, 특징맵의 모든 채널에 해당하는 C 개의 2D 맵들 {f1, f2, ...,fC}, 또는 일부 2D 맵들 {f1, f2, ...,fC'} (C' < C)에 대해 이러한 공간 측면의 특징맵 희소화를 수행할 수 있다.
이하, 도 8의 예시를 이용하여, 채널 측면에 존재하는 희소성에 기초하여 특징 축소기(512)가 특징맵을 축소하는 방법을 기술한다.
도 8은 본 개시의 다른 실시예에 따른, 특징맵 희소화 기반의 특징맵 축소 방법을 나타내는 예시도이다.
특징 축소기(512)는, 일정 채널 간격 S만큼 인접한 두 채널의 2D 특징맵이 비슷한 경우, 즉, 두 특징맵 간 거리가 특정 임계치보다 작은 경우, 두 2D 특징맵 간 과잉(redundancy)을 감소시키기 위해, 하나의 2D 특징맵을 0으로 설정하거나 온전히 채널 하나를 삭제함으로써 원본 특징맵의 채널 수를 감소시켜 전체 특징맵의 크기를 감소시킬 수 있다.
원본 특징맵에 대해, 특징 축소기(512)는 일정 채널 간격 S를 갖는 두 개의 2D 특징맵 간의 거리 ∥fi+S - fi∥(1≤i≤C-S)를 계산한다. 이때, 거리는 L1, L2 등의 놈(norm)이 사용될 수 있다. 예컨대, 도 8의 예시에서, 채널 간격 S는 1로 설정되어 있다. 특징 축소기(512)는 특정 임계치 d보다 작은 거리를 갖는 두 2D 특징맵을 매우 유사한 특징맵들로 간주한다. 특징 축소기(512)는, 유사한 2D 특징맵을 갖는 채널의 짝들(pairs)을 모두 선택한 후, 각 짝별로 두 2D 특징맵 중 뒷 채널(또는 앞 채널)의 2D 특징맵의 모든 값을 0으로 희소화할 수 있다. 또는, 특징 축소기(512)는, 도 8에 예시된 바와 같이, 각 짝별로 하나의 채널을 완전히 삭제할 수 있다. 특징 축소기(512)는 유사하지 않은 채널들의 2D 특징맵만을 사용하여 전체 채널 수가 축소된 중간 특징맵 F'을 생성할 수 있다.
VCM 부호화 장치는 희소화된 채널들이 존재하는 경우, 채널 간격 S 값, 및 각 희소화된 채널의 2D 특징맵을 부호화한 후, VCM 복호화 장치로 전송한다. 각 희소화된 채널의 2D 특징맵의 모든 값이 0이므로, VCM 부호화 장치는 각 희소화된 채널의 2D 특징맵을 용이하게 부호화할 수 있으므로, 부호화 효율을 크게 향상시킬 수 있다. 또는, 삭제된 채널들이 존재하는 경우, VCM 부호화 장치는 채널 간격 S 값, 및 각 삭제된 채널의 인덱스를 부호화한 후, VCM 복호화 장치로 전송할 수 있다. 삭제된 채널에 대해 H×W 크기의 2D 특징맵을 부호화하는 대신 VCM 부호화 장치는 인덱스에 해당하는 정수 값만을 부호화함으로써, 부호화 효율을 크게 향상시킬 수 있다.
한편, 희소화되거나 삭제된 채널에 대해, VCM 복호화 장치 내 특징 복원기(612)는 복원된 축소 특징맵, 복원된 채널 스트라이드 S 값, 또는 삭제된 채널 인덱스 정보를 참조할 수 있다. 모든 값이 0으로 복원되는 희소화 채널에 대해, VCM 복호화 장치는 희소화된 채널 위치에 S 간격 앞(또는 뒤) 채널의 2D 특징맵을 복사함으로써, 축소 전 원본 특징맵을 복원한다. 또는, 삭제된 채널에 대해, VCM 복호화 장치는 삭제된 채널 인덱스 정보를 참조하여 삭제된 채널 위치에 S 간격 앞(또는 뒤) 채널의 2D 특징맵을 복사함으로써, 축소 전 원본 특징맵을 복원한다.
이렇게 복원된 특징맵은 원본 특징맵과 같은 크기를 갖는 배열이며, 이후, VCM 복호화 장치는 복원된 특징맵을 머신 비전 태스크의 분석에 이용할 수 있다.
다른 실시예로서, VCM 부호화 장치는 각 채널의 가중치를 표현하는 1×C의 벡터에 포함된 요소값 ci을 해당되는 특징맵 fi에 곱한 후, 특징맵을 압축하여 전송할 수 있다. VCM 복호화 장치는, 특징맵을 복호 시, 수신된 특징맵을 ci로 나누어서 복원 특징맵을 생성할 수 있다. 이때, ci는 딥러닝 기반의 주의 모델(attention model), 또는 딥러닝 기반의 SE(Squeeze and Excitation) 모델의 SE 블록으로부터 획득될 수 있다.
이하, 텐서 분해를 이용하는 특징맵 축소화 방법의 예시를 설명한다.
전술한 바와 같은 다차원 배열 형태의 특징맵은, 텐서 분해를 이용하여 저차원의 간단한 텐서들 여러 개로 분해되어 표현될 수 있다. 이때, 분해된 텐서들의 크기 총합은 원본 특징맵의 크기보다 감소될 수 있다.
한편, 특징맵 축소는 특정 텐서 분해 방법에 한정되지 않으며, 아래에서 설명한 예시들 외에 행렬 분해(matrix decomposition, 예컨대 SVD(Singular Value Decomposition), CUR 분해(factorization), QR 분해(factorization) 등) 및 HOSVD(Higher Order SVD) 등과 같은 다양한 텐서 분해 방법들이 적용될 수 있다. 텐서 분해 방법의 적용 후, VCM 부호화 장치는 원본 특징맵 대신 분해된 저차원의 텐서들을 특징 부호화에 활용할 수 있다.
텐서 분해의 일 예로서, 도 9의 예시를 이용하여, 터커 분해(Tucker decomposition)에 기초하여 특징 축소기(512)가 특징맵을 축소하는 방법을 기술한다.
도 9는 본 개시의 일 실시예에 따른, 터커 분해를 이용하는 특징맵 축소 방법을 나타내는 예시도이다.
특징 축소기(512)는, 도 9에 예시된 바와 같이, 터커 분해를 이용하여, 단일 영상에 대한 중간 특징맵
Figure PCTKR2022004312-appb-img-000001
를 하나의 커널 텐서(kernel tensor)
Figure PCTKR2022004312-appb-img-000002
, 및 3 개의 인자 행렬들(factor matrices)
Figure PCTKR2022004312-appb-img-000003
(i∈{1,2,3})로 분해할 수 있다. 이때, ri는 i-rank로 표현되고, 특징맵을
Figure PCTKR2022004312-appb-img-000004
형태의 행렬로 생성하는 경우, 이 행렬의 랭크를 나타낸다. 하나의 커널 텐서, 및 3 개의 인자 행렬들을 이용하여, 특징맵 F는 수학식 1에 나타낸 바와 같이, 텐서들의 연산으로 근사될 수 있다.
Figure PCTKR2022004312-appb-img-000005
여기서, 연산자 ×1, ×2 및 ×3는 수학식 2와 같이 표현될 수 있다.
Figure PCTKR2022004312-appb-img-000006
터커 분해에 따라, 원본 특징맵의 데이터 크기 n1n2n3는 'r1r2r3 + r1n1 + r2n2 + r3n3'로 감축된다.
VCM 부호화 장치는, 비디오 부호화기를 이용하여 분해된 텐서들 K, F(1), F(2) 및 F(3) 각각을 부호화한 후, 생성된 비트스트림들을 다중화(multiplexing)하여 VCM 복호화 장치로 전송할 수 있다.
한편, VCM 복호화 장치는, 비디오 복호화기를 이용하여 분해된 텐서들의 비트스트림을 복호화한 후, 도 4에 예시된 바와 같은 디리팩커(462) 및 사후 역양자화기(464)에 복호화된 텐서들을 적용한다. VCM 복호화 장치는 역양자화된 분해 텐서들을 이용하여, 수학식 1에 따라 원본 특징맵을 복원할 수 있다.
텐서 분해의 다른 실시예로서, 도 10의 예시를 이용하여, CP(Canonical Polyadic) 분해에 기초하여 특징 축소기(512)가 특징맵을 축소하는 방법을 기술한다.
도 10은 본 개시의 일 실시예에 따른, CP 분해를 이용하는 특징맵 축소 방법을 나타내는 예시도이다.
특징 축소기(512)는, 도 10에 예시된 바와 같이, CP 분해를 이용하여, 중간 특징맵
Figure PCTKR2022004312-appb-img-000007
을 랭크 1 텐서들의 선형 조합으로 분해할 수 있다. 즉, 특징맵 F는 수학식 3에 나타낸 바와 같이 P(여기서, P는 자연수) 개의 랭크 1 텐서들에 기초하여 근사될 수 있다.
Figure PCTKR2022004312-appb-img-000008
여기서, 연산자 ｏ는 외적을 나타낸다.
VCM 부호화 장치는, 수학식 4에 나타낸 바와 같이, 크기가 같은 랭크 1 텐서들끼리 결합(concatenation)하여 텐서들 A, B 및 C를 생성한 후, 이들을 부호화한다.
Figure PCTKR2022004312-appb-img-000009
CP 분해에 따라, 원본 특징맵의 데이터 크기 n1n2n3는 '(n1 + n2 + n3)P'로 감축된다.
다른 실시예로서, VCM 부호화 장치는 분해된 P 개의 랭크 1 텐서를 부호화할 수 있다.
VCM 부호화 장치는, 분해된 텐서들을 부호화한 비트스트림을 VCM 복호화 장치로 전송한다.
한편, VCM 복호화 장치는, 비디오 복호화기를 이용하여 분해된 텐서들의 비트스트림을 복호화한 후, 도 4에 예시된 바와 같은 디리팩커(462) 및 사후 역양자화기(464)에 복호화된 텐서들을 적용한다. VCM 복호화 장치는 역양자화된 분해 텐서들을 이용하여, 수학식 3에 따라 원본 특징맵을 복원할 수 있다
다른 실시예로서, VCM 부호화 장치는 P'(< P) 개의 랭크 1 텐서들만을 결합한 텐서들을 부호화하여, VCM 복호화 장치로 전송할 수 있다. VCM 복호화 장치는 복호화된 P' 개의 랭크 1 텐서들을 이용하여, 원본 특징맵을 복원할 수 있다.
이하, 도 11 및 도 12의 도시를 이용하여, 중간 특징맵 축소를 이용하는 VCM 부호화 방법, 및 중간 특징맵 복원을 이용하는 VCM 복호화 방법을 기술한다.
도 11는 본 개시의 일 실시예에 따른, 중간 특징맵 축소를 이용하는 VCM 부호화 방법을 나타내는 순서도이다.
VCM 부호화 장치는 딥러닝 모델을 이용하여 입력 영상으로부터 특징맵을 추출한다(S1100). 여기서, 특징맵은 딥러닝 모델의 중간 계층으로부터 생성된 중간 특징맵을 나타낸다. 특징맵은 동일한 높이와 너비를 갖는 2D 특징맵을 채널의 개수만큼 포함한다.
VCM 부호화 장치는 특징맵의 크기를 축소하여 축소(reduced) 특징맵을 생성한다(S1102).
VCM 부호화 장치는 특징맵의 공간 또는 채널 측면에서의 특징맵 희소화를 기반으로 특징맵의 크기를 축소한다. 또는, VCM 부호화 장치는 텐서 분해를 기반으로 특징맵을 축소할 수 있다. 이러한 두 가지 방법을 개별적으로 사용되거나 동시에 사용함으로써, VCM 부호화 장치는 특징맵 축소를 극대화할 수 있다. 또한, 두 가지 방법이 함께 사용되는 경우, 사용 순서에는 제약이 없다.
특징맵의 공간 측면에서의 희소성을 이용하기 위해, VCM 부호화 장치는 특징맵을 구성하는 2D 특징맵 내에서, 영역의 특징 값을 기설정된 임계치와 비교한다. 특징 값이 기설정된 임계치보다 작은 경우, 해당되는 영역의 특징 값은 0으로 설정될 수 있다.
다른 실시예로서, 특징맵의 채널 측면에서의 희소성을 이용하기 위해, VCM 부호화 장치는 기설정된 채널 간격을 갖는 두 개의 2D 특징맵 간의 거리를 산정한다. 산정된 거리가 기설정된 임계치보다 작은 경우에 해당하는 2D 특징맵의 짝들(pairs)을 모두 선택한 후, VCM 부호화 장치는 선택된 짝들 각각에 대해, 하나의 2D 특징맵의 모든 값을 0으로 희소화하거나 하나의 2D 특징맵을 삭제한다.
한편, 텐서 분해 방법 중 터커 분해를 이용하여, VCM 부호화 장치는 특징맵을 하나의 커널 텐서, 및 3 개의 인자 행렬들로 분해할 수 있다. 이때, 수학식 1에 나타낸 바와 같이, 특징맵은 하나의 커널 텐서, 및 3 개의 인자 행렬들에 의해 근사될 수 있다.
다른 실시예로서, 텐서 분해 방법 중 CP 분해를 이용하여, VCM 부호화 장치는 특징맵을 P 개의 랭크 1 텐서들로 분해할 수 있다. 이때, 수학식 3에 나타낸 바와 같이, 특징맵은 P 개의 랭크 1 텐서들에 기초하여 근사될 수 있다.
VCM 부호화 장치는, 축소 특징맵의 데이터 타입을 변환하기 위해 축소 특징맵을 양자화한다(S1104).
VCM 부호화 장치는 양자화된 특징맵을 비디오 시퀀스의 형태로 재배열하여 변형(converted) 특징맵을 생성한다(S1106).
VCM 부호화 장치는 비디오 부호화기를 이용하여 변형 특징맵을 부호화함으로써 비트스트림을 생성한다(S1108).
한편, 특징맵의 채널 측면에서의 희소성을 이용하는 경우, VCM 부호화 장치는 다음과 같이 비트스트림을 생성한다. 희소화된 특징맵에 대해 VCM 부호화 장치는 2D 특징맵, 및 기설정된 채널 간격을 부호화한 후, VCM 복호화 장치로 전송할 수 있다. 또는, 삭제된 특징맵에 대해 VCM 부호화 장치는 삭제된 2D 특징맵의 인덱스, 및 기설정된 채널 간격을 부호화한 후, VCM 복호화 장치로 전송할 수 있다.
터커 분해를 이용하는 경우, VCM 부호화 장치는 커널 텐서 및 인자 행렬들 각각을 부호화하여 대응하는 비트스트림들을 생성한 후, VCM 복호화 장치로 전송할 수 있다.
CP 분해를 이용하는 경우, VCM 부호화 장치는 P 개의 랭크 1 텐서들 각각을 부호화하여 대응하는 비트스트림들을 생성한 후, VCM 복호화 장치로 전송할 수 있다.
CP 분해를 이용하는 경우의 다른 실시예로서, VCM 부호화 장치는 크기가 같은 랭크 1 텐서들끼리 결합한 텐서들을 생성할 수 있다. VCM 부호화 장치는 이들을 부호화하여 대응하는 비트스트림들을 생성한 후, VCM 복호화 장치로 전송할 수 있다.
도 12는 본 개시의 일 실시예에 따른, 중간 특징맵 복원을 이용하는 VCM 복호화 방법을 나타내는 블록도이다.
여기서, 중간 특징맵은 머신 비전 부호화 장치 내 딥러닝 모델의 중간 계층으로부터 생성된 특징맵을 나타낸다. 특징맵은 동일한 높이와 너비를 갖는 2D 특징맵을 채널의 개수만큼 포함한다.
VCM 복호화 장치는 비디오 복호화기를 이용하여 비트스트림으로부터 변형 특징맵을 복호화한다(S1200).
한편, 축소 특징맵이 채널 측면에서의 특징맵 희소화를 기반으로 축소된 경우, VCM 복호화 장치는 다음과 같이 비트스트림을 복호화한다. 희소화된 2D 특징맵에 대해 VCM 복호화 장치는 기설정된 채널 간격 및 희소화된 2D 특징맵을 복호화한다. 또는, 삭제된 2D 특징맵에 대해 VCM 복호화 장치는 기설정된 채널 간격 및 삭제된 2D 특징맵의 인덱스를 복호화한다.
VCM 복호화 장치는 비디오 시퀀스 형태의 변형 특징맵을 재배열한다(S1202).
VCM 복호화 장치는, 재배열된 변형 특징맵의 데이터 타입을 변환하기 위해, 재배열된 변형 특징맵을 역양자화하여 축소 특징맵을 복원한다(S1204).
VCM 복호화 장치는 축소 특징맵의 크기를 확장하여 복원 특징맵을 생성한다(S1206). 여기서, 복원 특징맵은 전술한 중간 특징맵에 대응한다.
축소 특징맵이 채널 측면에서의 특징맵 희소화를 기반으로 축소된 경우, VCM 복호화 장치는 다음과 같이 복원 특징맵을 생성한다. 희소화된 2D 특징맵에 대해, VCM 복호화 장치는 기설정된 채널 간격의 앞 또는 뒤의 복원 2D 특징맵을 희소화된 2D 특징맵의 위치에 복사함으로써, 복원 특징맵을 생성할 수 있다. 또는, 삭제된 2D 특징맵에 대해, VCM 복호화 장치는 복호화된 인덱스를 참조하여 기설정된 채널 간격의 앞 또는 뒤의 복원 2D 특징맵을 삭제된 2D 특징맵의 위치에 복사함으로써, 복원 특징맵을 생성할 수 있다.
다른 실시예로서, 축소 특징맵이 터커 분해를 이용하여 축소된 경우, 수학식 1에 나타낸 바와 같이, VCM 복호화 장치는 축소 특징맵을 구성하는 커널 텐서 및 인자 행렬들을 이용하여 복원 특징맵을 근사할 수 있다.
또다른 실시예로서, 축소 특징맵이 CP 분해를 이용하여 축소된 경우, 수학식 3에 나타낸 바와 같이, VCM 복호화 장치는 축소 특징맵을 구성하는 P 개의 랭크 1 텐서들을 이용하여 복원 특징맵을 근사할 수 있다.
본 명세서의 흐름도/타이밍도에서는 각 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 흐름도/타이밍도에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 흐름도/타이밍도는 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명에서 예시적인 실시예들은 많은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 하나 이상의 예시들에서 설명된 기능들 혹은 방법들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 본 명세서에서 설명된 기능적 컴포넌트들은 그들의 구현 독립성을 특히 더 강조하기 위해 "...부(unit)" 로 라벨링되었음을 이해해야 한다.
한편, 본 실시예에서 설명된 다양한 기능들 혹은 방법들은 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 비일시적 기록매체에 저장된 명령어들로 구현될 수도 있다. 비일시적 기록매체는, 예를 들어, 컴퓨터 시스템에 의하여 판독가능한 형태로 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예를 들어, 비일시적 기록매체는 EPROM(erasable programmable read only memory), 플래시 드라이브, 광학 드라이브, 자기 하드 드라이브, 솔리드 스테이트 드라이브(SSD)와 같은 저장매체를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
(부호의 설명)
410: 특징 추출기
420: 특징 변형기
430: 특징 부호화기
450: 특징 복호화기
460: 특징 역변형기
512: 특징 축소기
612: 특징 복원기
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2021년 3월 31일 한국에 출원한 특허출원번호 제10-2021-0041562 호, 2022년 3월 25일 한국에 출원한 특허출원번호 제10-2022-0037097 호에 대해 우선권을 주장하며, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (19)

  1. 머신 비전 부호화 장치가 수행하는, 특징맵을 부호화하는 부호화 방법에 있어서,
    딥러닝(deep learning) 모델을 이용하여 입력 영상으로부터 상기 특징맵을 추출하는 단계, 여기서, 상기 특징맵은 상기 딥러닝 모델의 중간 계층으로부터 생성됨;
    상기 특징맵의 크기를 축소하여 축소(reduced) 특징맵을 생성하는 단계;
    상기 축소 특징맵의 데이터 타입을 변환하고, 상기 축소 특징맵을 재배열하여 변형(converted) 특징맵을 생성하는 단계; 및
    비디오 부호화기를 이용하여 상기 변형 특징맵을 부호화함으로써 비트스트림을 생성하는 단계
    를 포함하는 것을 특징으로 하는, 부호화 방법.
  2. 제1항에 있어서,
    상기 특징맵은,
    동일한 높이와 너비를 갖는 2D 특징맵을 채널의 개수만큼 포함하는 것을 특징으로 하는, 부호화 방법.
  3. 제1항에 있어서,
    상기 축소 특징맵을 생성하는 단계는,
    상기 특징맵의 공간 또는 채널 측면에서의 특징맵 희소화(feature map sparsification)를 기반으로 상기 특징맵을 축소하는 것을 특징으로 하는, 부호화 방법.
  4. 제3항에 있어서,
    상기 축소 특징맵을 생성하는 단계는,
    상기 특징맵 희소화 및 텐서 분해를 결합하여 상기 특징맵을 축소하는 것을 특징으로 하는, 부호화 방법.
  5. 제3항에 있어서,
    상기 축소 특징맵을 생성하는 단계는,
    상기 특징맵을 구성하는 2D 특징맵 내에서, 영역의 특징 값이 기설정된 임계치보다 작은 경우, 상기 영역의 특징 값을 0으로 설정하는 것을 특징으로 하는, 부호화 방법.
  6. 제3항에 있어서,
    상기 축소 특징맵을 생성하는 단계는,
    기설정된 채널 간격을 갖는 두 개의 2D 특징맵 간의 거리를 산정하는 단계;
    상기 거리가 기설정된 임계치보다 작은 경우에 해당하는 2D 특징맵의 짝들(pairs)을 모두 선택하는 단계; 및
    상기 선택된 짝들 각각에 대해, 하나의 2D 특징맵의 모든 값을 0으로 희소화하거나 상기 하나의 2D 특징맵을 삭제하는 단계
    를 포함하는 것을 특징으로 하는, 부호화 방법.
  7. 제6항에 있어서,
    상기 비트스트림을 생성하는 단계는,
    상기 하나의 2D 특징맵이 희소화된 경우, 희소화된 2D 특징맵, 및 상기 기설정된 채널 간격을 부호화하고, 상기 하나의 2D 특징맵이 삭제된 경우, 삭제된 2D 특징맵의 인덱스, 및 상기 기설정된 채널 간격을 부호화하는 것을 특징으로 하는, 부호화 방법.
  8. 제1항에 있어서,
    상기 축소 특징맵을 생성하는 단계는,
    텐서 분해(tensor decomposition)를 기반으로 상기 특징맵을 축소하는 것을 특징으로 하는, 부호화 방법.
  9. 제8항에 있어서,
    상기 축소 특징맵을 생성하는 단계는,
    터커 분해(Tucker decomposition)를 이용하여, 상기 특징맵을 하나의 커널 텐서(kernel tensor), 및 3 개의 인자 행렬들(factor matrices)로 분해하는 것을 특징으로 하는, 부호화 방법.
  10. 제8항에 있어서,
    상기 축소 특징맵을 생성하는 단계는,
    CP(Canonical Polyadic) 분해를 이용하여, 상기 특징맵을 P(여기서, P는 자연수) 개의 랭크(rank) 1 텐서들로 분해하는 것을 특징으로 하는, 부호화 방법.
  11. 딥러닝(deep learning) 모델을 이용하여 입력 영상으로부터 특징맵을 추출하는 특징 추출기, 여기서, 상기 특징맵은 상기 딥러닝 모델의 중간 계층으로부터 생성됨;
    상기 특징맵의 크기를 축소하여 축소(reduced) 특징맵을 생성하는 특징 축소기(feature reducer);
    상기 축소 특징맵의 데이터 타입을 변환하기 위해 상기 축소 특징맵을 양자화하는 사전 양자화기(pre-quantizer);
    상기 양자화된 특징맵을 비디오 시퀀스의 형태로 재배열하여 변형(converted) 특징맵을 생성하는 리패커(repacker); 및
    비디오 부호화기를 이용하여 상기 변형 특징맵을 부호화함으로써 비트스트림을 생성하는 특징 부호화기
    를 포함하는 것을 특징으로 하는, 머신 비전 부호화 장치.
  12. 제11항에 있어서,
    상기 특징 축소기는,
    상기 특징맵의 공간 또는 채널 측면에서의 특징맵 희소화(feature map sparsification)를 기반으로 상기 특징맵을 축소하는 것을 특징으로 하는, 머신 비전 부호화 장치.
  13. 제11항에 있어서,
    상기 특징 축소기는,
    텐서 분해(tensor decomposition)를 기반으로 상기 특징맵을 축소하는 것을 특징으로 하는, 머신 비전 부호화 장치.
  14. 머신 비전 복호화 장치가 수행하는 복호화 방법에 있어서,
    비디오 복호화기를 이용하여 비트스트림으로부터 변형 특징맵을 복호화하는 단계;
    상기 변형 특징맵을 재배열하고, 상기 재배열된 변형 특징맵의 데이터 타입을 변환하여 축소(reduced) 특징맵을 복원하는 단계; 및
    상기 축소 특징맵의 크기를 확장하여 복원 특징맵을 생성하는 단계
    를 포함하되,
    상기 복원 특징맵은 머신 비전 부호화 장치 내 딥러닝 모델의 중간 계층으로부터 생성된 특징맵에 대응하는 것을 특징으로 하는, 복호화 방법.
  15. 제14항에 있어서,
    상기 복원 특징맵은,
    동일한 높이와 너비를 갖는 2D 특징맵을 채널의 개수만큼 포함하는 것을 특징으로 하는, 복호화 방법.
  16. 제14항에 있어서,
    상기 축소 특징맵이 채널 측면에서의 특징맵 희소화(feature map sparsification)를 기반으로 축소된 경우, 기설정된 채널 간격 및 희소화된 2D 특징맵을 복호화하거나 상기 기설정된 채널 간격 및 삭제된 2D 특징맵의 인덱스를 복호화하는 단계를 더 포함하는 것을 특징으로 하는, 복호화 방법.
  17. 제16항에 있어서,
    상기 복원 특징맵을 생성하는 단계는,
    상기 희소화된 2D 특징맵에 대해 상기 기설정된 채널 간격의 앞 또는 뒤의 복원 2D 특징맵을 상기 희소화된 2D 특징맵의 위치에 복사하거나, 상기 삭제된 2D 특징맵에 대해 상기 인덱스를 참조하여 상기 기설정된 채널 간격의 앞 또는 뒤의 복원 2D 특징맵을 상기 삭제된 2D 특징맵의 위치에 복사함으로써, 상기 복원 특징맵을 생성하는 것을 특징으로 하는, 복호화 방법.
  18. 제14항에 있어서,
    상기 복원 특징맵을 생성하는 단계는,
    상기 축소 특징맵이 터커 분해(Tucker decomposition)를 이용하여 축소된 경우, 상기 축소 특징맵을 구성하는 커널 텐서(kernel tensor) 및 인자 행렬들(factor matrices)을 이용하여 상기 복원 특징맵을 생성하는 것을 특징으로 하는, 복호화 방법.
  19. 제14항에 있어서,
    상기 복원 특징맵을 생성하는 단계는,
    상기 축소 특징맵이 CP(Canonical Polyadic) 분해를 이용하여 축소된 경우, 상기 축소 특징맵을 구성하는 P(여기서, P는 자연수) 개의 랭크(rank) 1 텐서들을 이용하여 상기 복원 특징맵을 생성하는 것을 특징으로 하는, 복호화 방법.
PCT/KR2022/004312 2021-03-31 2022-03-28 특징맵 축소를 이용하는 머신 비전 데이터 코딩 장치 및 방법 Ceased WO2022211409A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280024083.0A CN117063201A (zh) 2021-03-31 2022-03-28 使用特征图减小来编解码机器视觉数据的方法和设备
US18/371,730 US12561846B2 (en) 2021-03-31 2023-09-22 Method and apparatus for coding machine vision data using feature map reduction

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210041562 2021-03-31
KR10-2021-0041562 2021-03-31
KR1020220037097A KR20220136176A (ko) 2021-03-31 2022-03-25 특징맵 축소를 이용하는 머신 비전 데이터 코딩 장치 및 방법
KR10-2022-0037097 2022-03-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/371,730 Continuation US12561846B2 (en) 2021-03-31 2023-09-22 Method and apparatus for coding machine vision data using feature map reduction

Publications (1)

Publication Number Publication Date
WO2022211409A1 true WO2022211409A1 (ko) 2022-10-06

Family

ID=83456516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/004312 Ceased WO2022211409A1 (ko) 2021-03-31 2022-03-28 특징맵 축소를 이용하는 머신 비전 데이터 코딩 장치 및 방법

Country Status (2)

Country Link
US (1) US12561846B2 (ko)
WO (1) WO2022211409A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024080825A1 (ko) * 2022-10-14 2024-04-18 엘지전자 주식회사 영상 데이터 처리 방법, 장치, 비트스트림을 저장한 기록 매체 및 비트스트림 전송 방법
WO2024196160A1 (ko) * 2023-03-22 2024-09-26 엘지전자 주식회사 피쳐 부호화/복호화 방법, 장치, 비트스트림을 저장한 기록 매체 및 비트스트림 전송 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119854503B (zh) * 2024-12-27 2025-11-18 中国电信股份有限公司技术创新中心 机器视频特征编解码方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874631A (zh) * 2020-01-20 2020-03-10 浙江大学 一种基于特征图稀疏化的卷积神经网络剪枝方法
KR20200044171A (ko) * 2018-10-05 2020-04-29 재단법인대구경북과학기술원 딥러닝 네트워크 모델에 의한 실시간 객체 검출 방법 및 장치
CN107516129B (zh) * 2017-08-01 2020-06-02 北京大学 基于维度自适应的Tucker分解的深度网络压缩方法
CN111429463A (zh) * 2020-03-04 2020-07-17 北京三快在线科技有限公司 实例分割方法、装置、电子设备和存储介质
KR20200130105A (ko) * 2019-05-10 2020-11-18 삼성전자주식회사 비디오 프레임 보간을 위한 cnn-기반의 시스템 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417525B2 (en) * 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US10366292B2 (en) * 2016-11-03 2019-07-30 Nec Corporation Translating video to language using adaptive spatiotemporal convolution feature representation with dynamic abstraction
EP3596449A4 (en) * 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING MACHINE LEARNING ALGORITHMS
US10095977B1 (en) * 2017-10-04 2018-10-09 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US10402977B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same
CN119027713A (zh) * 2019-07-30 2024-11-26 华为技术有限公司 图像分类方法及装置
US20220083807A1 (en) * 2020-09-14 2022-03-17 Nvidia Corporation Generating labels for synthetic images using one or more neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516129B (zh) * 2017-08-01 2020-06-02 北京大学 基于维度自适应的Tucker分解的深度网络压缩方法
KR20200044171A (ko) * 2018-10-05 2020-04-29 재단법인대구경북과학기술원 딥러닝 네트워크 모델에 의한 실시간 객체 검출 방법 및 장치
KR20200130105A (ko) * 2019-05-10 2020-11-18 삼성전자주식회사 비디오 프레임 보간을 위한 cnn-기반의 시스템 및 방법
CN110874631A (zh) * 2020-01-20 2020-03-10 浙江大学 一种基于特征图稀疏化的卷积神经网络剪枝方法
CN111429463A (zh) * 2020-03-04 2020-07-17 北京三快在线科技有限公司 实例分割方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024080825A1 (ko) * 2022-10-14 2024-04-18 엘지전자 주식회사 영상 데이터 처리 방법, 장치, 비트스트림을 저장한 기록 매체 및 비트스트림 전송 방법
WO2024196160A1 (ko) * 2023-03-22 2024-09-26 엘지전자 주식회사 피쳐 부호화/복호화 방법, 장치, 비트스트림을 저장한 기록 매체 및 비트스트림 전송 방법

Also Published As

Publication number Publication date
US12561846B2 (en) 2026-02-24
US20240013448A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
KR20220136176A (ko) 특징맵 축소를 이용하는 머신 비전 데이터 코딩 장치 및 방법
WO2022211409A1 (ko) 특징맵 축소를 이용하는 머신 비전 데이터 코딩 장치 및 방법
KR100763178B1 (ko) 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
CN116803079A (zh) 视频和相关特征的可分级译码
US6847735B2 (en) Image processing system, image processing apparatus, image input apparatus, image output apparatus and method, and storage medium
WO2019054561A1 (ko) 360도 영상 부호화 장치 및 방법, 이를 수행하기 위한 기록 매체
WO2022075754A1 (ko) 머신비전을 위한 영상의 처리 방법 및 장치
BR102019000922A2 (pt) Método para comprimir dados de campo de luz usando transformadas de quatro dimensões de tamanho de bloco variável e decomposição por planos de bits
WO2023193629A1 (zh) 区域增强层的编解码方法和装置
US7245775B2 (en) Image processing apparatus for compositing images
CN117376564B (zh) 数据编解码方法及相关设备
WO2019151808A1 (ko) 이미지 센서를 이용한 이미지 획득 과정에서 생성된 압축 속성을 이용하여 이미지를 압축하는 전자 장치 및 그 동작 방법
US20260067508A1 (en) Encoding method and apparatus, and decoding method and apparatus
CN105430406A (zh) 一种分布式视频编码框架
WO2019088435A1 (ko) 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치
CN117063201A (zh) 使用特征图减小来编解码机器视觉数据的方法和设备
Naidu et al. A novel framework for JPEG image compression using baseline coding with parallel process
WO2025121685A1 (ko) 암시적 신경망 비디오 표현에 기반하는 비디오 코딩을 위한 방법 및 장치
WO2014107070A1 (ko) 가역 정보 은닉 시스템 및 방법
WO2021261950A1 (ko) 뉴럴 네트워크의 압축 및 학습을 위한 방법 및 장치
CN119484818B (zh) 高光谱图像处理方法、装置、存储介质及计算机设备
US20260046423A1 (en) Picture encoding method and apparatus, and picture decoding method and apparatus
WO2024107003A1 (ko) 머신 비전을 위한 영상의 특징 맵의 처리 방법 및 장치
Vijay et al. A review of image transmission using real time technique over wmsn
US20240259597A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22781528

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280024083.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 202317064642

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22781528

Country of ref document: EP

Kind code of ref document: A1