WO2022013920A1 - 画像符号化方法、画像符号化装置及びプログラム - Google Patents

画像符号化方法、画像符号化装置及びプログラム Download PDF

Info

Publication number
WO2022013920A1
WO2022013920A1 PCT/JP2020/027258 JP2020027258W WO2022013920A1 WO 2022013920 A1 WO2022013920 A1 WO 2022013920A1 JP 2020027258 W JP2020027258 W JP 2020027258W WO 2022013920 A1 WO2022013920 A1 WO 2022013920A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature map
correlation
reduction function
map
Prior art date
Application number
PCT/JP2020/027258
Other languages
English (en)
French (fr)
Inventor
志織 杉本
隆行 黒住
英明 木全
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US18/015,303 priority Critical patent/US20230274467A1/en
Priority to PCT/JP2020/027258 priority patent/WO2022013920A1/ja
Priority to JP2022536000A priority patent/JP7401822B2/ja
Publication of WO2022013920A1 publication Critical patent/WO2022013920A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Definitions

  • the present invention relates to an image coding method, an image coding device and a program.
  • entropy coding is performed after the orthogonal transform from the image region (spatial domain) to the frequency domain is performed by the Discrete Cosine Transform (DCT), Discrete Cosine Transform (DST), or Wavelet Transform. May occur.
  • DCT Discrete Cosine Transform
  • DST Discrete Cosine Transform
  • Wavelet Transform Wavelet Transform
  • the image is divided into blocks of processing units in order to further improve the compression rate.
  • the image signal of the subject is predicted spatially and temporally for each block, so that the predicted residual signal is generated for each block.
  • the prediction information indicating the prediction method and the result of conversion and quantization of the prediction residual signal, the coding efficiency is higher than that in the case where the image signal itself is encoded. Greatly improved.
  • JPEG which is a standard for still images
  • H.264 / AVC and “H.265 / HEVC”
  • HEVC High Speed Downlink Code
  • the quantization parameter QP
  • the quantization parameter becomes larger, the high frequency component of the image is lost, so that the image quality deteriorates.
  • block distortion that occurs at the boundaries of blocks affects image quality.
  • fractal compression coding In coding using fractal compression (hereinafter referred to as "fractal compression coding"), it is assumed that the image has self-similarity. That is, it is assumed that each subregion of the image can be approximated using the reduced results of the other subregions.
  • fractal compression coding based on this assumption, the original image and the conversion coefficient are encoded by the function (hereinafter referred to as "reduction function") used for the reduction process of a predetermined image (initial image) in the decoding process. Instead, it is encoded (see Non-Patent Document 1).
  • the original image is decoded by repeatedly applying the reduction function to any image.
  • Such a decoding process is based on the Collage theorem.
  • the collage theorem is that if the collage generated from the reduced image of the original image is a good approximation to the original image, the reduction function is repeatedly applied to the collage similarly generated from any image. Is the theorem that the collage will be a good approximation of the original image.
  • fractal compression coding an image can be expressed with a very small amount of code as compared with the code amount of image coding based on prediction and conversion. Further, fractal compression coding has a characteristic that a decoded image of an arbitrary resolution (scale) can be generated without deterioration.
  • a reduction function is derived for each block that divides the image to be coded (hereinafter referred to as "encoded image”).
  • An affine transformation with translation, rotation, and scale as parameters is often used as a form of reduction function.
  • the parameters of the affine transformation are derived by performing block-by-block matching (block matching) between the image whose resolution has been changed for the image to be encoded (scaling image) and the image to be encoded. May be done.
  • MSE mean square Error
  • feature point matching As a matching method for deriving the correspondence between the partial areas of the image, there is feature point matching as a method other than block matching.
  • feature point matching for example, there are SIFT (Scale-Invariant Feature Transform) and SURF (Speeded Up Robust Feature).
  • SIFT Scale-Invariant Feature Transform
  • SURF Speeded Up Robust Feature
  • a deep neural network may be used as a method for deriving a correspondence point between two different images.
  • a method called FlowNetC a method called FlowNetC (see Non-Patent Document 2)
  • a feature map is extracted for each image to be encoded by a neural network that extracts features of an image, and a correlation map is generated based on the two feature maps. Will be done.
  • An optical flow from one image of two different images to the other is derived using a neural network (flow estimation network) to which a correlation map is input.
  • this method is not a method of deriving a conversion parameter accompanied by a resolution change and rotation for a region having a size like a conversion parameter of an affine transformation.
  • the distribution (map) of the correlation between the same feature maps always peaks at the point where the movement amount is "0". Therefore, the value of all the flows output by the network that extracts the optical flow is 0. Therefore, the neural network that extracts the optical flow cannot be used for the detection of self-similarity.
  • the amount of computation required for decoding is linear with respect to time.
  • the amount of computation required for coding is larger than the amount of computation required for decoding.
  • the reason for the large amount of computation required for coding is the combination of each parameter (position parameter, rotation parameter, and reduction ratio parameter) of the reduction function when searching for other partial regions corresponding to the partial region in the image. Is huge. Therefore, the search area and the rotation angle may be limited.
  • the reduction ratio may be fixed. However, under such restrictions, it is rare that the image to be encoded can be appropriately approximated, and it is difficult to achieve high-quality coding by fractal compression coding.
  • a coded target image is decoded by referencing a partial area from another partial area.
  • the quality of the decoded subregion affects the decoding quality (image quality) of the other subregions that reference the decoded subregion. Therefore, on the premise that the partial areas are decoded in order, only the already decoded partial areas can be referred to from other partial areas. Also in the coding process, the reference area is determined based on the decoded image. Therefore, it is possible to control the image quality of each partial region in consideration of the amount of code.
  • an object of the present invention is to provide an image coding method, an image coding device, and a program capable of improving the image quality while suppressing the amount of calculation of fractal compression coding.
  • One aspect of the present invention is an image coding method executed by an image coding apparatus, the first feature map representing the features of the coded target image which is the image to be coded, and the coded target image.
  • a correlation map that generates a feature map generation step that generates a second feature map that represents the features of the above at different resolutions, and a correlation map that represents the distribution of the correlation between the first feature map and the second feature map.
  • It is an image coding method including a conversion step.
  • a first feature map representing the features of the coded target image which is the image targeted for coding
  • a second feature map representing the features of the coded target image are provided at different resolutions from each other.
  • a feature map generator to be generated a correlation map generator to generate a correlation map representing the distribution of the correlation between the first feature map and the second feature map, and a predetermined image reduction process in the decoding process.
  • One aspect of the present invention is a program for operating a computer as the above-mentioned image coding device.
  • FIG. 1 is a diagram showing a configuration example of the image processing system 1.
  • the image processing system 1 includes an image coding device 2 and an image decoding device 3.
  • the image coding device 2 is a device that encodes an image.
  • the image decoding device 3 is a device that decodes an image.
  • the image coding device 2 includes an image input unit 20, a feature map generation unit 21, a correlation map generation unit 22, a reduction function generation unit 23, and an entropy coding unit 24.
  • the feature map generation unit 21 and the reduction function generation unit 23 include a neural network learned by using a machine learning method.
  • the image decoding device 3 may include a neural network and a dictionary used in a machine learning method.
  • the image input unit 20 acquires an image to be encoded as an input.
  • the image input unit 20 outputs the coded image to the feature map generation unit 21.
  • first feature map the first set of one or more feature maps representing the features of the image to be encoded
  • second feature map the second set of one or more feature maps representing the features of the image to be encoded
  • the feature map generation unit 21 generates a first feature map and a second feature map based on the image to be encoded.
  • the feature map generation unit 21 outputs the first feature map and the second feature map to the correlation map generation unit 22.
  • the scale of the first feature map is different from the scale of the second feature map.
  • one of the first feature map and the second feature map is the same size scale (original resolution), and the other is the "1/2" scale.
  • the first feature map may include feature maps of a plurality of scales.
  • the second feature map may include feature maps of multiple scales.
  • one of the first and second feature maps includes a 1x scale feature map and a "1/2" scale feature map, and the other is a "1/3" scale feature map and "1/3" scale feature map. It may include a 1/5 "scale feature map.
  • the method by which the feature map generation unit 21 generates the feature map is not limited to a specific method.
  • the feature map generation unit 21 may execute various filtering processes on the image to be encoded, and may use a set of samples obtained as a result of performing the sampling process on the result of the filtering process as a feature map. ..
  • the sampling density of the second feature map may be set to a density coarser than the sampling density of the first feature map.
  • the first feature map and the second feature map are sampled independently of each other.
  • the feature map generation unit 21 may execute a sampling process on the first feature map, and the result of executing the sampling process may be used as a second feature map.
  • the feature map generation unit 21 includes, for example, one neural network.
  • the feature map generation unit 21 may generate the first feature map from the first intermediate layer of the neural network and the second feature map from the second intermediate layer of the neural network.
  • the feature map generation unit 21 may include a plurality of neural networks. For example, the feature map generation unit 21 may generate the first feature map using the first neural network and generate the second feature map using the second neural network.
  • the correlation map generation unit 22 generates a correlation map based on the first feature map and the second feature map.
  • the correlation map generation unit 22 outputs the correlation map to the reduction function generation unit 23.
  • the method by which the correlation map generation unit 22 generates the correlation map is not limited to a specific method.
  • the correlation map generation unit 22 may execute an operation using the matrix of the first feature map and the matrix of the second feature map, and the executed result may be used as a correlation map.
  • the correlation map generation unit 22 may use the output of the neural network in which the first feature map and the second feature map are input as the correlation map.
  • the correlation map generation unit 22 may use the inner product of the first feature map “F 1 ” and the second feature map “F 2 ” as the correlation map “C”.
  • the correlation map "C” is expressed as, for example, the equation (1).
  • the encoding target image “I” is the second order tensor "w ⁇ h"
  • the first feature map “F 1" is located at the third floor of tensor "w '1 ⁇ h' 1 ⁇ d "
  • the second feature map “F 2” is 3 rank tensor of "w '2 ⁇ h' 2 ⁇ d "
  • the correlation map "C” "w'1 ⁇ h' 1 ⁇ w '2 ⁇ h It will be the tensor on the 4th floor of ' 2'.
  • the reduction function generation unit 23 generates a reduction function based on the correlation map.
  • the reduction function generation unit 23 outputs the correlation map to the entropy coding unit 24.
  • the method of generating the reduction function by the reduction function generation unit 23 is not limited to a specific generation method.
  • the reduction function generation unit 23 is based on the position of the peak of the correlation in the correlation map, the position shift amount and the position shift direction of the corresponding points between the correlation maps, the resolution (scale) of each correlation map, and the correlation map. The amount of rotation deviation and the rotation direction of the corresponding points between the two are estimated. The reduction function generation unit 23 may generate a reduction function based on these estimation results.
  • the reduction function generation unit 23 may generate a reduction function by using a machine learning method using a neural network or the like.
  • This neural network outputs a reduction function (parameter for defining the reduction function) by inputting a correlation map.
  • the parameters for defining the reduction function are not limited to specific parameters.
  • the parameters for defining the reduction function may be either a matrix of affine transformations, a vector representing the position and rotation of the corresponding points, a parameter representing a sampling filter, and a parameter for correcting a change in brightness. ..
  • the reduction function generated based on the correlation map may be a set of a plurality of reduction functions (reduction function system).
  • the reduction function generation unit 23 may divide the image to be encoded into a plurality of blocks and generate a reduction function for each block.
  • the reduction function generation unit 23 may determine a representative point (characteristic point) in the image to be encoded and generate a reduction function for each partial region centered on the representative point.
  • the entropy coding unit 24 executes entropy coding for the reduction function.
  • the entropy coding unit 24 may encode the reduction function and arbitrary additional information.
  • the additional information may be an initialization parameter used when decoding an image, or may be an optimization parameter.
  • the entropy coding unit 24 outputs the result of entropy coding to the image decoding device 3.
  • the entropy coding unit 24 may record the result of entropy coding in a storage device.
  • the image decoding device 3 acquires the result of entropy coding from the entropy coding unit 24.
  • the decoding process executed by the image decoding device 3 is not limited to the specific decoding process in the entropy coding.
  • the image decoding device 3 executes a general fractal compression decoding process. That is, the image decoding device 3 generates a decoded reduction function (hereinafter referred to as "decoding reduction function") by performing entropy decoding on the entropy-coded reduction function.
  • decoding reduction function a decoded reduction function
  • the image decoding device 3 converts the initial image into the first decoded image by using the decoding reduction function for the predetermined image (initial image).
  • the image decoding device 3 converts the first decoded image into the second decoded image by using the decoding reduction function for the first decoded image. By repeating such conversion, the image decoding device 3 produces a final decoded image.
  • the feature map generation unit 21 and the reduction function generation unit 23 each include a neural network.
  • the feature map generation unit 21 and the reduction function generation unit 23 execute learning processing so as to satisfy the equation (2).
  • I org represents an image to be encoded.
  • M represents the neural network of the feature map generation unit 21.
  • M ( Iorg ) represents the output (feature map) of the neural network of the feature map generation unit 21.
  • C represents the neural network of the correlation map generation unit 22.
  • C () represents the output (correlation map) of the neural network of the correlation map generation unit 22.
  • F represents the neural network of the reduction function generation unit 23.
  • F () represents the output (reduction function system) of the neural network of the reduction function generation unit 23.
  • R represents the decoder of the image decoding device 3.
  • R () represents the output (final decoded image) of the decoder of the image decoding device 3.
  • I 0 represents a predetermined image (initial image).
  • the feature map generation unit 21 and the reduction function generation unit 23 minimize the error (for example, square error) of the final decoded image “R ()” with respect to the coded target image “Iorg”. Update the parameters of the neural network.
  • a regularization term may be added to equation (2). Further, the sign amount of the parameter of the reduction function may be added to the equation (2) as a loss.
  • the feature map generation unit 21 and the reduction function generation unit 23 may update the parameters of the neural network by using a predetermined image quality evaluation index instead of using the square error.
  • the feature map generation unit 21 and the reduction function generation unit 23 may update the parameters of the neural network by using other evaluation indexes used in a predetermined image generation problem.
  • the feature map generation unit 21 and the reduction function generation unit 23 may update the parameters of the neural network by using, for example, the error of each feature amount in the low-dimensional (low resolution) image.
  • the feature map generation unit 21 and the reduction function generation unit 23 learn, for example, each neural network of the feature map generation unit 21 and the reduction function generation unit 23, and an image identification network as a hostile generation network at the same time. May be good. As a result, the feature map generation unit 21 and the reduction function generation unit 23 can realize the maximization of the perceptual quality, which is impossible by the conventional matching search.
  • the feature map generation unit 21 and the correlation map generation unit 22 may execute a learning process (pre-learning) before inputting the coding target, or perform a learning process (re-learning) for each input of the coding target. You may do it.
  • the feature map generation unit 21 and the correlation map generation unit 22 perform pre-learning as in the equation (1), and relearn to add a loss related to the code amount of the parameter to the equation (1) for each coded image. May be executed. This makes it possible to realize RD optimization.
  • the feature map generation unit 21 and the reduction function generation unit 23 may execute the learning process at the same time, or may execute the learning process at different times from each other.
  • the image decoding device 3 includes a neural network
  • the feature map generation unit 21, the reduction function generation unit 23, and the image decoding device 3 may simultaneously execute the learning process.
  • FIG. 2 is a flowchart showing an operation example of the image coding device 2.
  • the image input unit 20 outputs an image to be encoded (step S101).
  • the feature map generation unit 21 generates a first feature map and a second feature map based on the image to be encoded (step S102).
  • the correlation map generation unit 22 generates a correlation map based on the first feature map and the second feature map (step S103).
  • the reduction function generation unit 23 generates a reduction function based on the correlation map (step S104).
  • the entropy coding unit 24 (coding unit) executes the coding process for the reduction function (step S105).
  • the entropy coding unit 24 outputs the coding result (step S106).
  • the feature map generation unit 21 generates the first feature map and the second feature map at different resolutions from each other.
  • the correlation map generation unit 22 generates a correlation map showing the distribution of the correlation between the first feature map and the second feature map.
  • the reduction function generation unit 23 generates a reduction function, which is a function used for a predetermined image reduction process in the decoding process executed by the image decoding device 3, based on the correlation map.
  • the entropy coding unit 24 executes the coding process for the reduction function.
  • the image coding device 2 derives two feature maps having different resolutions (scales) based on one image to be coded.
  • the image coding device 2 generates a correlation map between two feature maps having different resolutions. In the correlation map between two feature maps with different resolutions, the correlation does not peak at the point where the movement amount is "0", so that the correlation map can be used to detect the self-similarity in the image to be encoded. ..
  • the image coding device 2 generates a reduction function system based on the correlation map (the detection result of self-similarity in the image to be coded).
  • the reduction function generation unit 23 determines the amount and direction of the positional deviation of the corresponding points between the correlation maps, the resolution of each correlation map, and the corresponding points between the correlation maps. The amount of rotation deviation and the direction of rotation may be estimated.
  • the reduction function generation unit 23 may generate a reduction function based on the estimation result.
  • the reduction function generation unit 23 may include a neural network. The neural network of the reduction function generation unit 23 may generate a reduction function by inputting a correlation map.
  • FIG. 3 is a diagram showing a hardware configuration example of the image coding device 2.
  • a part or all of each functional unit of the image coding device 2 is a storage device 201 and a memory in which a processor 200 such as a CPU (Central Processing Unit) has a non-volatile recording medium (non-temporary recording medium). It is realized as software by executing the program stored in 202.
  • the program may be recorded on a computer-readable recording medium.
  • Computer-readable recording media include, for example, flexible disks, optomagnetic disks, portable media such as ROM (ReadOnlyMemory) and CD-ROM (CompactDiscReadOnlyMemory), and storage of hard disks built into computer systems. It is a non-temporary recording medium such as a device.
  • the display unit 203 displays, for example, a decoded image.
  • each functional part of the image encoding device 2 may be, for example, an LSI (Large Scale Integration circuit), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), an FPGA (Field Programmable Gate Array), or the like. It may be realized by using the hardware including the used electronic circuit (electronic circuit or circuitry).
  • the present invention is applicable to a device for encoding an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

画像符号化方法は、画像符号化装置が実行する画像符号化方法であって、符号化の対象とされた画像である符号化対象画像の特徴を表す第１特徴マップと符号化対象画像の特徴を表す第２特徴マップとを、互いに異なる解像度で生成する特徴マップ生成ステップと、第１特徴マップと第２特徴マップとの間の相関の分布を表す相関マップを生成する相関マップ生成ステップと、復号処理において所定の画像の縮小処理に用いられる関数である縮小関数を、相関マップに基づいて生成する縮小関数生成ステップと、縮小関数に対して符号化処理を実行し、符号化処理の結果を出力する符号化ステップとを含む。

Description

画像符号化方法、画像符号化装置及びプログラム
　本発明は、画像符号化方法、画像符号化装置及びプログラムに関する。
　画像の圧縮符号化では、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）又はウェーブレット変換によって画像領域（空間領域）から周波数領域への直交変換が実行された後で、エントロピー符号化が実行される場合がある。このような場合、変換基底の次元と画像の次元とが同一であるため、変換の前後で情報量が削減されないが、変換によってデータの分布が偏ることで、エントロピー符号化によって符号化効率が向上する。また、このような場合、主観的な画像品質への寄与率が低い高周波成分が粗く量子化されることによって、情報量を更に削減することが可能である。
　動画像符号化では、圧縮率をより向上させるために、処理単位のブロックに画像が分割される。画像の空間的及び時間的な連続性を利用して、被写体の画像信号がブロックごとに空間的及び時間的に予測されることによって、予測残差信号がブロックごとに生成される。その予測方法を示す予測情報と、予測残差信号が変換及び量子化が実行された結果とが符号化されることによって、画像信号そのものが符号化される場合と比較して、符号化効率は大幅に向上する。
　静止画の標準規格であるＪＰＥＧと、動画像符号化の標準規格である「Ｈ．２６４／ＡＶＣ」及び「Ｈ．２６５／ＨＥＶＣ」とでは、ＤＣＴ及びＤＳＴの係数を量子化する際に用いられる量子化パラメータ（Quantization Parameter : QP）が調整されることによって、発生符号量が制御される。一方、量子化パラメータが大きくなることによって画像の高周波成分が欠落するので、画像品質が低下する。また、ブロックの境界に発生するブロック歪みが、画像品質に影響を与える。
　フラクタル圧縮を用いる符号化（以下「フラクタル圧縮符号化」という。）では、画像が自己相似性を持つと仮定される。すなわち、画像の各部分領域が他の部分領域の縮小結果を用いて近似可能であると仮定される。フラクタル圧縮符号化では、この仮定に基づいて、復号処理において所定の画像（初期画像）の縮小処理に用いられる関数（以下「縮小関数」という。）が、原画像及び変換係数が符号化される代わりに符号化される（非特許文献１参照）。
　フラクタル圧縮符号化に対する復号処理では、任意の画像に対して縮小関数が繰り返し適用されることによって、原画像が復号される。このような復号処理は、コラージュ定理に基づいている。コラージュ定理とは、原画像の縮小画像から生成されたコラージュが原画像を良好に近似している場合には、任意の画像から同様に生成されたコラージュに対して縮小関数が繰り返し適用されることによってそのコラージュが原画像を良好に近似するようになる、という定理である。
　フラクタル圧縮符号化では、予測及び変換に基づく画像符号化の符号量と比較して、ごく少ない符号量で画像を表現可能である。またフラクタル圧縮符号化では、任意の解像度（スケール）の復号画像を劣化なく生成可能であるという特性がある。
　フラクタル圧縮符号化では、符号化の対象とされた画像（以下「符号化対象画像」という。）を分割するブロックごとに、縮小関数が導出される。平行移動と回転とスケールとをパラメータに持つアフィン変換が、縮小関数の形式として多く用いられる。ここで、符号化対象画像に対して解像度が変更された画像（スケーリング画像）と符号化対象画像との間でブロックごとのマッチング（ブロックマッチング）が実行されることによって、アフィン変換のパラメータが導出される場合がある。
　ブロックマッチングのコスト関数として平均二乗誤差（Mean Square Error : MSE）が用いられことによって、ピクセル同士の誤差を最小化する対応領域が導出される。十分な探索が実行されることによって、単純なアフィン変換を用いて縮小関数が表現される。しかしながら、取りうるパラメータの組み合わせが膨大であるために、演算コストは著しく高い。
　画像の部分領域同士の対応関係を導出するためのマッチング方法として、ブロックマッチング以外の方法では、特徴点マッチングがある。特徴点マッチングとして、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）と、ＳＵＲＦ（Speeded Up Robust Feature）とがある。例えば、オプティカルフローが検出される場合、又は、三次元形状が推定される場合に、異なる２枚の画像の間における対応点を導出する方法として特徴点マッチングが用いられる。
　特徴点マッチングでは、各画像における特徴的な点だけが、少数のキーポイントとして導出される。各キーポイントについて、画像の回転と解像度変化（スケール変化）とに対して不変な特徴量が、ガウシアンピラミッド基づいて生成される。このような特徴量がキーポイント同士で比較されることによって、画像間の対応点が高速に導出される。
　同一の画像において検出されたキーポイント同士の特徴量が比較されることによって、同一の画像における部分領域同士の対応関係を導出することも可能である。しかしながら、同一の画像における全てのブロックに対応する箇所が導出される必要がある場合には、ブロックごとの特徴量と全画素の特徴量とが比較される必要がある。このため、特徴点マッチングに必要とされる演算量と、ブロックマッチングに必要とされる演算量との間の差は大きくない。
　また、異なる２枚の画像の間における対応点を導出するための方法として、ディープニューラルネットワークが用いられる場合がある。例えば、ＦｌｏｗＮｅｔＣ（非特許文献２参照）と呼ばれる方法では、画像の特徴を抽出するニューラルネットワークによる特徴マップの抽出が符号化対象画像ごとに実行され、２個の特徴マップに基づいて相関マップが生成される。相関マップを入力されたニューラルネットワーク（フロー推定ネットワーク）を用いて、異なる２枚の画像のうちの一方の画像から他方の画像へのオプティカルフローが導出される。
　この方法では、異なる２枚の画像の間における画素同士の平行移動パラメータが高速に導出される。しかしながら、この方法は、大きさを持った領域についての解像度変化及び回転を伴う変換パラメータを、アフィン変換の変換パラメータのように導出する方法ではない。
　また、同一の特徴マップ同士の相関の分布（マップ）は、移動量「０」の点において必ずピークとなる。したがって、オプティカルフローを抽出するネットワークが出力する全てのフローの値は０となる。このため、オプティカルフローを抽出するニューラルネットワークは、自己相似性の検出には使用できない。
A.E.Jacquin, "Image coding based on a fractal theory of iterated contractive image transformations," IEEE Transactions on Image Processing, vol.1, no.1, pp.18-30, Jan 1992. Philipp Fischer, et al.,"FlowNet: Learning Optical Flow with Convolutional Networks," arXiv:1504.06852v2 [cs.CV], 4 May 2015.
　フラクタル圧縮符号化では、復号に必要とされる演算量は、時間に対して線形である。これに対して、符号化に必要とされる演算量は、復号に必要とされる演算量と比較して多い。符号化に必要とされる演算量が多い理由は、画像における部分領域に対応する他の部分領域が探索される際に、縮小関数の各パラメータ（位置パラメータ、回転パラメータ及び縮小率パラメータ）の組み合わせが膨大になるからである。このため、探索領域及び回転角度が制限される場合がある。また、縮小率が固定される場合がある。しかしながら、そのような制限下では、符号化対象画像が適切に近似可能である場合が少なく、高画質の符号化をフラクタル圧縮符号化によって達成することは難しい。
　また、フラクタル圧縮符号化以外の画像符号化方式では、符号量と画質とのバランスを最適化するために、「レート－歪み」（Rate-Distortion Optimization）の最適化（以下「ＲＤ最適化」という。）の処理が実行される。しかしながら、フラクタル圧縮符号化では、ＲＤ最適化は困難である。
　一般に、フラクタル圧縮符号化以外の画像符号化方式の予測符号化処理では、部分領域が他の部分領域から参照されることによって、符号化対象画像が復号される。復号された部分領域の品質が、その復号された部分領域を参照する他の部分領域の復号品質（画質）に影響する。このため、部分領域が順番に復号されることを前提として、既に復号された部分領域のみが、他の部分領域から参照可能とされている。また、符号化処理でも、復号された画像に基づいて参照領域が決定される。このため、符号量との兼ね合いで、各部分領域の画質をコントロールすることが可能である。
　これに対して、フラクタル圧縮符号化では、符号化対象画像における全ての部分領域に対して、繰り返し処理による復号が同時に実行される。このため、全ての部分領域のうちの一部の部分領域だけを先に復号することができない。したがって、ＲＤ最適化が実行される場合には、部分領域ごとではなく、符号化対象画像の全ての部分領域に対して、縮小関数が同時に決定される必要がある。
　このように、フラクタル圧縮符号化の演算量を抑えた上で画質を向上させることができない場合があった。
　上記事情に鑑み、本発明は、フラクタル圧縮符号化の演算量を抑えた上で画質を向上させることが可能である画像符号化方法、画像符号化装置及びプログラムを提供することを目的としている。
　本発明の一態様は、画像符号化装置が実行する画像符号化方法であって、符号化の対象とされた画像である符号化対象画像の特徴を表す第１特徴マップと前記符号化対象画像の特徴を表す第２特徴マップとを、互いに異なる解像度で生成する特徴マップ生成ステップと、前記第１特徴マップと前記第２特徴マップとの間の相関の分布を表す相関マップを生成する相関マップ生成ステップと、復号処理において所定の画像の縮小処理に用いられる関数である縮小関数を、前記相関マップに基づいて生成する縮小関数生成ステップと、前記縮小関数に対して符号化処理を実行する符号化ステップとを含む画像符号化方法である。
　本発明の一態様は、符号化の対象とされた画像である符号化対象画像の特徴を表す第１特徴マップと前記符号化対象画像の特徴を表す第２特徴マップとを、互いに異なる解像度で生成する特徴マップ生成部と、前記第１特徴マップと前記第２特徴マップとの間の相関の分布を表す相関マップを生成する相関マップ生成部と、復号処理において所定の画像の縮小処理に用いられる関数である縮小関数を、前記相関マップに基づいて生成する縮小関数生成部と、前記縮小関数に対して符号化処理を実行する符号化部とを備える画像符号化装置である。
　本発明の一態様は、上記の画像符号化装置としてコンピュータを機能させるためのプログラムである。
　本発明により、フラクタル圧縮符号化の演算量を抑えた上で画質を向上させることが可能である。
画像処理システムの構成例を示す図である。 画像符号化装置の動作例を示すフローチャートである。 画像符号化装置のハードウェア構成例を示す図である。
　本発明の実施形態について、図面を参照して詳細に説明する。
　図１は、画像処理システム１の構成例を示す図である。画像処理システム１は、画像符号化装置２と、画像復号装置３とを備える。画像符号化装置２は、画像を符号化する装置である。画像復号装置３は、画像を復号する装置である。
　画像符号化装置２は、画像入力部２０と、特徴マップ生成部２１と、相関マップ生成部２２と、縮小関数生成部２３と、エントロピー符号化部２４とを備える。特徴マップ生成部２１と縮小関数生成部２３とは、機械学習の手法を用いて学習したニューラルネットワークを備える。画像復号装置３は、ニューラルネットワークと、機械学習の手法に用いられる辞書とを備えてもよい。
　次に、画像符号化装置２について説明する。
　画像入力部２０は、符号化対象画像を入力として取得する。画像入力部２０は、符号化対象画像を特徴マップ生成部２１に出力する。
　以下、符号化対象画像の特徴を表す１個以上の特徴マップの第１集合を「第１特徴マップ」という。以下、符号化対象画像の特徴を表す１個以上の特徴マップの第２集合を「第２特徴マップ」という。
　特徴マップ生成部２１は、符号化対象画像に基づいて、第１特徴マップと第２特徴マップとを生成する。特徴マップ生成部２１は、第１特徴マップと第２特徴マップとを、相関マップ生成部２２に出力する。
　第１特徴マップのスケールは、第２特徴マップのスケールとは異なる。例えば、第１特徴マップと第２特徴マップとのうちの一方が等倍スケール（オリジナルの解像度）であり、他方が「１／２」スケールである。
　第１特徴マップは、複数のスケールの特徴マップを含んでもよい。同様に、第２特徴マップは、複数のスケールの特徴マップを含んでもよい。例えば、第１特徴マップと第２特徴マップとのうちの一方が等倍スケールの特徴マップと「１／２」スケールの特徴マップとを含み、他方が「１／３」スケールの特徴マップと「１／５」スケールの特徴マップとを含んでもよい。
　特徴マップ生成部２１が特徴マップを生成する方法は、特定の方法に限定されない。例えば、特徴マップ生成部２１は、符号化対象画像に対して様々なフィルタリング処理を実行し、フィルタリング処理の結果に対してサンプリング処理を実行した結果として得られたサンプルの集合を特徴マップとしてもよい。
　ここで、第２特徴マップのサンプリング密度は、第１特徴マップのサンプリング密度よりも粗い密度に設定されてもよい。このような設定の下で、第１特徴マップと第２特徴マップとに対して、互いに独立にサンプリング処理が実行される。なお、特徴マップ生成部２１は、第１特徴マップに対してサンプリング処理を実行し、このサンプリング処理を実行した結果を第２特徴マップとしてもよい。
　特徴マップ生成部２１は、例えば、１個のニューラルネットワークを備える。ここで、特徴マップ生成部２１は、第１特徴マップをニューラルネットワークの第１の中間層から生成し、第２特徴マップをそのニューラルネットワークの第２の中間層から生成してもよい。
　特徴マップ生成部２１は、複数のニューラルネットワークを備えてもよい。例えば、特徴マップ生成部２１は、第１のニューラルネットワークを用いて第１特徴マップを生成し、第２のニューラルネットワークを用いて第２特徴マップを生成してもよい。
　相関マップ生成部２２は、第１特徴マップと第２特徴マップとに基づいて、相関マップを生成する。相関マップ生成部２２は、相関マップを縮小関数生成部２３に出力する。相関マップ生成部２２が相関マップを生成する方法は、特定の方法に限定されない。
　例えば、相関マップ生成部２２は、第１特徴マップの行列と第２特徴マップの行列とを用いる演算を実行し、実行した結果を相関マップとしてもよい。
　例えば、相関マップ生成部２２は、第１特徴マップと第２特徴マップとが入力されたニューラルネットワークの出力を、相関マップとしてもよい。
　例えば、相関マップ生成部２２は、第１特徴マップ「Ｆ１」と第２特徴マップ「Ｆ２」との内積を、相関マップ「Ｃ」としてもよい。相関マップ「Ｃ」は、例えば、式（１）のように表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、「ｋ」は、任意のパッチサイズを表す。また、符号化対象画像「Ｉ」が「ｗ×ｈ」の２階のテンソルであり、第１特徴マップ「Ｆ１」が「ｗ’１×ｈ’１×ｄ」の３階のテンソルであり、第２特徴マップ「Ｆ２」が「ｗ’２×ｈ’２×ｄ」の３階のテンソルである場合、相関マップ「Ｃ」は「ｗ’１×ｈ’１×ｗ’２×ｈ’２」の４階のテンソルとなる。
　相関マップ「Ｃ」が第１特徴マップ「Ｆ１」と第２特徴マップ「Ｆ２」との内積である場合、第１特徴マップに含まれている特徴マップの枚数と、第２特徴マップに含まれている特徴マップの枚数とは等しい。
　縮小関数生成部２３は、相関マップに基づいて、縮小関数を生成する。縮小関数生成部２３は、相関マップをエントロピー符号化部２４に出力する。縮小関数生成部２３が縮小関数を生成する方法は、特定の生成方法に限定されない。
　例えば、縮小関数生成部２３は、相関マップにおける相関のピークの位置に基づいて、相関マップの間における対応点の位置ずれ量及び位置ずれ方向と、各相関マップの解像度（スケール）と、相関マップの間における対応点の回転ずれ量及び回転方向とを推定する。縮小関数生成部２３は、これらの推定結果に基づいて、縮小関数を生成してもよい。
　例えば、縮小関数生成部２３は、ニューラルネットワーク等を用いる機械学習の手法を用いて、縮小関数を生成してもよい。このニューラルネットワークは、相関マップが入力されることによって、縮小関数（縮小関数を定義するためのパラメータ）を出力する。
　縮小関数を定義するためのパラメータは、特定のパラメータに限定されない。例えば、縮小関数を定義するためのパラメータは、アフィン変換の行列と、対応点の位置及び回転を表すベクトルと、サンプリングフィルタを表すパラメータと、輝度の変化を補正するためのパラメータとのいずれでもよい。
　また、相関マップに基づいて生成される縮小関数は、複数の縮小関数の集合（縮小関数系）でもよい。例えば、縮小関数生成部２３は、符号化対象画像を複数のブロックに分割し、ブロックごとに縮小関数を生成してもよい。例えば、縮小関数生成部２３は、符号化対象画像において代表点（特徴的な点）を定め、代表点を中心とする部分領域ごとに縮小関数を生成してもよい。
　エントロピー符号化部２４は、縮小関数に対してエントロピー符号化を実行する。ここで、エントロピー符号化部２４は、縮小関数と任意の付加情報とを符号化してもよい。例えば、付加情報は、画像を復号の際に用いられる初期化パラメータでもよいし、最適化パラメータでもよい。エントロピー符号化部２４は、エントロピー符号化の結果を、画像復号装置３に出力する。エントロピー符号化部２４は、エントロピー符号化の結果を、記憶装置に記録してもよい。
　次に、画像復号装置３について説明する。
　画像復号装置３は、エントロピー符号化の結果を、エントロピー符号化部２４から取得する。画像復号装置３が実行する復号処理は、エントロピー符号化における特定の復号処理に限定されない。例えば、画像復号装置３は、一般的なフラクタル圧縮の復号処理を実行する。すなわち、画像復号装置３は、エントロピー符号化された縮小関数に対してエントロピー復号を実行することによって、復号された縮小関数（以下「復号縮小関数」という。）を生成する。画像復号装置３は、復号縮小関数を用いて、エントロピー符号化された符号化対象画像に対して復号処理を実行することによって、符号化対象画像を復号する。
　画像復号装置３は、予め定められた画像（初期画像）に対して復号縮小関数を用いて、初期画像を第１の復号画像に変換する。画像復号装置３は、第１の復号画像に対して復号縮小関数を用いて、第１の復号画像を第２の復号画像に変換する。このような変換を繰り返すことによって、画像復号装置３は、最終的な復号画像を生成する。
　次に、特徴マップ生成部２１が特徴マップを生成する方法の例と、縮小関数生成部２３が縮小関数を生成する方法の例とを説明する。
　特徴マップ生成部２１と縮小関数生成部２３とは、ニューラルネットワークをそれぞれ備える。特徴マップ生成部２１と縮小関数生成部２３とは、式（２）を満たすように学習処理を実行する。
Figure JPOXMLDOC01-appb-M000002
　ここで、「Ｉｏｒｇ」は、符号化対象画像を表す。「Ｍ」は、特徴マップ生成部２１のニューラルネットワークを表す。「Ｍ（Ｉｏｒｇ）」は、特徴マップ生成部２１のニューラルネットワークの出力（特徴マップ）を表す。「Ｃ」は、相関マップ生成部２２のニューラルネットワークを表す。「Ｃ（）」は、相関マップ生成部２２のニューラルネットワークの出力（相関マップ）を表す。「Ｆ」は、縮小関数生成部２３のニューラルネットワークを表す。「Ｆ（）」は、縮小関数生成部２３のニューラルネットワークの出力（縮小関数系）を表す。「Ｒ」は、画像復号装置３の復号器を表す。「Ｒ（）」は、画像復号装置３の復号器の出力（最終的な復号画像）を表す。「Ｉ０」は、予め定められた画像（初期画像）を表す。
　すなわち、特徴マップ生成部２１と縮小関数生成部２３とは、符号化対象画像「Ｉｏｒｇ」に対する最終的な復号画像「Ｒ（）」の誤差（例えば、自乗誤差）を最小化するように、ニューラルネットワークのパラメータを更新する。
　式（２）には、正則化項が追加されてもよい。また、式（２）には、縮小関数のパラメータの符号量が、損失として追加されてもよい。
　特徴マップ生成部２１と縮小関数生成部２３とは、自乗誤差を使用する代わりに所定の画質評価指標を使用して、ニューラルネットワークのパラメータを更新してもよい。特徴マップ生成部２１と縮小関数生成部２３とは、所定の画像生成問題で使用される他の評価指標を使用して、ニューラルネットワークのパラメータを更新してもよい。特徴マップ生成部２１と縮小関数生成部２３とは、例えば、低次元（低解像度）の画像における各特徴量の誤差を使用して、ニューラルネットワークのパラメータを更新してもよい。
　特徴マップ生成部２１と縮小関数生成部２３とは、例えば、特徴マップ生成部２１と縮小関数生成部２３との各ニューラルネットワークと、敵対的生成ネットワークとしての画像識別ネットワークとを、同時に学習してもよい。これによって、特徴マップ生成部２１と縮小関数生成部２３とは、従来のマッチング探索では不可能である知覚品質の最大化を実現することが可能である。
　また、特徴マップ生成部２１と相関マップ生成部２２は、符号化対象の入力前に学習処理（事前学習）を実行してもよいし、符号化対象の入力ごとに学習処理（再学習）を実行してもよい。例えば、特徴マップ生成部２１と相関マップ生成部２２は、式（１）のように事前学習を実行し、パラメータの符号量に関する損失を符号化対象画像ごとに式（１）に追加する再学習を実行してもよい。これによって、ＲＤ最適化を実現することが可能である。
　また、特徴マップ生成部２１と縮小関数生成部２３とは、学習処理を同時に実行してもよいし、互いに異なる時刻に学習処理を実行してもよい。例えば、画像復号装置３がニューラルネットワークを備えている場合には、特徴マップ生成部２１と縮小関数生成部２３と画像復号装置３とは、学習処理を同時に実行してもよい。
　次に、画像符号化装置２の動作例を説明する。
　図２は、画像符号化装置２の動作例を示すフローチャートである。画像入力部２０は、符号化対象画像を出力する（ステップＳ１０１）。特徴マップ生成部２１は、符号化対象画像に基づいて、第１特徴マップと第２特徴マップとを生成する（ステップＳ１０２）。相関マップ生成部２２は、第１特徴マップと第２特徴マップとに基づいて、相関マップを生成する（ステップＳ１０３）。
　縮小関数生成部２３は、相関マップに基づいて、縮小関数を生成する（ステップＳ１０４）。エントロピー符号化部２４（符号化部）は、縮小関数に対して符号化処理を実行する（ステップＳ１０５）。エントロピー符号化部２４は、符号化の結果を出力する（ステップＳ１０６）。
　以上のように、特徴マップ生成部２１は、第１特徴マップと第２特徴マップとを、互いに異なる解像度で生成する。相関マップ生成部２２は、第１特徴マップと第２特徴マップとの間の相関の分布を表す相関マップを生成する。縮小関数生成部２３は、画像復号装置３によって実行される復号処理において所定の画像の縮小処理に用いられる関数である縮小関数を、相関マップに基づいて生成する。エントロピー符号化部２４は、縮小関数に対して符号化処理を実行する。
　このように、画像符号化装置２は、解像度（スケール）の異なる２個の特徴マップを、１枚の符号化対象画像に基づいて導出する。画像符号化装置２は、解像度の異なる２個の特徴マップの間の相関マップを生成する。解像度の異なる２個の特徴マップの間の相関マップでは、移動量「０」の点において相関がピークとならないので、符号化対象画像内の自己相似性の検出に相関マップを使用することができる。画像符号化装置２は、相関マップ（符号化対象画像内の自己相似性の検出結果）に基づいて、縮小関数系を生成する。
　これによって、フラクタル圧縮符号化の演算量を抑えた上で画質を向上させることが可能である。すなわち、符号化に必要とされる演算量を抑えた上で、高効率のフラクタル圧縮符号化を実現し、かつ、ＲＤ最適化を実現することが可能である。
　縮小関数生成部２３は、相関マップにおける相関のピークの位置に基づいて、相関マップの間における対応点の位置ずれ量及び位置ずれ方向と、各相関マップの解像度と、相関マップの間における対応点の回転ずれ量及び回転方向とを推定してもよい。縮小関数生成部２３は、推定結果に基づいて縮小関数を生成してもよい。縮小関数生成部２３は、ニューラルネットワークを備えてもよい。縮小関数生成部２３のニューラルネットワークは、相関マップを入力として、縮小関数を生成してもよい。
　図３は、画像符号化装置２のハードウェア構成例を示す図である。画像符号化装置２の各機能部のうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ２００が、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶装置２０１とメモリ２０２とに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。表示部２０３は、例えば、復号された画像を表示する。
　画像符号化装置２の各機能部の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本発明は、画像を符号化する装置に適用可能である。
１…画像処理システム、２…画像符号化装置、３…画像復号装置、２０…画像入力部、２１…特徴マップ生成部、２２…相関マップ生成部、２３…縮小関数生成部、２４…エントロピー符号化部、２００…プロセッサ、２０１…記憶装置、２０２…メモリ、２０３…表示部

Claims (5)

  1. 　画像符号化装置が実行する画像符号化方法であって、
    　符号化の対象とされた画像である符号化対象画像の特徴を表す第１特徴マップと前記符号化対象画像の特徴を表す第２特徴マップとを、互いに異なる解像度で生成する特徴マップ生成ステップと、
    　前記第１特徴マップと前記第２特徴マップとの間の相関の分布を表す相関マップを生成する相関マップ生成ステップと、
    　復号処理において所定の画像の縮小処理に用いられる関数である縮小関数を、前記相関マップに基づいて生成する縮小関数生成ステップと、
    　前記縮小関数に対して符号化処理を実行する符号化ステップと
    　を含む画像符号化方法。
  2. 　前記縮小関数生成ステップでは、前記相関マップにおける相関のピークの位置に基づいて、前記相関マップの間における対応点の位置ずれ量及び位置ずれ方向と、各前記相関マップの解像度と、前記相関マップの間における対応点の回転ずれ量及び回転方向とを推定し、推定結果に基づいて前記縮小関数を生成する、
    　請求項１に記載の画像符号化方法。
  3. 　前記画像符号化装置は、ニューラルネットワークを備え、
    　前記縮小関数生成ステップでは、前記ニューラルネットワークは、前記相関マップを入力として、前記縮小関数を生成する、
    　請求項１に記載の画像符号化方法。
  4. 　符号化の対象とされた画像である符号化対象画像の特徴を表す第１特徴マップと前記符号化対象画像の特徴を表す第２特徴マップとを、互いに異なる解像度で生成する特徴マップ生成部と、
    　前記第１特徴マップと前記第２特徴マップとの間の相関の分布を表す相関マップを生成する相関マップ生成部と、
    　復号処理において所定の画像の縮小処理に用いられる関数である縮小関数を、前記相関マップに基づいて生成する縮小関数生成部と、
    　前記縮小関数に対して符号化処理を実行する符号化部と
    　を備える画像符号化装置。
  5. 　請求項４に記載の画像符号化装置としてコンピュータを機能させるためのプログラム。
PCT/JP2020/027258 2020-07-13 2020-07-13 画像符号化方法、画像符号化装置及びプログラム WO2022013920A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/015,303 US20230274467A1 (en) 2020-07-13 2020-07-13 Image encoding apparatus, image encoding method and program
PCT/JP2020/027258 WO2022013920A1 (ja) 2020-07-13 2020-07-13 画像符号化方法、画像符号化装置及びプログラム
JP2022536000A JP7401822B2 (ja) 2020-07-13 2020-07-13 画像符号化方法、画像符号化装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/027258 WO2022013920A1 (ja) 2020-07-13 2020-07-13 画像符号化方法、画像符号化装置及びプログラム

Publications (1)

Publication Number Publication Date
WO2022013920A1 true WO2022013920A1 (ja) 2022-01-20

Family

ID=79555292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027258 WO2022013920A1 (ja) 2020-07-13 2020-07-13 画像符号化方法、画像符号化装置及びプログラム

Country Status (3)

Country Link
US (1) US20230274467A1 (ja)
JP (1) JP7401822B2 (ja)
WO (1) WO2022013920A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007049A1 (en) * 2022-07-08 2024-01-11 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238339A (ja) * 1995-12-28 1997-09-09 Olympus Optical Co Ltd 画像圧縮装置及び画像再生装置
JP2003153275A (ja) * 2001-11-09 2003-05-23 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238339A (ja) * 1995-12-28 1997-09-09 Olympus Optical Co Ltd 画像圧縮装置及び画像再生装置
JP2003153275A (ja) * 2001-11-09 2003-05-23 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DISTASI R., NAPPI M., RICCIO D.: "A range/domain approximation error-based approach for fractal image compression", IEEE TRANSACTIONS ON IMAGE PROCESSING, IEEE, USA, vol. 15, no. 1, 1 January 2006 (2006-01-01), USA, pages 89 - 97, XP055898082, ISSN: 1057-7149, DOI: 10.1109/TIP.2005.860334 *
JIANWEI GUO ; JINGUANG SUN: "An Image Compression Method of Fractal Based on GSOFM Network", IMAGE AND SIGNAL PROCESSING, 2008. CISP '08. CONGRESS ON, IEEE, PISCATAWAY, NJ, USA, 27 May 2008 (2008-05-27), Piscataway, NJ, USA , pages 421 - 425, XP031286590, ISBN: 978-0-7695-3119-9 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007049A1 (en) * 2022-07-08 2024-01-11 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tensor

Also Published As

Publication number Publication date
JPWO2022013920A1 (ja) 2022-01-20
US20230274467A1 (en) 2023-08-31
JP7401822B2 (ja) 2023-12-20

Similar Documents

Publication Publication Date Title
Zepeda et al. Image compression using sparse representations and the iteration-tuned and aligned dictionary
Helminger et al. Lossy image compression with normalizing flows
CN108028941B (zh) 用于通过超像素编码和解码数字图像的方法和装置
US20180124425A1 (en) Motion estimation through machine learning
EP3298782B1 (en) Motion compensation using machine learning
CN110383695B (zh) 用于对数字图像或视频流进行编码和解码的方法和装置
JP7168896B2 (ja) 画像符号化方法、及び画像復号方法
Xiong et al. Sparse spatio-temporal representation with adaptive regularized dictionary learning for low bit-rate video coding
Astola et al. Coding of light fields using disparity-based sparse prediction
Bégaint et al. Region-based prediction for image compression in the cloud
WO2022013920A1 (ja) 画像符号化方法、画像符号化装置及びプログラム
Fischer et al. Boosting neural image compression for machines using latent space masking
Rizkallah et al. Rate-distortion optimized graph coarsening and partitioning for light field coding
Di et al. Learned compression framework with pyramidal features and quality enhancement for SAR images
Zhou et al. Variable rate image compression method with dead-zone quantizer
Akbari et al. Downsampling based image coding using dual dictionary learning and sparse representations
EP4292284A2 (en) Encoder, decoder and methods for coding a picture using a convolutional neural network
Zhan et al. Complex SAR Image Compression Using Entropy‐Constrained Dictionary Learning and Universal Trellis Coded Quantization
Din Comparison Of Steganographic Techniques of Spatial Domain and Frequency Domain in Digital Images
Schäfer et al. Rate-distortion optimized encoding for deep image compression
Chen et al. Bit-error aware lossless image compression with 2D-layer-block coding
Killea et al. DeepCompress: Efficient Point Cloud Geometry Compression
Guo et al. Toward Scalable Image Feature Compression: A Content-Adaptive and Diffusion-Based Approach
Hashim et al. Correlated Block Quad-Tree Segmented and DCT based Scheme for Color Image Compression
EP3046326A1 (en) Method and device of construction of an epitome, coding and decoding methods and coding and decoding devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20945044

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536000

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20945044

Country of ref document: EP

Kind code of ref document: A1