JP7401822B2 - 画像符号化方法、画像符号化装置及びプログラム - Google Patents

画像符号化方法、画像符号化装置及びプログラム Download PDF

Info

Publication number
JP7401822B2
JP7401822B2 JP2022536000A JP2022536000A JP7401822B2 JP 7401822 B2 JP7401822 B2 JP 7401822B2 JP 2022536000 A JP2022536000 A JP 2022536000A JP 2022536000 A JP2022536000 A JP 2022536000A JP 7401822 B2 JP7401822 B2 JP 7401822B2
Authority
JP
Japan
Prior art keywords
image
feature map
correlation
reduction function
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022536000A
Other languages
English (en)
Other versions
JPWO2022013920A1 (ja
Inventor
志織 杉本
隆行 黒住
英明 木全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2022013920A1 publication Critical patent/JPWO2022013920A1/ja
Application granted granted Critical
Publication of JP7401822B2 publication Critical patent/JP7401822B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、画像符号化方法、画像符号化装置及びプログラムに関する。
画像の圧縮符号化では、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）又はウェーブレット変換によって画像領域（空間領域）から周波数領域への直交変換が実行された後で、エントロピー符号化が実行される場合がある。このような場合、変換基底の次元と画像の次元とが同一であるため、変換の前後で情報量が削減されないが、変換によってデータの分布が偏ることで、エントロピー符号化によって符号化効率が向上する。また、このような場合、主観的な画像品質への寄与率が低い高周波成分が粗く量子化されることによって、情報量を更に削減することが可能である。
動画像符号化では、圧縮率をより向上させるために、処理単位のブロックに画像が分割される。画像の空間的及び時間的な連続性を利用して、被写体の画像信号がブロックごとに空間的及び時間的に予測されることによって、予測残差信号がブロックごとに生成される。その予測方法を示す予測情報と、予測残差信号が変換及び量子化が実行された結果とが符号化されることによって、画像信号そのものが符号化される場合と比較して、符号化効率は大幅に向上する。
静止画の標準規格であるＪＰＥＧと、動画像符号化の標準規格である「Ｈ．２６４／ＡＶＣ」及び「Ｈ．２６５／ＨＥＶＣ」とでは、ＤＣＴ及びＤＳＴの係数を量子化する際に用いられる量子化パラメータ（Quantization Parameter : QP）が調整されることによって、発生符号量が制御される。一方、量子化パラメータが大きくなることによって画像の高周波成分が欠落するので、画像品質が低下する。また、ブロックの境界に発生するブロック歪みが、画像品質に影響を与える。
フラクタル圧縮を用いる符号化（以下「フラクタル圧縮符号化」という。）では、画像が自己相似性を持つと仮定される。すなわち、画像の各部分領域が他の部分領域の縮小結果を用いて近似可能であると仮定される。フラクタル圧縮符号化では、この仮定に基づいて、復号処理において所定の画像（初期画像）の縮小処理に用いられる関数（以下「縮小関数」という。）が、原画像及び変換係数が符号化される代わりに符号化される（非特許文献１参照）。
フラクタル圧縮符号化に対する復号処理では、任意の画像に対して縮小関数が繰り返し適用されることによって、原画像が復号される。このような復号処理は、コラージュ定理に基づいている。コラージュ定理とは、原画像の縮小画像から生成されたコラージュが原画像を良好に近似している場合には、任意の画像から同様に生成されたコラージュに対して縮小関数が繰り返し適用されることによってそのコラージュが原画像を良好に近似するようになる、という定理である。
フラクタル圧縮符号化では、予測及び変換に基づく画像符号化の符号量と比較して、ごく少ない符号量で画像を表現可能である。またフラクタル圧縮符号化では、任意の解像度（スケール）の復号画像を劣化なく生成可能であるという特性がある。
フラクタル圧縮符号化では、符号化の対象とされた画像（以下「符号化対象画像」という。）を分割するブロックごとに、縮小関数が導出される。平行移動と回転とスケールとをパラメータに持つアフィン変換が、縮小関数の形式として多く用いられる。ここで、符号化対象画像に対して解像度が変更された画像（スケーリング画像）と符号化対象画像との間でブロックごとのマッチング（ブロックマッチング）が実行されることによって、アフィン変換のパラメータが導出される場合がある。
ブロックマッチングのコスト関数として平均二乗誤差（Mean Square Error : MSE）が用いられことによって、ピクセル同士の誤差を最小化する対応領域が導出される。十分な探索が実行されることによって、単純なアフィン変換を用いて縮小関数が表現される。しかしながら、取りうるパラメータの組み合わせが膨大であるために、演算コストは著しく高い。
画像の部分領域同士の対応関係を導出するためのマッチング方法として、ブロックマッチング以外の方法では、特徴点マッチングがある。特徴点マッチングとして、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）と、ＳＵＲＦ（Speeded Up Robust Feature）とがある。例えば、オプティカルフローが検出される場合、又は、三次元形状が推定される場合に、異なる２枚の画像の間における対応点を導出する方法として特徴点マッチングが用いられる。
特徴点マッチングでは、各画像における特徴的な点だけが、少数のキーポイントとして導出される。各キーポイントについて、画像の回転と解像度変化（スケール変化）とに対して不変な特徴量が、ガウシアンピラミッド基づいて生成される。このような特徴量がキーポイント同士で比較されることによって、画像間の対応点が高速に導出される。
同一の画像において検出されたキーポイント同士の特徴量が比較されることによって、同一の画像における部分領域同士の対応関係を導出することも可能である。しかしながら、同一の画像における全てのブロックに対応する箇所が導出される必要がある場合には、ブロックごとの特徴量と全画素の特徴量とが比較される必要がある。このため、特徴点マッチングに必要とされる演算量と、ブロックマッチングに必要とされる演算量との間の差は大きくない。
また、異なる２枚の画像の間における対応点を導出するための方法として、ディープニューラルネットワークが用いられる場合がある。例えば、ＦｌｏｗＮｅｔＣ（非特許文献２参照）と呼ばれる方法では、画像の特徴を抽出するニューラルネットワークによる特徴マップの抽出が符号化対象画像ごとに実行され、２個の特徴マップに基づいて相関マップが生成される。相関マップを入力されたニューラルネットワーク（フロー推定ネットワーク）を用いて、異なる２枚の画像のうちの一方の画像から他方の画像へのオプティカルフローが導出される。
この方法では、異なる２枚の画像の間における画素同士の平行移動パラメータが高速に導出される。しかしながら、この方法は、大きさを持った領域についての解像度変化及び回転を伴う変換パラメータを、アフィン変換の変換パラメータのように導出する方法ではない。
また、同一の特徴マップ同士の相関の分布（マップ）は、移動量「０」の点において必ずピークとなる。したがって、オプティカルフローを抽出するネットワークが出力する全てのフローの値は０となる。このため、オプティカルフローを抽出するニューラルネットワークは、自己相似性の検出には使用できない。
A.E.Jacquin, "Image coding based on a fractal theory of iterated contractive image transformations," IEEE Transactions on Image Processing, vol.1, no.1, pp.18-30, Jan 1992. Philipp Fischer, et al.,"FlowNet: Learning Optical Flow with Convolutional Networks," arXiv:1504.06852v2 [cs.CV], 4 May 2015.
フラクタル圧縮符号化では、復号に必要とされる演算量は、時間に対して線形である。これに対して、符号化に必要とされる演算量は、復号に必要とされる演算量と比較して多い。符号化に必要とされる演算量が多い理由は、画像における部分領域に対応する他の部分領域が探索される際に、縮小関数の各パラメータ（位置パラメータ、回転パラメータ及び縮小率パラメータ）の組み合わせが膨大になるからである。このため、探索領域及び回転角度が制限される場合がある。また、縮小率が固定される場合がある。しかしながら、そのような制限下では、符号化対象画像が適切に近似可能である場合が少なく、高画質の符号化をフラクタル圧縮符号化によって達成することは難しい。
また、フラクタル圧縮符号化以外の画像符号化方式では、符号量と画質とのバランスを最適化するために、「レート－歪み」（Rate-Distortion Optimization）の最適化（以下「ＲＤ最適化」という。）の処理が実行される。しかしながら、フラクタル圧縮符号化では、ＲＤ最適化は困難である。
一般に、フラクタル圧縮符号化以外の画像符号化方式の予測符号化処理では、部分領域が他の部分領域から参照されることによって、符号化対象画像が復号される。復号された部分領域の品質が、その復号された部分領域を参照する他の部分領域の復号品質（画質）に影響する。このため、部分領域が順番に復号されることを前提として、既に復号された部分領域のみが、他の部分領域から参照可能とされている。また、符号化処理でも、復号された画像に基づいて参照領域が決定される。このため、符号量との兼ね合いで、各部分領域の画質をコントロールすることが可能である。
これに対して、フラクタル圧縮符号化では、符号化対象画像における全ての部分領域に対して、繰り返し処理による復号が同時に実行される。このため、全ての部分領域のうちの一部の部分領域だけを先に復号することができない。したがって、ＲＤ最適化が実行される場合には、部分領域ごとではなく、符号化対象画像の全ての部分領域に対して、縮小関数が同時に決定される必要がある。
このように、フラクタル圧縮符号化の演算量を抑えた上で画質を向上させることができない場合があった。
上記事情に鑑み、本発明は、フラクタル圧縮符号化の演算量を抑えた上で画質を向上させることが可能である画像符号化方法、画像符号化装置及びプログラムを提供することを目的としている。
本発明の一態様は、画像符号化装置が実行する画像符号化方法であって、符号化の対象とされた画像である符号化対象画像の特徴を表す第１特徴マップと前記符号化対象画像の特徴を表す第２特徴マップとを、互いに異なる解像度で生成する特徴マップ生成ステップと、前記第１特徴マップと前記第２特徴マップとの間の相関の分布を表す相関マップを生成する相関マップ生成ステップと、復号処理において所定の画像の縮小処理に用いられる関数である縮小関数を、前記相関マップに基づいて生成する縮小関数生成ステップと、前記縮小関数に対して符号化処理を実行する符号化ステップとを含む画像符号化方法である。
本発明の一態様は、符号化の対象とされた画像である符号化対象画像の特徴を表す第１特徴マップと前記符号化対象画像の特徴を表す第２特徴マップとを、互いに異なる解像度で生成する特徴マップ生成部と、前記第１特徴マップと前記第２特徴マップとの間の相関の分布を表す相関マップを生成する相関マップ生成部と、復号処理において所定の画像の縮小処理に用いられる関数である縮小関数を、前記相関マップに基づいて生成する縮小関数生成部と、前記縮小関数に対して符号化処理を実行する符号化部とを備える画像符号化装置である。
本発明の一態様は、上記の画像符号化装置としてコンピュータを機能させるためのプログラムである。
本発明により、フラクタル圧縮符号化の演算量を抑えた上で画質を向上させることが可能である。
画像処理システムの構成例を示す図である。 画像符号化装置の動作例を示すフローチャートである。 画像符号化装置のハードウェア構成例を示す図である。
本発明の実施形態について、図面を参照して詳細に説明する。
図１は、画像処理システム１の構成例を示す図である。画像処理システム１は、画像符号化装置２と、画像復号装置３とを備える。画像符号化装置２は、画像を符号化する装置である。画像復号装置３は、画像を復号する装置である。
画像符号化装置２は、画像入力部２０と、特徴マップ生成部２１と、相関マップ生成部２２と、縮小関数生成部２３と、エントロピー符号化部２４とを備える。特徴マップ生成部２１と縮小関数生成部２３とは、機械学習の手法を用いて学習したニューラルネットワークを備える。画像復号装置３は、ニューラルネットワークと、機械学習の手法に用いられる辞書とを備えてもよい。
次に、画像符号化装置２について説明する。
画像入力部２０は、符号化対象画像を入力として取得する。画像入力部２０は、符号化対象画像を特徴マップ生成部２１に出力する。
以下、符号化対象画像の特徴を表す１個以上の特徴マップの第１集合を「第１特徴マップ」という。以下、符号化対象画像の特徴を表す１個以上の特徴マップの第２集合を「第２特徴マップ」という。
特徴マップ生成部２１は、符号化対象画像に基づいて、第１特徴マップと第２特徴マップとを生成する。特徴マップ生成部２１は、第１特徴マップと第２特徴マップとを、相関マップ生成部２２に出力する。
第１特徴マップのスケールは、第２特徴マップのスケールとは異なる。例えば、第１特徴マップと第２特徴マップとのうちの一方が等倍スケール（オリジナルの解像度）であり、他方が「１／２」スケールである。
第１特徴マップは、複数のスケールの特徴マップを含んでもよい。同様に、第２特徴マップは、複数のスケールの特徴マップを含んでもよい。例えば、第１特徴マップと第２特徴マップとのうちの一方が等倍スケールの特徴マップと「１／２」スケールの特徴マップとを含み、他方が「１／３」スケールの特徴マップと「１／５」スケールの特徴マップとを含んでもよい。
特徴マップ生成部２１が特徴マップを生成する方法は、特定の方法に限定されない。例えば、特徴マップ生成部２１は、符号化対象画像に対して様々なフィルタリング処理を実行し、フィルタリング処理の結果に対してサンプリング処理を実行した結果として得られたサンプルの集合を特徴マップとしてもよい。
ここで、第２特徴マップのサンプリング密度は、第１特徴マップのサンプリング密度よりも粗い密度に設定されてもよい。このような設定の下で、第１特徴マップと第２特徴マップとに対して、互いに独立にサンプリング処理が実行される。なお、特徴マップ生成部２１は、第１特徴マップに対してサンプリング処理を実行し、このサンプリング処理を実行した結果を第２特徴マップとしてもよい。
特徴マップ生成部２１は、例えば、１個のニューラルネットワークを備える。ここで、特徴マップ生成部２１は、第１特徴マップをニューラルネットワークの第１の中間層から生成し、第２特徴マップをそのニューラルネットワークの第２の中間層から生成してもよい。
特徴マップ生成部２１は、複数のニューラルネットワークを備えてもよい。例えば、特徴マップ生成部２１は、第１のニューラルネットワークを用いて第１特徴マップを生成し、第２のニューラルネットワークを用いて第２特徴マップを生成してもよい。
相関マップ生成部２２は、第１特徴マップと第２特徴マップとに基づいて、相関マップを生成する。相関マップ生成部２２は、相関マップを縮小関数生成部２３に出力する。相関マップ生成部２２が相関マップを生成する方法は、特定の方法に限定されない。
例えば、相関マップ生成部２２は、第１特徴マップの行列と第２特徴マップの行列とを用いる演算を実行し、実行した結果を相関マップとしてもよい。
例えば、相関マップ生成部２２は、第１特徴マップと第２特徴マップとが入力されたニューラルネットワークの出力を、相関マップとしてもよい。
例えば、相関マップ生成部２２は、第１特徴マップ「Ｆ１」と第２特徴マップ「Ｆ２」との内積を、相関マップ「Ｃ」としてもよい。相関マップ「Ｃ」は、例えば、式（１）のように表される。
Figure 0007401822000001
ここで、「ｋ」は、任意のパッチサイズを表す。また、符号化対象画像「Ｉ」が「ｗ×ｈ」の２階のテンソルであり、第１特徴マップ「Ｆ１」が「ｗ’１×ｈ’１×ｄ」の３階のテンソルであり、第２特徴マップ「Ｆ２」が「ｗ’２×ｈ’２×ｄ」の３階のテンソルである場合、相関マップ「Ｃ」は「ｗ’１×ｈ’１×ｗ’２×ｈ’２」の４階のテンソルとなる。
相関マップ「Ｃ」が第１特徴マップ「Ｆ１」と第２特徴マップ「Ｆ２」との内積である場合、第１特徴マップに含まれている特徴マップの枚数と、第２特徴マップに含まれている特徴マップの枚数とは等しい。
縮小関数生成部２３は、相関マップに基づいて、縮小関数を生成する。縮小関数生成部２３は、相関マップをエントロピー符号化部２４に出力する。縮小関数生成部２３が縮小関数を生成する方法は、特定の生成方法に限定されない。
例えば、縮小関数生成部２３は、相関マップにおける相関のピークの位置に基づいて、相関マップの間における対応点の位置ずれ量及び位置ずれ方向と、各相関マップの解像度（スケール）と、相関マップの間における対応点の回転ずれ量及び回転方向とを推定する。縮小関数生成部２３は、これらの推定結果に基づいて、縮小関数を生成してもよい。
例えば、縮小関数生成部２３は、ニューラルネットワーク等を用いる機械学習の手法を用いて、縮小関数を生成してもよい。このニューラルネットワークは、相関マップが入力されることによって、縮小関数（縮小関数を定義するためのパラメータ）を出力する。
縮小関数を定義するためのパラメータは、特定のパラメータに限定されない。例えば、縮小関数を定義するためのパラメータは、アフィン変換の行列と、対応点の位置及び回転を表すベクトルと、サンプリングフィルタを表すパラメータと、輝度の変化を補正するためのパラメータとのいずれでもよい。
また、相関マップに基づいて生成される縮小関数は、複数の縮小関数の集合（縮小関数系）でもよい。例えば、縮小関数生成部２３は、符号化対象画像を複数のブロックに分割し、ブロックごとに縮小関数を生成してもよい。例えば、縮小関数生成部２３は、符号化対象画像において代表点（特徴的な点）を定め、代表点を中心とする部分領域ごとに縮小関数を生成してもよい。
エントロピー符号化部２４は、縮小関数に対してエントロピー符号化を実行する。ここで、エントロピー符号化部２４は、縮小関数と任意の付加情報とを符号化してもよい。例えば、付加情報は、画像を復号の際に用いられる初期化パラメータでもよいし、最適化パラメータでもよい。エントロピー符号化部２４は、エントロピー符号化の結果を、画像復号装置３に出力する。エントロピー符号化部２４は、エントロピー符号化の結果を、記憶装置に記録してもよい。
次に、画像復号装置３について説明する。
画像復号装置３は、エントロピー符号化の結果を、エントロピー符号化部２４から取得する。画像復号装置３が実行する復号処理は、エントロピー符号化における特定の復号処理に限定されない。例えば、画像復号装置３は、一般的なフラクタル圧縮の復号処理を実行する。すなわち、画像復号装置３は、エントロピー符号化された縮小関数に対してエントロピー復号を実行することによって、復号された縮小関数（以下「復号縮小関数」という。）を生成する。画像復号装置３は、復号縮小関数を用いて、エントロピー符号化された符号化対象画像に対して復号処理を実行することによって、符号化対象画像を復号する。
画像復号装置３は、予め定められた画像（初期画像）に対して復号縮小関数を用いて、初期画像を第１の復号画像に変換する。画像復号装置３は、第１の復号画像に対して復号縮小関数を用いて、第１の復号画像を第２の復号画像に変換する。このような変換を繰り返すことによって、画像復号装置３は、最終的な復号画像を生成する。
次に、特徴マップ生成部２１が特徴マップを生成する方法の例と、縮小関数生成部２３が縮小関数を生成する方法の例とを説明する。
特徴マップ生成部２１と縮小関数生成部２３とは、ニューラルネットワークをそれぞれ備える。特徴マップ生成部２１と縮小関数生成部２３とは、式（２）を満たすように学習処理を実行する。
Figure 0007401822000002
ここで、「Ｉｏｒｇ」は、符号化対象画像を表す。「Ｍ」は、特徴マップ生成部２１のニューラルネットワークを表す。「Ｍ（Ｉｏｒｇ）」は、特徴マップ生成部２１のニューラルネットワークの出力（特徴マップ）を表す。「Ｃ」は、相関マップ生成部２２のニューラルネットワークを表す。「Ｃ（）」は、相関マップ生成部２２のニューラルネットワークの出力（相関マップ）を表す。「Ｆ」は、縮小関数生成部２３のニューラルネットワークを表す。「Ｆ（）」は、縮小関数生成部２３のニューラルネットワークの出力（縮小関数系）を表す。「Ｒ」は、画像復号装置３の復号器を表す。「Ｒ（）」は、画像復号装置３の復号器の出力（最終的な復号画像）を表す。「Ｉ０」は、予め定められた画像（初期画像）を表す。
すなわち、特徴マップ生成部２１と縮小関数生成部２３とは、符号化対象画像「Ｉｏｒｇ」に対する最終的な復号画像「Ｒ（）」の誤差（例えば、自乗誤差）を最小化するように、ニューラルネットワークのパラメータを更新する。
式（２）には、正則化項が追加されてもよい。また、式（２）には、縮小関数のパラメータの符号量が、損失として追加されてもよい。
特徴マップ生成部２１と縮小関数生成部２３とは、自乗誤差を使用する代わりに所定の画質評価指標を使用して、ニューラルネットワークのパラメータを更新してもよい。特徴マップ生成部２１と縮小関数生成部２３とは、所定の画像生成問題で使用される他の評価指標を使用して、ニューラルネットワークのパラメータを更新してもよい。特徴マップ生成部２１と縮小関数生成部２３とは、例えば、低次元（低解像度）の画像における各特徴量の誤差を使用して、ニューラルネットワークのパラメータを更新してもよい。
特徴マップ生成部２１と縮小関数生成部２３とは、例えば、特徴マップ生成部２１と縮小関数生成部２３との各ニューラルネットワークと、敵対的生成ネットワークとしての画像識別ネットワークとを、同時に学習してもよい。これによって、特徴マップ生成部２１と縮小関数生成部２３とは、従来のマッチング探索では不可能である知覚品質の最大化を実現することが可能である。
また、特徴マップ生成部２１と相関マップ生成部２２は、符号化対象の入力前に学習処理（事前学習）を実行してもよいし、符号化対象の入力ごとに学習処理（再学習）を実行してもよい。例えば、特徴マップ生成部２１と相関マップ生成部２２は、式（１）のように事前学習を実行し、パラメータの符号量に関する損失を符号化対象画像ごとに式（１）に追加する再学習を実行してもよい。これによって、ＲＤ最適化を実現することが可能である。
また、特徴マップ生成部２１と縮小関数生成部２３とは、学習処理を同時に実行してもよいし、互いに異なる時刻に学習処理を実行してもよい。例えば、画像復号装置３がニューラルネットワークを備えている場合には、特徴マップ生成部２１と縮小関数生成部２３と画像復号装置３とは、学習処理を同時に実行してもよい。
次に、画像符号化装置２の動作例を説明する。
図２は、画像符号化装置２の動作例を示すフローチャートである。画像入力部２０は、符号化対象画像を出力する（ステップＳ１０１）。特徴マップ生成部２１は、符号化対象画像に基づいて、第１特徴マップと第２特徴マップとを生成する（ステップＳ１０２）。相関マップ生成部２２は、第１特徴マップと第２特徴マップとに基づいて、相関マップを生成する（ステップＳ１０３）。
縮小関数生成部２３は、相関マップに基づいて、縮小関数を生成する（ステップＳ１０４）。エントロピー符号化部２４（符号化部）は、縮小関数に対して符号化処理を実行する（ステップＳ１０５）。エントロピー符号化部２４は、符号化の結果を出力する（ステップＳ１０６）。
以上のように、特徴マップ生成部２１は、第１特徴マップと第２特徴マップとを、互いに異なる解像度で生成する。相関マップ生成部２２は、第１特徴マップと第２特徴マップとの間の相関の分布を表す相関マップを生成する。縮小関数生成部２３は、画像復号装置３によって実行される復号処理において所定の画像の縮小処理に用いられる関数である縮小関数を、相関マップに基づいて生成する。エントロピー符号化部２４は、縮小関数に対して符号化処理を実行する。
このように、画像符号化装置２は、解像度（スケール）の異なる２個の特徴マップを、１枚の符号化対象画像に基づいて導出する。画像符号化装置２は、解像度の異なる２個の特徴マップの間の相関マップを生成する。解像度の異なる２個の特徴マップの間の相関マップでは、移動量「０」の点において相関がピークとならないので、符号化対象画像内の自己相似性の検出に相関マップを使用することができる。画像符号化装置２は、相関マップ（符号化対象画像内の自己相似性の検出結果）に基づいて、縮小関数系を生成する。
これによって、フラクタル圧縮符号化の演算量を抑えた上で画質を向上させることが可能である。すなわち、符号化に必要とされる演算量を抑えた上で、高効率のフラクタル圧縮符号化を実現し、かつ、ＲＤ最適化を実現することが可能である。
縮小関数生成部２３は、相関マップにおける相関のピークの位置に基づいて、相関マップの間における対応点の位置ずれ量及び位置ずれ方向と、各相関マップの解像度と、相関マップの間における対応点の回転ずれ量及び回転方向とを推定してもよい。縮小関数生成部２３は、推定結果に基づいて縮小関数を生成してもよい。縮小関数生成部２３は、ニューラルネットワークを備えてもよい。縮小関数生成部２３のニューラルネットワークは、相関マップを入力として、縮小関数を生成してもよい。
図３は、画像符号化装置２のハードウェア構成例を示す図である。画像符号化装置２の各機能部のうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ２００が、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶装置２０１とメモリ２０２とに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。表示部２０３は、例えば、復号された画像を表示する。
画像符号化装置２の各機能部の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、画像を符号化する装置に適用可能である。
１…画像処理システム、２…画像符号化装置、３…画像復号装置、２０…画像入力部、２１…特徴マップ生成部、２２…相関マップ生成部、２３…縮小関数生成部、２４…エントロピー符号化部、２００…プロセッサ、２０１…記憶装置、２０２…メモリ、２０３…表示部

Claims (5)

  1. 画像符号化装置が実行する画像符号化方法であって、
    符号化の対象とされた画像である符号化対象画像の特徴を表す第１特徴マップと前記符号化対象画像の特徴を表す第２特徴マップとを、互いに異なる解像度で生成する特徴マップ生成ステップと、
    前記第１特徴マップと前記第２特徴マップとの間の相関の分布を表す相関マップを生成する相関マップ生成ステップと、
    復号処理において所定の画像の縮小処理に用いられる関数である縮小関数を、前記相関マップに基づいて生成する縮小関数生成ステップと、
    前記縮小関数に対して符号化処理を実行する符号化ステップと
    を含む画像符号化方法。
  2. 前記縮小関数生成ステップでは、前記相関マップにおける相関のピークの位置に基づいて、前記相関マップの間における対応点の位置ずれ量及び位置ずれ方向と、各前記相関マップの解像度と、前記相関マップの間における対応点の回転ずれ量及び回転方向とを推定し、推定結果に基づいて前記縮小関数を生成する、
    請求項１に記載の画像符号化方法。
  3. 前記画像符号化装置は、ニューラルネットワークを備え、
    前記縮小関数生成ステップでは、前記ニューラルネットワークは、前記相関マップを入力として、前記縮小関数を生成する、
    請求項１に記載の画像符号化方法。
  4. 符号化の対象とされた画像である符号化対象画像の特徴を表す第１特徴マップと前記符号化対象画像の特徴を表す第２特徴マップとを、互いに異なる解像度で生成する特徴マップ生成部と、
    前記第１特徴マップと前記第２特徴マップとの間の相関の分布を表す相関マップを生成する相関マップ生成部と、
    復号処理において所定の画像の縮小処理に用いられる関数である縮小関数を、前記相関マップに基づいて生成する縮小関数生成部と、
    前記縮小関数に対して符号化処理を実行する符号化部と
    を備える画像符号化装置。
  5. 請求項４に記載の画像符号化装置としてコンピュータを機能させるためのプログラム。
JP2022536000A 2020-07-13 2020-07-13 画像符号化方法、画像符号化装置及びプログラム Active JP7401822B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/027258 WO2022013920A1 (ja) 2020-07-13 2020-07-13 画像符号化方法、画像符号化装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2022013920A1 JPWO2022013920A1 (ja) 2022-01-20
JP7401822B2 true JP7401822B2 (ja) 2023-12-20

Family

ID=79555292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022536000A Active JP7401822B2 (ja) 2020-07-13 2020-07-13 画像符号化方法、画像符号化装置及びプログラム

Country Status (3)

Country Link
US (1) US20230274467A1 (ja)
JP (1) JP7401822B2 (ja)
WO (1) WO2022013920A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2022204911A1 (en) * 2022-07-08 2024-01-25 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153275A (ja) 2001-11-09 2003-05-23 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238339A (ja) * 1995-12-28 1997-09-09 Olympus Optical Co Ltd 画像圧縮装置及び画像再生装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153275A (ja) 2001-11-09 2003-05-23 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DISTASI, Riccardo et al.，A range/domain approximation error-based approach for fractal image compression，IEEE Transactions on Image Processing，IEEE，2005年12月12日，Volume: 15, Issue: 1，pp.89-97，<URL:https://ieeexplore.ieee.org/document/1556627>，<DOI: 10.1109/TIP.2005.860334>
GUO, Jianwei and SUN, Jinguang，An Image Compression Method of Fractal Based on GSOFM Network，2008 Congress on Image and Signal Processing，IEEE，2008年07月16日，pp.421-425，<URL:https://ieeexplore.ieee.org/document/4566191>，<DOI: 10.1109/CISP.2008.683>

Also Published As

Publication number Publication date
US20230274467A1 (en) 2023-08-31
WO2022013920A1 (ja) 2022-01-20
JPWO2022013920A1 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
Le et al. Image coding for machines: an end-to-end learned approach
Helminger et al. Lossy image compression with normalizing flows
CN108028941B (zh) 用于通过超像素编码和解码数字图像的方法和装置
CN108141592B (zh) 用于编码和解码数字图像或视频流的方法和装置
KR20170084239A (ko) 디지털 이미지를 처리하는 방법 및 시스템
CN110024391B (zh) 用于编码和解码数字图像或视频流的方法和装置
CN110383695B (zh) 用于对数字图像或视频流进行编码和解码的方法和装置
JP7168896B2 (ja) 画像符号化方法、及び画像復号方法
Fracastoro et al. Graph transform optimization with application to image compression
Jia et al. Layered image compression using scalable auto-encoder
JP6042001B2 (ja) 動画像符号化装置及び動画像符号化方法
Xu et al. Synthetic aperture radar image compression based on a variational autoencoder
Lin et al. Variable-rate multi-frequency image compression using modulated generalized octave convolution
Rizkallah et al. Rate-distortion optimized graph coarsening and partitioning for light field coding
Fischer et al. Boosting neural image compression for machines using latent space masking
JP7401822B2 (ja) 画像符号化方法、画像符号化装置及びプログラム
Di et al. Learned compression framework with pyramidal features and quality enhancement for SAR images
CN107231556B (zh) 一种图像云储存设备
Akbari et al. Downsampling based image coding using dual dictionary learning and sparse representations
EP4292284A2 (en) Encoder, decoder and methods for coding a picture using a convolutional neural network
Zhan et al. Complex SAR Image Compression Using Entropy‐Constrained Dictionary Learning and Universal Trellis Coded Quantization
Thakker et al. Lossy Image Compression-A Comparison Between Wavelet Transform, Principal Component Analysis, K-Means and Autoencoders
Dinh et al. Side information generation using extra information in distributed video coding
Zhang et al. Leveraging progressive model and overfitting for efficient learned image compression
JP7406208B2 (ja) 符号化装置、符号化方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231120

R150 Certificate of patent or registration of utility model

Ref document number: 7401822

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150