JP7453561B2

JP7453561B2 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム

Info

Publication number: JP7453561B2
Application number: JP2021563447A
Authority: JP
Inventors: 志織杉本; 誠之高村; 隆行黒住; 英明木全
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2024-03-21
Anticipated expiration: 2039-12-09
Also published as: US20230012229A1; WO2021117082A1; JPWO2021117082A1

Description

本発明は、画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムに関する。

一般的な画像圧縮符号化では、ＤＣＴ（離散コサイン変換）、ＤＳＴ（離散サイン変換）、またはウェーブレット変換などによって画像領域から周波数領域への直交変換を行ってからエントロピー符号化を行う。変換基底の次元と画像の次元が同一であるため変換の前後でデータの数は変わらず情報量は削減されないが、変換によってデータの分布が偏ることでエントロピー符号化による符号化効率が向上する。また、このとき主観的な画像品質への寄与率が低いといわれている高周波成分を荒く量子化することで、更に情報量を削減することもできる。

また、特に複数の画像を効率的に圧縮する必要のある映像符号化では、より圧縮率を上げるため、画像を処理単位ブロックに分割し、被写体の空間的／時間的な連続性を利用してブロック毎にその画像信号を空間的／時間的に予測し、その予測方法を示す予測情報と、予測残差信号に対して前述の変換や量子化を行ったものを符号化することで、画像信号そのものを符号化する場合に比べて大幅な符号化効率の向上を図っている。

画像／映像符号化の標準規格であるＪＰＥＧ（Joint Photographic Experts Group）、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）、及びＨ．２６５／ＨＥＶＣ（High Efficiency Video Coding）では、ＤＣＴやＤＳＴの係数を量子化する際のＱＰ（量子化パラメータ）を調整することで発生符号量を制御する。一方で、ＱＰの上昇に伴う高周波成分の欠落、及びブロック境界に発生するブロック歪みが、画像品質に影響を与える。

一方で、フラクタル圧縮と呼ばれる方法では、画像やその変換係数を符号化する代わりに、画像の各部分領域が他の部分領域の縮小で近似できるとして、その縮小関数を符号化する（例えば、非特許文献１参照）。復号時には、任意の画像に対して縮小関数を繰り返し適用することで原画像を復号する。この方法は、原画像の縮小画像から生成されたコラージュが原画像を良好に近似しているならば、任意の画像から同様にして生成されたコラージュも反復すれば原画像を良好に近似するようになる、というコラージュ定理に基づくものである。

この方法は、予測と変換に基づく画像符号化に比べてごく少ない符号量で画像を表現可能であり、また復号画像を劣化なしに任意の解像度で生成可能であるという特性がある。しかしながら、この方法では、復号にかかる計算量は線形時間で有るのに対し、符号化にかかる計算量が非常に多いという問題がある。これは、ある領域に対応する領域を探索する際に、縮小関数のパラメータであるの組み合わせが膨大になることに由来する。したがって、実用上は、探索領域や回転角度に制限を加えたり、縮小率を固定するなどの工夫を行うことになる。しかしながら、そうした制限下で符号化対象画像が適切に近似可能であることは少なく、一般的にはフラクタル圧縮符号化で高い画質を達成することは難しい。

A. E. Jacquin, "Image coding based on a fractal theory of iterated contractive image transformations," IEEE Transactions on Image Processing, vol.1, no.1, pp.18-30, Jan 1992.

前述の通り、フラクタル圧縮符号化を現実的な時間で実現するためには縮小関数に制約を与える必要があるが、一般の画像をそうした制約下で高い精度で表現することは困難であるという課題がある。

本発明は、このような事情に鑑みてなされたもので、演算量を抑えつつ効率の良いフラクタル圧縮符号化を行うことができる技術の提供を目的としている。

本発明の一態様は、符号化対象の画像を取得する画像取得ステップと、前記画像に基づいて特徴マップを生成する特徴マップ生成ステップと、前記特徴マップをフラクタル圧縮し縮小関数を生成する縮小関数生成ステップと、前記縮小関数をエントロピー符号化するエントロピー符号化ステップと、を有する画像符号化方法である。

また、本発明の一態様は、フラクタル圧縮によって生成された縮小関数がエントロピー符号化された符号を取得する符号取得ステップと、前記符号を復号し前記縮小関数を生成するエントロピー復号ステップと、前記縮小関数に基づいて特徴マップを生成する特徴マップ復号ステップと、前記特徴マップに基づいて画像を生成する画像復元ステップと、を有する画像復号方法である。

また、本発明の一態様は、符号化対象の画像を取得する画像取得部と、前記画像取得部によって取得された前記画像に基づいて特徴マップを生成する特徴マップ生成部と、前記特徴マップ生成部によって生成された前記特徴マップをフラクタル圧縮し縮小関数を生成する縮小関数生成部と、前記縮小関数生成部によって生成された縮小関数をエントロピー符号化するエントロピー符号化部と、を備える画像符号化装置である。

また、本発明の一態様は、フラクタル圧縮によって生成された縮小関数がエントロピー符号化された符号を取得する符号取得部と、前記符号取得部によって取得された前記符号を復号し前記縮小関数を生成するエントロピー復号部と、前記エントロピー復号部によって生成された縮小関数に基づいて特徴マップを生成する特徴マップ復号部と、前記特徴マップ復号部によって生成された特徴マップに基づいて画像を生成する画像復元部と、を備える画像復号装置である。

また、本発明の一態様は、上記の画像符号化方法をコンピュータに実行させるためのプログラムである。

また、本発明の一態様は、上記の画像復号方法をコンピュータに実行させるためのプログラムである。

本発明によれば、演算量を抑えつつ効率の良いフラクタル圧縮符号化を行うことができる。

本発明の一実施形態による画像符号化装置１００の機能構成を示すブロック図。本発明の一実施形態による画像符号化装置１００の動作を示すフローチャート。本発明の一実施形態による画像復号装置２００の機能構成を示すブロック図。本発明の一実施形態による画像復号装置２００の動作を示すフローチャート。

以下、図面を参照して、本発明の一実施形態による画像符号化装置１００及び画像復号装置２００を説明する。

［画像符号化装置の構成］
まず、図１を参照して、画像符号化装置１００の機能構成について説明する。
図１は、本発明の一実施形態による画像符号化装置１００の機能構成を示すブロック図である。画像符号化装置１００は、図１に示すように、画像入力部１０１、特徴マップ生成部１０２、縮小関数生成部１０３、及びエントロピー符号化部１０４を備えている。

画像入力部１０１（画像取得部）は、例えば外部の装置等から出力された、処理対象となる画像の入力を受け付ける。以下では、この処理対象となる画像を「符号化対象画像」と称する。画像入力部１０１は、符号化対象画像を特徴マップ生成部１０２へ出力する。

特徴マップ生成部１０２は、画像入力部１０１から出力された符号化対象画像を取得する。特徴マップ生成部１０２は、符号化対象画像から特徴マップを生成する。このとき、特徴マップ生成部１０２は、フラクタル性をもつように特徴マップを生成する。なお、特徴マップ生成部１０２は、例えば機械学習による学習モデルを用いて特徴マップを生成する。特徴マップ生成部１０２による特徴マップの生成処理については、後に詳しく説明する。特徴マップ生成部１０２は、生成された特徴マップを縮小関数生成部１０３へ出力する。

縮小関数生成部１０３は、特徴マップ生成部１０２から出力された特徴マップを取得する。縮小関数生成部１０３は、特徴マップをフラクタル圧縮し、縮小関数を生成する。なお、縮小関数生成部１０３は、例えば、ブロックマッチング、位相限定相関法、または任意の特徴量マッチングなどの一般的な方法で対応関係を推定し、縮小関数を生成する。または、縮小関数生成部１０３は、例えば、直接縮小関数のパラメータを推定するニューラルネットワークなどを学習させて縮小関数を生成する。縮小関数生成部１０３は、生成された縮小関数をエントロピー符号化部１０４へ出力する。

エントロピー符号化部１０４は、縮小関数生成部１０３から出力された縮小関数を取得する。エントロピー符号化部１０４は、縮小関数をエントロピー符号化し、例えば後述する画像復号装置２００等へ符号を出力する。なお、エントロピー符号化部１０４は、例えば、画像復元の際の初期化パラメータ、及び最適化パラメータなどの任意の付加情報をともに符号化する構成であってもよい。

［画像符号化装置の動作］
次に、図２を参照して、図１に示す画像符号化装置１００の動作を説明する。
図２は、本発明の一実施形態による画像符号化装置１００の動作を示すフローチャートである。

まず、画像入力部１０１は、符号化対象画像の入力を受け付ける（ステップＳ１０１）。次に、特徴マップ生成部１０２は、符号化対象画像から特徴マップを生成する（ステップＳ１０２）。

このとき、特徴マップは、フラクタル性をもつように生成される。なお、符号化対象画像の要素数と特徴マップの要素数とは、必ずしも一致している必要はない。なお、特徴マップは、要素数の異なる複数のテンソルの集合であってもよい。

以下では、一例として、符号化対象画像Ｉが、ｗ×ｈの二階のテンソルであり、特徴マップＭが、ｗ’×ｈ’×ｄの三階のテンソルであるものとする。

なお、特徴マップ生成部１０２は、どのようなプロセスで特徴マップを生成してもよい。以下では、一例として、特徴マップ生成部１０２と、当該特徴マップ生成部１０２に対応して特徴マップから画像を生成する画像復元部２０５とをニューラルネットワークとした機械学習によって生成された学習モデルを用いて特徴マップを生成する場合について説明する。

特徴マップ生成部１０２をＧｅｎとし、画像復元部２０５をＲｅｃとする。また、特徴マップのフラクタル性に基づく評価関数をＬ_ｆとする。このとき、Ｇｅｎ、Ｒｅｃは以下の式（１）を満たすように学習する。λは任意の重みである。

Ｌ_ｆは、入力のフラクタル性が低いほど損失が大きくなるように設計されているならば、どのような評価関数であってもよい。例えば、入力信号に対してフラクタル次元を計算し、このフラクタル次元に基づく評価関数を定義するようにしてもよい。または、入力信号について縮小関数を求め、この縮小関数に基づいてフラクタル復号を行い、復号信号と入力信号との誤差に基づく評価関数を定義するようにしてもよい。

または、フラクタル信号はパワースペクトルが波数に対するベキ型になることを利用して、スペクトル強度の波数依存性に基づいて評価関数を設計してもよい。区間Ｘのフラクタル信号ｆ（ｘ）について、パワースペクトルＳ（ω）＝｜Ｆ（ω，Ｘ）｜^２／Ｘと波数ωとは、以下の式（２）に示すような関係にある。

Ｈは、ハースト指数と呼ばれる正の値であり、フラクタル信号の複雑さを示す指標として使用されることがある。このとき、Ｌ_ｆ（ｆ（ｘ））を以下の式（３）のように定義することで、パワースペクトルＳ（ω）をベキ型に近づけ、入力信号のフラクタル性を高める評価関数として利用できる。

Ｈは、固定の値であってもよいし、信号ごとに異なる値であってもよい。Ｈが信号ごとに任意の値をとる場合、マルチフラクタルでないフラクタル信号であれば全波数区間でＨが一定であることに基づいて評価関数を設計してもよい。例えば、以下の式（４）及び式（５）に示すようなＨの分散を最小化するような評価関数が考えられる。

なお、敵対的生成ネットワーク（Generative adversarial networks）学習を利用して、Ｇｅｎを生成ネットワークとし、Ｇｅｎ（Ｉ）と他のフラクタル信号とを識別する識別ネットワークと同時に学習することで、Ｇｅｎがフラクタル信号を生成できるように学習してもよい。

なお、フラクタル性の評価にあたっては、縮小関数決定のための探索に関する制約を反映して評価を行うようにしてもよい。例えば、学習時に縮小関数を探索により決定しフラクタル性の評価に使用する場合に、その探索にも制約を与えることなどが考えられる。または、縮小関数のパラメータに関する評価関数を別途追加してもよい。

なお、特徴マップを任意の部分テンソルに分解し、部分テンソルごとにフラクタル圧縮するようにして、部分テンソルごとにフラクタル性を計算するようにしてもよい。例えば、複雑な画像をいくつかの単純なフラクタル信号の重ね合わせで表現するために、チャンネル別にｗ’×ｈ’の二次元テンソルｄ個に分解することが考えられる。または、フラクタル圧縮の際の探索を一次元信号の自己相似性の検出として高速に計算するために、空間位置別にｄの一次元テンソルｗ’ｈ’個に分解することが考えられる。その他、どのような分解方法が用いられてもよい。

なお、ニューラルネットワークの代わりに、予め学習した辞書を使用するようにしてもよい。例えば、特徴マップ生成部１０２は特徴マップαを決定し、画像復元部２０５は辞書Ｄと特徴マップαとの積として画像を生成するものとした場合、辞書は以下のような式（６）によって学習できる。

次に、縮小関数生成部１０３は、特徴マップをフラクタル圧縮し、縮小関数を生成する（ステップＳ１０３）。なお、縮小関数の生成方法はどのようなものでもよい。例えばブロックマッチング、位相限定相関法、または任意の特徴量マッチングなどの一般的な方法で対応関係を推定し、縮小関数を生成するようにしてもよい。または、直接縮小関数のパラメータを推定するニューラルネットワークなどを学習させて生成するようにしてもよい。

なお、縮小関数は任意のパラメータを含んでいてもよい。例えば、アフィン変換行列、または対応位置や回転を示すベクトルの他に、サンプリングフィルタを示すパラメータ、及び輝度の変化を補正するパラメータなどが考えられる。

エントロピー符号化部１０４は、縮小関数をエントロピー符号化し、符号を出力する（ステップＳ１０４）。なお、このとき、任意の付加情報をともに符号化するようにしてもよい。例えば、付加情報として、画像復元の際の初期化パラメータ、及び最適化パラメータなどが考えられる。

［画像復号装置の構成］
次に、図３を参照して、画像復号装置２００の機能構成について説明する。
図３は、本発明の一実施形態による画像復号装置２００の機能構成を示すブロック図である。画像復号装置２００は、図３に示すように、符号入力部２０１、エントロピー復号部２０２、特徴マップ初期化部２０３、特徴マップ復号部２０４、及び画像復元部２０５を備えている。

符号入力部２０１（符号取得部）は、例えば画像符号化装置１００から出力された、処理対象となる符号の入力を受け付ける。以下では、この処理対象となる符号を「復号対象符号」と称する。復号対象符号は、例えば前述の縮小関数生成部１０３によるフラクタル圧縮によって生成された縮小関数がエントロピー符号化された符号である。符号入力部２０１は、復号対象符号をエントロピー復号部２０２へ出力する。

エントロピー復号部２０２は、符号入力部２０１から出力された復号対象符号を取得する。エントロピー復号部２０２は、復号対象画像をエントロピー復号し、復号縮小関数を生成する。エントロピー復号部２０２は、生成された復号縮小関数を特徴マップ復号部２０４へ出力する。

特徴マップ初期化部２０３は、復号特徴マップを初期化する。なお、特徴マップ初期化部２０３は、例えば、符号化側で初期化パラメータが設定されて付加情報として符号化されているならば、その初期化パラメータを復号して用いることによって復号特徴マップを初期化してもよい。

特徴マップ復号部２０４は、エントロピー復号部２０２から出力された復号縮小関数を取得する。特徴マップ復号部２０４は、復号縮小関数から復号特徴マップを生成する。特徴マップ復号部２０４は、一般的なフラクタル符号化と同様に、初期化された復号特徴マップについて復号縮小関数を繰り返し適用することにより、復号特徴マップを生成する。特徴マップ復号部２０４は、生成された復号特徴マップを画像復元部２０５へ出力する。

画像復元部２０５は、特徴マップ復号部２０４から出力された復号特徴マップを取得する。画像復元部２０５は、復号特徴マップから復号画像を生成する。なお、画像復元部２０５は、例えば、前述のようなニューラルネットワークまたは辞書を用いる方法などにより復号画像を生成する。画像復元部２０５は、生成された復号画像を、例えば外部の装置等へ出力する。

［画像復号装置の動作］
次に、図４を参照して、図３に示す画像復号装置２００の動作を説明する。
図４は、本発明の一実施形態による画像復号装置２００の動作を示すフローチャートである。

まず、符号入力部２０１は、復号対象符号の入力を受け付ける（ステップＳ２０１）。次に、エントロピー復号部２０２は、復号対象画像をエントロピー復号し、復号縮小関数を生成する。（ステップＳ２０２）。

特徴マップ初期化部２０３は、復号特徴マップを初期化する（ステップＳ２０３）。なお、初期化にはどのような方法が用いられてもよい。例えば、符号化側で初期化パラメータが設定されて付加情報として符号化されているならば、その初期化パラメータを復号して用いるようにしてもよい。

特徴マップ復号部２０４は、復号縮小関数から復号特徴マップを生成する（ステップＳ２０４）。生成にあたっては、一般的なフラクタル符号化と同様に、初期化された復号特徴マップについて復号縮小関数を繰り返し適用する。

最後に、画像復元部２０５は、復号特徴マップから復号画像を生成し出力する（ステップＳ２０５）。なお、画像復元部２０５はどのような方法で復号画像を生成してもよい。例えば、上述したように、ニューラルネットワークまたは辞書を用いる方法など、様々な方法が考えられる。

例えばニューラルネットまたは辞書などを用いた機械学習による方法の場合には、上記の式（１）及び式（６）に示したように復号画像と符号化対象画像との間のピクセル単位の誤差を最小化するように学習させてもよい。または、画像生成問題で用いられるような他の評価方法を用いて学習をさせてもよい。例えば、低次元の画像特徴量の誤差を用いる方法、及び敵対的生成ネットワークとして画像識別ネットワークと同時に学習させる方法なども考えられる。

なお、学習にあたっては、特徴マップ生成部１０２と画像復元部２０５とを同時にオートエンコーダとして学習させてもいいし、別々に学習させてもよい。オートエンコーダとして学習させる場合、中間出力の特徴マップと復号特徴マップとは同一であるとしてもよいし、特徴マップをフラクタル圧縮・復号して復号特徴マップを生成し、画像復元部２０５に入力してもよい。中間にフラクタル圧縮を挟むことで、デノイジングオートエンコーダのようなノイズ除去効果、及びベクトル量子化のように特徴マップへの変換自身の情報圧縮効果を持たせることができる。

以上説明したように、上述した実施形態における画像符号化装置１００は、任意の符号化対象画像を特徴マップの集合に変換し、変換された特徴マップの集合についてフラクタル圧縮符号化を行う。また、上述した実施形態における画像復号装置２００は、フラクタル復号された特徴マップから画像を生成し復号画像とする。上記のような構成を備えることで、画像符号化装置１００及び画像復号装置２００は、符号化にかかる演算量を抑えつつ、効率の良いフラクタル圧縮符号化を行うことができる。画像符号化装置１００は、制約のある縮小関数で表現可能であるように特徴マップを生成することで、符号化にかかる演算量を抑えた上で効率の良いフラクタル圧縮符号化を行うことができる。

前述した実施形態における画像符号化装置１００及び画像復号装置２００を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

１００・・・画像符号化装置、１０１・・・画像入力部、１０２・・・特徴マップ生成部、１０３・・・縮小関数生成部、１０４・・・エントロピー符号化部、２００・・・画像復号装置、２０１・・・符号入力部、２０２・・・エントロピー復号部、２０３・・・特徴マップ初期化部、２０４・・・特徴マップ復号部、２０５・・・画像復元部

Claims

符号化対象の画像を取得する画像取得ステップと、
前記画像に基づいて特徴マップを生成する特徴マップ生成ステップと、
前記特徴マップをフラクタル圧縮し縮小関数を生成する縮小関数生成ステップと、
前記縮小関数をエントロピー符号化するエントロピー符号化ステップと、
を有し、
前記特徴マップ生成ステップでは、フラクタル性に基づく評価関数によって評価された学習モデルを用いて前記特徴マップを生成する
画像符号化方法。
前記特徴マップ生成ステップは、フラクタル性をもつように前記特徴マップを生成する
請求項１に記載の画像符号化方法。
前記特徴マップ生成ステップは、入力信号のフラクタル性が低いほど損失が大きくなるような評価関数により学習がなされた学習モデルを用いて前記特徴マップを生成する
請求項１又は請求項２に記載の画像符号化方法。
フラクタル性に基づく評価関数によって評価された学習モデルを用いて生成された特徴マップをフラクタル圧縮して生成された縮小関数がエントロピー符号化された符号を取得する符号取得ステップと、
前記符号を復号し前記縮小関数を生成するエントロピー復号ステップと、
前記縮小関数に基づいて特徴マップを生成する特徴マップ復号ステップと、
前記特徴マップと、復号画像と符号化対象画像との間のピクセル単位の誤差を最小化するように機械学習がなされたニューラルネットワークと、に基づいて前記復号画像を生成する画像復元ステップと、
を有する画像復号方法。
符号化対象の画像を取得する画像取得部と、
前記画像取得部によって取得された前記画像に基づいて特徴マップを生成する特徴マップ生成部と、
前記特徴マップ生成部によって生成された前記特徴マップをフラクタル圧縮し縮小関数を生成する縮小関数生成部と、
前記縮小関数生成部によって生成された縮小関数をエントロピー符号化するエントロピー符号化部と、
を備え、
前記特徴マップ生成部は、フラクタル性に基づく評価関数によって評価された学習モデルを用いて前記特徴マップを生成する
画像符号化装置。
フラクタル性に基づく評価関数によって評価された学習モデルを用いて生成された特徴マップをフラクタル圧縮して生成された縮小関数がエントロピー符号化された符号を取得する符号取得部と、
前記符号取得部によって取得された前記符号を復号し前記縮小関数を生成するエントロピー復号部と、
前記エントロピー復号部によって生成された縮小関数に基づいて特徴マップを生成する特徴マップ復号部と、
前記特徴マップ復号部によって生成された特徴マップと、復号画像と符号化対象画像との間のピクセル単位の誤差を最小化するように機械学習がなされたニューラルネットワークと、に基づいて前記復号画像を生成する画像復元部と、
を備える画像復号装置。
請求項１から請求項３のうちいずれか一項に記載の画像符号化方法をコンピュータに実行させるためのプログラム。
請求項４に記載の画像復号方法をコンピュータに実行させるためのプログラム。