JP7514107B2 - 画像符号化装置、画像復号装置及びこれらのプログラム - Google Patents

Description

本発明は、画面内予測を用いる画像符号化装置、画像復号装置及びこれらのプログラムに関する。

従来の画像符号化装置及び画像復号装置において、例えばＨＥＶＣ（High Efficiency Video Coding）やＶＶＣ（Versatile Video Coding）等のブロックベース符号化における画面内予測を用いた符号化・復号処理がよく知られている。従来の画面内予測は、近接画素間の相関関係を利用して符号化効率を向上させるために、復号済みの画素値を用いている。

ただし、従来の画面内予測は、近傍画素間で画素値が似ていることを仮定した処理であるため、予測ブロック内と被予測ブロック内のオブジェクトの鮮鋭度が大きく異なる場合には、符号化効率が大幅に低下する。この場合の一例としては、同一又は類似のオブジェクトが、予測ブロック内ではカメラレンズの被写界深度内、被予測ブロック内では被写界深度外に存在する場合が挙げられる。

尚、画像を高圧縮伝送するために、画像符号化装置側で符号化対象の画像に対し、特定周波数以上の成分をカットオフするローパスフィルタを適用し画像サイズを縮小してから符号化し、画像復号装置側で超解像処理を施す技術が開示されている（例えば、特許文献１参照）。特許文献１における超解像処理では、画像の複雑さを示すパラメータを基に拡大係数を設定するとともに最適な折り返し周波数を設定するものとなっている。

特許第６３４４８００号明細書

上述したように、例えばＨＥＶＣやＶＶＣ等のブロックベース符号化における画面内予測の従来法では、近接画素間の相関関係を利用して符号化効率を向上させるために、復号済みの画素値を用いている。ただし近傍画素間で画素値が似ていることを仮定した処理であるため、予測ブロック内と被予測ブロック内のオブジェクトの鮮鋭度が大きく異なる場合には、符号化効率が大幅に低下するという課題がある。

一方で、特許文献１に開示される技法では、画像符号化装置側で、例えば画面内予測で画像を高圧縮伝送する際に、予測ブロック内と被予測ブロック内のオブジェクトの鮮鋭度が類似している場合にも関わらず、常に、特定周波数以上の成分をカットオフするローパスフィルタを適用した画像を参照画像とすることになるため、不所望に鮮鋭度が劣化し、符号化効率の観点からは好ましくない。

そこで、本発明の目的は、上述の問題に鑑みて、より符号化効率の優れた画面内予測を用いる画像符号化装置、画像復号装置及びこれらのプログラムを提供することにある。

本発明の画像符号化装置は、画面内予測を用いてフレーム画像を符号化する画像符号化装置であって、符号化対象のフレーム画像における被予測ブロックの信号と、前記画面内予測による予測ブロックの信号とを差分して差分信号を形成し、前記差分信号に対して直交変換処理及び量子化処理を施して符号化信号を生成するブロック符号化手段と、前記符号化信号に対し前記直交変換処理及び量子化処理の逆処理を施し、前記画面内予測による予測ブロックの信号を加算して局部復号ブロックの信号を生成する局部復号ブロック生成手段と、前記局部復号ブロックの信号に基づいて、ｍ（ｍ≧１の正の整数）種類の超解像ブロック及びｎ（ｎ≧１の正の整数）種類のぼやけブロックの信号の双方を生成する参照ブロック生成手段と、複数の前記局部復号ブロックの信号からなる局部復号ブロックセットと、複数の前記超解像ブロックの信号からなるｍ種の超解像ブロックセットと、複数の前記ぼやけブロックの信号からなるｎ種のぼやけブロックセットの合計１＋ｍ＋ｎ種類をそれぞれ参照ブロックセットとして選択して用い、ブロック単位で画面内予測を実行する画面内予測手段と、前記画面内予測を経て得られるＲＤ（Rate Distortion）コストが最小となる参照ブロックセットを選択決定し、前記ＲＤコストが最小となる参照ブロックセットを用いた画面内予測によるブロック単位の符号化信号にエントロピー符号化を施し、ビットストリームを生成するエントロピー符号化手段と、を備えることを特徴とする。

また、本発明の画像符号化装置において、前記参照ブロック生成手段は、前記局部復号ブロックの信号に多重解像度分解を施して低周波成分と高周波成分に分解し、その多重解像度分解した階層間で低周波成分の位置合わせを行い、高次階層における位置合わせされた低周波成分と、その同位相位置の高周波成分は同階層内で類似するものと仮定して、前記低周波成分に対応する高周波成分の割り付けを行う際に、水平・垂直・対角高周波帯域で個別に少なくとも分散値を設定可能とするｍ種類の点広がり関数に基づく畳み込み処理を適用しながら、前記低周波成分に対応する高周波成分の割り付けを行い、前記低周波成分と割り付け後の前記高周波成分からなる当該多重解像度分解された各階層を合成して再構成することにより前記ｍ種類の超解像ブロックを生成する超解像ブロック生成手段を備えることを特徴とする。

また、本発明の画像符号化装置において、前記参照ブロック生成手段は、前記局部復号ブロックの信号に多重解像度分解を施して低周波成分と高周波成分に分解し、その多重解像度分解した高周波成分に対して水平・垂直・対角高周波帯域で個別に減衰係数を設定可能とするｎ種類の帯域制限フィルタを適用し、該多重解像度分解した前記低周波成分と帯域制限フィルタの処理後の高周波成分からなる当該多重解像度分解された各階層を合成して再構成することにより、前記ｎ種類のぼやけブロックの信号を生成するぼやけブロック生成手段を備えることを特徴とする。

また、本発明の画像符号化装置において、前記参照ブロック生成手段は、前記局部復号ブロックのブロックサイズが所定サイズ以内の場合のみ、前記ｍ種類の超解像ブロックを生成するように制御する手段を有することを特徴とする。

また、本発明の画像符号化装置において、前記エントロピー符号化手段は、選択決定した前記参照ブロックセットを示す情報を前記符号化信号に対応する符号化パラメータに含めてビットストリームを生成する手段を有することを特徴とする。

更に、本発明の画像復号装置は、本発明の画像符号化装置によって生成されたビットストリームを入力し、復号処理を行ってフレーム画像を復元する画像復号装置であって、前記ビットストリームに対してエントロピー復号を施して前記画像符号化装置によって生成された符号化信号及び符号化パラメータを抽出し、抽出した前記符号化パラメータを基に、前記画像符号化装置による量子化処理及び直交変換処理の逆処理を前記符号化信号に施し、第２の画面内予測による予測ブロックの信号を加算して復号ブロックの信号を生成する復号ブロック生成手段と、前記復号ブロックの信号を基に、ｍ種類の超解像ブロック及びｎ種類のぼやけブロックの信号の双方を生成する参照ブロック生成手段と、複数の前記局部復号ブロックの信号からなる局部復号ブロックセットと、複数の該超解像ブロックの信号からなるｍ種の超解像ブロックセットと、複数の該ぼやけブロックの信号からなるｎ種のぼやけブロックセットの合計１＋ｍ＋ｎ種類をそれぞれ第２の参照ブロックセットとし、前記符号化パラメータによって指定される当該第２の参照ブロックセットを用いて、ブロック単位で前記第２の画面内予測を実行する第２の画面内予測手段と、前記第２の画面内予測による復号ブロックの信号を基にフレーム画像を復元する出力制御手段と、を備えることを特徴とする。

更に、本発明のプログラムは、コンピュータを、本発明の画像符号化装置として機能させるためのプログラムとして構成する。

更に、本発明のプログラムは、コンピュータを、本発明の画像復号装置として機能させるためのプログラムとして構成する。

本発明によれば、符号化対象のフレーム画像に対し画面内予測を用いて符号化を実行する際に、予測ブロック内と被予測ブロック内のオブジェクト間で鮮鋭度が異なる場合や類似する場合のいずれにおいても、画像符号化の符号化効率を向上させることができる。

本発明による一実施例の画像符号化装置の概略構成を示すブロック図である。 本発明による一実施例の画像符号化装置における画像符号化処理を示すフローチャートである。 （ａ）乃至（ｆ）は、それぞれ本発明による一実施例の画像符号化装置における超解像ブロックの生成処理の説明図である。 （ａ）乃至（ｄ）は、それぞれ本発明による一実施例の画像符号化装置におけるぼやけブロックの信号の生成処理の説明図である。 本発明による一実施例の画像復号装置の概略構成を示すブロック図である。 本発明による一実施例の画像復号装置における画像復号処理を示すフローチャートである。

以下、図面を参照して、本発明による一実施例の画像符号化装置、及び画像復号装置について、順に説明する。

〔画像符号化装置〕
（全体構成）
図１は、本発明による一実施例の画像符号化装置１の概略構成を示すブロック図である。画像符号化装置１は、ブロックベース符号化（本例では、ＨＥＶＣ）により、符号化対象のフレーム画像に対し画面内予測を行う装置として構成され、減算部１０、直交変換部１１、量子化部１２、逆量子化部１３、逆直交変換部１４、加算部１５、超解像ブロック生成部１６、ぼやけブロック生成部１７、画面内予測部１８、及びエントロピー符号化部１９を備える。

減算部１０は、符号化対象のフレーム画像をブロックベース符号化に基づく画面内予測のブロック（本例では、ＨＥＶＣに基づくＣＵ(Coding Unit)）単位で入力し、当該符号化対象のフレーム画像における被予測ブロックの信号と、画面内予測部１８から得られる対応する予測ブロックの信号とを差分して差分信号を形成し、直交変換部１１に出力する。

直交変換部１１は、減算部１０から得られる差分信号に対して直交変換係数に基づく周波数変換（例えば、ＤＣＴ（Discrete Cosine. Transform）変換）を施し、量子化部１２に出力する。

量子化部１２は、直交変換部１１から得られる直交変換係数の信号に対して量子化処理を施し、逆量子化部１３に出力する。これにより、符号化対象のフレーム画像における原信号のブロックに対し画面内予測部１８から得られる予測ブロックの信号を差分して得られる差分信号について直交変換及び量子化処理を施した符号化信号が生成される。

即ち、減算部１０、直交変換部１１、及び量子化部１２は、符号化対象のフレーム画像における被予測ブロックの信号と、後述する画面内予測部１６による予測ブロックの信号とを差分して差分信号を形成し、その差分信号に対して直交変換及び量子化処理を施して符号化信号を生成するブロック符号化手段として機能する。

逆量子化部１３は、量子化部１２から得られる符号化信号としての直交変換係数の信号の量子化値に対して量子化部１２の逆処理を施して、直交変換係数の信号を復元し、逆直交変換部１４に出力する。

逆直交変換部１４は、逆量子化部１３から得られる直交変換係数の信号に対して直交変換部１１の逆処理を施して差分信号を復元し、加算部１５に出力する。

加算部１５は、逆直交変換部１４から得られる差分信号と、後述する画面内予測部１８から得られる対応する予測ブロックの信号とを加算して局部復号ブロックの信号を生成し、超解像ブロック生成部１６、ぼやけブロック生成部１７、及び画面内予測部１８に出力する。

即ち、逆量子化部１３、逆直交変換部１４、及び加算部１５は、量子化部１２から得られる符号化信号に対し量子化部１２及び直交変換部１１の逆処理を施し、後述する画面内予測部１８から得られる対応する予測ブロックの信号を加算して局部復号ブロックの信号を生成する局部復号ブロック生成手段として機能する。

超解像ブロック生成部１６は、詳細は後述するが、まず、加算部１５によって生成した局部復号ブロックの信号について多重解像度分解を行って低周波成分と高周波成分に分解する。そして、超解像ブロック生成部１６は、多重解像度分解した階層間で低周波成分の位置合わせを行い、高次階層（本例では２階成分の階層）における位置合わせされた低周波成分と、その同位相位置の高周波成分は同階層内で類似するものと仮定して、低周波成分に対応する高周波成分の割り付けを行い、この割り付けの際に高周波成分のパワーにおける強調されすぎた成分を抑制するために、ｍ（ｍ≧１の正の整数）種類の点広がり関数に基づく畳み込み処理を適用する。最終的に、超解像ブロック生成部１６は、低周波成分と割り付け後の高周波成分からなる各階層を合成して再構成することによりｍ種類の超解像ブロックを生成し、画面内予測部１８に出力する。

ぼやけブロック生成部１７は、詳細は後述するが、まず、加算部１５によって生成した局部復号ブロックの信号について多重解像度分解を行って低周波成分と高周波成分に分解する。そして、ぼやけブロック生成部１７は、多重解像度分解した高周波成分に対してそのパワーを減衰させるｎ（ｎ≧１の正の整数）種類の帯域制限フィルタを適用し、多重解像度分解した低周波成分と帯域制限フィルタの処理後の高周波成分からなる各階層を合成して再構成することによりｎ種類のぼやけブロックの信号を生成し、画面内予測部１８に出力する。

また、超解像ブロック生成部１６及びぼやけブロック生成部１７における多重解像度分解の処理は、多くを共通化できるため、ｍ種類の超解像ブロックとｎ種類のぼやけブロックの信号を一括して生成する計算処理とすることもできる。更に、本実施例では、局部復号ブロックの信号を用いて、ｍ種類の超解像ブロックと、ｎ種類のぼやけブロックの信号の双方を生成する例を好適例として説明するが、ｍ種類の超解像ブロックと、ｎ種類のぼやけブロックの信号のいずれか一方のみを生成する形態とすることもできる。

即ち、超解像ブロック生成部１６及びぼやけブロック生成部１７は、局部復号ブロックの信号を基に、ｍ（ｍ≧１の正の整数）種類の超解像ブロック及びｎ（ｎ≧１の正の整数）種類のぼやけブロックの信号のいずれか一方又は双方を生成する参照ブロック生成手段として機能する。

尚、本実施例の画像符号化装置１において、上述した超解像ブロック生成部１６については、画面内予測部１８の被予測対象ブロックのブロックサイズ、即ち局部復号ブロックのブロックサイズ（面積）が所定サイズ以内（一例として、縦×横として４×４以上、３２×３２未満のブロックサイズ）の場合のみ、ｍ種類の超解像ブロックを生成するように制御する構成とするのが好適であり、これにより本実施例の画像符号化装置１における各処理の精度や処理速度を高めることができる。

画面内予測部１８は、加算部１５、超解像ブロック生成部１６、及びぼやけブロック生成部１７の各々から得られる各ブロックの信号を一時記憶し、近接ブロック間の相関関係を利用して次の予測ブロックの信号を生成する画面内予測を実行する際に、復号済みの複数の局部復号ブロックの信号からなる局部復号ブロックセット、並びに、ｍ種とする各種の点広がり関数に基づく畳み込み処理済みの複数の超解像ブロックの信号からなるｍ種の超解像ブロックセットと、ｎ種とする各種の帯域制限フィルタ処理済みの複数のぼやけブロックの信号からなるｎ種のぼやけブロックセットのいずれか一方、又は双方をそれぞれ参照ブロックセットとして選択する参照ブロック選択部１８１を有している。

そして、画面内予測部１８は、加算部１５、超解像ブロック生成部１６、及びぼやけブロック生成部１７の各々から得られる局部復号ブロックセット、並びに、ｍ種の超解像ブロックセットと、ｎ種のぼやけブロックセットのいずれか一方、又は双方をそれぞれ参照ブロックセットとして用いて、ブロック単位で画面内予測を実行し、参照ブロックセットとして用いたそれぞれの予測ブロックの信号を生成し減算部１０に出力する。

また、画面内予測部１８は、局部復号ブロックセット、ｍ種の超解像ブロックセット、及びｎ種のぼやけブロックセットの各々の参照ブロックセットを用いた画面内予測による符号化信号の補助情報（画面内予測に係るブロックサイズ及び参照領域情報、いずれの参照ブロックセットを選択して用いた画面内予測であるかを示す参照ブロック選択情報等）をエントロピー符号化部１９に出力する。この補助情報は、量子化部１２における量子化値設定情報や、直交変換部１２における直交変換係数情報及び直交変換係数に係る関連設定情報等とともに、符号化パラメータとして構成される。

続いて、減算部１０は、当該符号化対象のフレーム画像における被予測ブロックの信号（原信号）と、画面内予測部１８から得られる対応する各参照ブロックセットを用いた予測ブロックの信号とを差分してそれぞれの差分信号を形成し、直交変換部１１に出力する。そして、直交変換部１１は、減算部１０から得られるそれぞれの差分信号に対して直交変換係数に基づく周波数変換を施し、量子化部１２に出力する。量子化部１２は、直交変換部１１から得られるそれぞれの直交変換係数の信号に対して量子化処理を施し、各参照ブロックセットを用いたそれぞれの符号化信号としてエントロピー符号化部１９に出力する。

エントロピー符号化部１９は、ＲＤコスト算出・参照ブロック決定部１９１を有している。ＲＤコスト算出・参照ブロック決定部１９１は、量子化部１２から得られる各参照ブロックセットを用いたそれぞれの符号化信号についてエントロピー符号化処理（本例では、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Cording）による算術符号化）を施し、ブロック単位（本例では、ＣＵ単位）の符号化信号について、その符号化信号の歪と算術符号化によるビットレートとの比から表されるＲＤコストを算出し、ＲＤコストが最小となる参照ブロックセットの符号化信号を選択決定する。

最終的に、エントロピー符号化部１９は、選択決定した参照ブロックセットの符号化信号と符号化パラメータ（画面内予測による符号化信号の補助情報、量子化値設定情報、直交変換係数情報及び直交変換係数に係る関連設定情報等）についてそれぞれエントロピー符号化を施したビットストリームを生成して、後述する画像復号装置２に向けて伝送する。尚、選択決定した参照ブロックセットはブロック単位（本例では、ＣＵ単位）の符号化信号のシンタックスとして生成される。

（画像符号化処理）
図２は、本発明による一実施例の画像符号化装置１における画像符号化処理を示すフローチャートである。

本実施例の画像符号化装置１は、符号化対象のフレーム画像を入力し、符号化対象のフレーム画像に対するブロック単位の画面内予測を実行するために、局部復号ブロックを生成する（ステップＳ１）。

続いて、本実施例の画像符号化装置１は、局部復号ブロックを用いて、ｍ種（ｍ≧１）の超解像ブロックと、 ｎ種（ｎ≧１）のぼやけブロックのいずれか一方、又は双方を生成する（ステップＳ２）。

続いて、本実施例の画像符号化装置１は、局部復号ブロックセット、並びに、ｍ種の超解像ブロックセットと、ｎ種のぼやけブロックセットのいずれか一方、又は双方をそれぞれ参照ブロックセットとして用いて、 ブロック単位で、画面内予測を実行する（ステップＳ３）。

続いて、本実施例の画像符号化装置１は、参照ブロックセット毎の画面内予測についてＲＤコストを算出し、ＲＤコストが最小となる参照ブロックセットを選択決定する（ステップＳ４）。

続いて、本実施例の画像符号化装置１は、選択決定した参照ブロックセットに対応する符号化信号と符号化パラメータについてそれぞれエントロピー符号化を施したビットストリームを生成する（ステップＳ５）。

ここで、超解像ブロック生成部１６、及びぼやけブロック生成部１７における各処理の一例について順に説明する。

（超解像ブロックの生成処理）
図３（ａ）乃至（ｆ）は、それぞれ本発明による一実施例の画像符号化装置１における超解像ブロックの生成処理の説明図である。

まず、図３（ａ）に示すように、超解像ブロック生成部１６は、局部復号ブロックＵの信号を入力する。

続いて、超解像ブロック生成部１６は、局部復号ブロックＵの信号について多重解像度分解として、ｐ階（ｐ≧２とし、本例ではｐ＝２）ウェーブレット分解を行う。まずは、図３（ｂ）に示すように、局部復号ブロックＵの信号について１階ウェーブレット分解することで、１階の空間低周波数帯域ＬＬ^１、水平高周波数帯域ＬＨ^１、垂直高周波数帯域ＨＬ^１、及び対角（水平・垂直）高周波数帯域ＨＨ^１の各周波数帯域群に分解された１階分解成分Ｕ^１が得られる。また、図３（ｃ）に示すように、１階ウェーブレット分解した空間低周波帯域ＬＬ^１を更にウェーブレット分解することで、２階の空間低周波数帯域ＬＬ^２、水平高周波数帯域ＬＨ^２、垂直高周波数帯域ＨＬ^２、及び対角（水平・垂直）高周波数帯域ＨＨ^２の各周波数帯域群に分解された２階分解成分Ｕ^２が得られる。

続いて、超解像ブロック生成部１６は、図３（ｂ）及び図３（ｃ）に示すように、１階ウェーブレット分解した空間低周波帯域ＬＬ^１を小ブロック領域ＬＬ^１_ＢＫに分割して、或る小ブロック領域ＬＬ^１_ＢＫについて、多重解像度分解した階層間において低周波成分が類似するものと仮定して、２階分解成分Ｕ^２における空間低周波帯域ＬＬ^２へブロックマッチングに基づく位置合わせを行い、対応する小ブロック領域ＬＬ^２_ＢＫを決定する。

続いて、超解像ブロック生成部１６は、図３（ｄ）に示すように、空間低周波帯域ＬＬ^２における小ブロック領域ＬＬ^２_ＢＫについて、それぞれ同位相の空間高周波帯域｛ＬＨ^２，ＨＬ^２，ＨＨ^２｝内の成分位置ＬＨ^２_ＢＫ，ＨＬ^２_ＢＫ，ＨＨ^２_ＢＫを検出する。

続いて、超解像ブロック生成部１６は、図３（ｄ）及び図３（ｅ）に示すように、ＬＬ^１に対して位置合わせされた箇所の成分と同じ位相位置の空間高周波帯域｛ＬＨ^２，ＨＬ^２，ＨＨ^２｝内の成分は、同位相位置の空間高周波帯域｛ＬＨ^１，ＨＬ^１，ＨＨ^１｝内の成分と類似するものと仮定して、低周波成分ＬＬ^１に対応する高周波成分｛ＬＨ^１，ＨＬ^１，ＨＨ^１｝として、高周波成分のパワーにおける強調されすぎた成分を抑制するために、ｍ（ｍ≧１の正の整数）種類の点広がり関数に基づく畳み込み処理を適用しながら、高周波成分の各小ブロック領域ＬＨ^１_ＢＫ，ＨＬ^１_ＢＫ，ＨＨ^１_ＢＫの割り付けを行うことで、１階分解成分Ｕ^１’を再構成する。ここで、畳み込み処理として超解像ブロック生成用の縦横サイズｉ×ｊ、分散値σのガウシアンフィルタを用いるのが好適であり、縦横サイズｉ×ｊと分散値σのいずれか一方又は双方を変数としたｍ種類のガウシアンフィルタを用いることができる。更に、高周波成分｛ＬＨ^１，ＨＬ^１，ＨＨ^１｝毎に異なる分散値σを用いることができるガウシアンフィルタとするのが本発明に係る画面内予測用の畳み込み処理として有効であり、例えば、ｉ×ｊは３×３で固定とし、高周波成分｛ＬＨ^１，ＨＬ^１，ＨＨ^１｝に対し分散値σとして｛０．１，０．５，１．０｝，｛０．１，０．５，２．０｝，…とするなどの複数種類を用意することで、ｍ種類とすることができる。

最終的に、超解像ブロック生成部１６は、ｍ種類の点広がり関数に基づく畳み込み処理毎に、以上の位置合わせと割り付けを全ての小ブロック領域ＬＬ^１_ＢＫについて行った後、図３（ｆ）に示すように、ウェーブレット再構成することで、ｍ種類の超解像ブロックＵ’の信号を生成する。ｐ≧３として、より精度よく位置合わせと割り付けを行うようにしてもよい。

（ぼやけブロックの信号の生成処理）
図４（ａ）乃至（ｄ）は、それぞれ本発明による一実施例の画像符号化装置１におけるぼやけブロックの信号の生成処理の説明図である。

まず、図４（ａ）に示すように、ぼやけブロック生成部１７は、局部復号ブロックＵの信号を入力する。

続いて、ぼやけブロック生成部１７は、局部復号ブロックＵの信号について多重解像度分解として、ｑ階（ｑ≧１とし、本例ではｑ＝１）ウェーブレット分解を行う。まずは、図４（ｂ）に示すように、局部復号ブロックＵの信号について１階ウェーブレット分解することで、１階の空間低周波数帯域ＬＬ^１、水平高周波数帯域ＬＨ^１、垂直高周波数帯域ＨＬ^１、及び対角（水平・垂直）高周波数帯域ＨＨ^１の各周波数帯域群に分解された１階分解成分画像Ｆ^１が得られる。

続いて、ぼやけブロック生成部１７は、図４（ｃ）に示すように、空間高周波帯域｛ＬＨ^１，ＨＬ^１，ＨＨ^１｝内の成分に、高周波成分のパワーを減衰させるｎ（ｎ≧１の正の整数）種類の帯域制限フィルタを適用し、１階分解成分Ｕ^１''を再構成する。ここで、帯域制限フィルタとしてぼやけブロックの信号生成用の縦横サイズｉ×ｊ、減衰係数γの帯域制限フィルタを用いるのが好適であり、縦横サイズｉ×ｊと減衰係数γのいずれか一方又は双方を変数とし、ｎ種類の帯域制限フィルタを用いることができる。更に、高周波成分｛ＬＨ^１，ＨＬ^１，ＨＨ^１｝毎に異なる減衰係数γを用いることができる帯域制限フィルタとするのが本発明に係る画面内予測用の帯域制限フィルタ処理として有効であり、例えば、ｉ×ｊは３×３で固定とし、高周波成分｛ＬＨ^１，ＨＬ^１，ＨＨ^１｝に対し減衰係数γとして｛０．９，０．８，０．７｝，｛０．９，０．８，０．９｝，…とするなどの複数種類を用意することで、ｎ種類とすることができる。

最終的に、ぼやけブロック生成部１７は、ｎ種類の帯域制限フィルタ処理毎に、図４（ｄ）に示すように、ウェーブレット再構成することで、ｎ種類のぼやけブロックＵ''の信号を生成する。

このように、本実施例の画像符号化装置１は、符号化対象のフレーム画像に対するブロック単位の画面内予測を実行するために、生成した局部復号ブロックの信号と、その局部復号ブロックの信号を基に生成したｍ種類の超解像ブロック及びｎ種類のぼやけブロックの信号のいずれか一方又は双方とをそれぞれ参照ブロックセットとして用いて、画面内予測を行う。ここで、本実施例の画像符号化装置１において、各参照ブロックセットを用いてＣＵ単位の画面内予測を行い、ＲＤコストが最小となる参照ブロックセットを選択決定し、選択決定した参照ブロックセットを示す参照ブロック選択情報を当該ＣＵのシンタックスとして生成する。そして、本実施例の画像符号化装置１は、ＲＤコストが最小となる参照ブロックセットを用いた画面内予測による符号化信号と、その符号化信号の生成に対応する符号化パラメータ（参照ブロック選択情報、画面内予測に係るブロックサイズ及び参照領域情報等）を伝送用に生成し、エントロピー符号化（例えば算術符号化）を施したビットストリームを生成して画像復号装置２に向けて伝送する。

〔画像復号装置〕
（全体構成）
図５は、本発明による一実施例の画像復号装置２の概略構成を示すブロック図である。画像復号装置２は、エントロピー復号部２０、逆量子化部２１、逆直交変換部２２、加算部２３、超解像ブロック生成部２４、ぼやけブロック生成部２５、画面内予測部２６、及び出力制御部２７を備える。

エントロピー復号部２０は、画像符号化装置１から伝送されるビットストリームを入力し、エントロピー復号処理を施すことにより、符号化信号及び符号化パラメータを抽出し、符号化信号については逆量子化部２１に、符号化パラメータについては各機能部に出力する。特に、エントロピー復号部２０は、当該符号化パラメータに含まれる画面内予測による符号化信号の補助情報については画面内予測部２６に出力する。

逆量子化部２１は、エントロピー復号部２０から得られる符号化信号である直交変換係数の信号の量子化値に対して画像符号化装置１の量子化部１２の逆処理を施して、直交変換係数の信号を復元し、逆直交変換部２２に出力する。

逆直交変換部２２は、逆量子化部２１から得られる直交変換係数の信号に対して画像符号化装置１の直交変換部１１の逆処理を施して差分信号を復元し、加算部２３に出力する。

加算部２３は、逆直交変換部２２から得られる差分信号と、画面内予測部２６から得られる対応する予測ブロックとを加算して復号ブロックの信号を生成し、超解像ブロック生成部２４、ぼやけブロック生成部２５、画面内予測部２６、及び出力制御部２７に出力する。

即ち、エントロピー復号部２０、逆量子化部２１、逆直交変換部２２、及び加算部２３は、画像符号化装置１から得られるビットストリームに対してエントロピー復号を施して画像符号化装置１によって生成された符号化信号及び符号化パラメータを抽出し、抽出した符号化パラメータを基に、その符号化信号に対し画像符号化装置１による量子化処理及び直交変換処理の逆処理を施し、画面内予測部２６による予測ブロックの信号を加算して復号ブロックの信号を生成する復号ブロック生成手段として機能する。

超解像ブロック生成部２４は、上述した超解像ブロック生成部１６と同様に動作し、まず、加算部２３によって生成した復号ブロックの信号について多重解像度分解を行って低周波成分と高周波成分に分解する。そして、超解像ブロック生成部２４は、多重解像度分解した階層間で低周波成分の位置合わせを行い、高次階層（本例では２階成分の階層）における位置合わせされた低周波成分と、その同位相位置の高周波成分は同階層内で類似するものと仮定して、低周波成分に対応する高周波成分の割り付けを行い、この割り付けの際に高周波成分のパワーにおける強調されすぎた成分を抑制するために、ｍ（ｍ≧１の正の整数）種類の点広がり関数に基づく畳み込み処理を適用する。最終的に、超解像ブロック生成部２４は、低周波成分と割り付け後の高周波成分からなる各階層を合成して再構成することによりｍ種類の超解像ブロックを生成し、画面内予測部２６に出力する。

ぼやけブロック生成部２５は、上述したぼやけブロック生成部１７と同様に動作し、まず、加算部２３によって生成した復号ブロックの信号について多重解像度分解を行って低周波成分と高周波成分に分解する。そして、ぼやけブロック生成部２５は、多重解像度分解した高周波成分に対してそのパワーを減衰させるｎ（ｎ≧１の正の整数）種類の帯域制限フィルタを適用し、多重解像度分解した低周波成分と帯域制限フィルタの処理後の高周波成分からなる各階層を合成して再構成することによりｎ種類のぼやけブロックの信号を生成し、画面内予測部２６に出力する。

また、超解像ブロック生成部２４及びぼやけブロック生成部２５における多重解像度分解の処理は、多くを共通化できるため、ｍ種類の超解像ブロックとｎ種類のぼやけブロックの信号を一括して生成する計算処理とすることもできる。更に、本実施例では、局部復号ブロックの信号を用いて、ｍ種類の超解像ブロックと、ｎ種類のぼやけブロックの信号の双方を生成する例を好適例として説明するが、ｍ種類の超解像ブロックと、ｎ種類のぼやけブロックの信号のいずれか一方のみを生成する形態とすることもできる。

即ち、超解像ブロック生成部２４及びぼやけブロック生成部２５は、復号ブロックの信号を基に、ｍ種類の超解像ブロック及びｎ種類のぼやけブロックの信号のいずれか一方又は双方を生成する参照ブロック生成手段として機能する。

尚、本実施例の画像復号装置２において、上述した超解像ブロック生成部２４については、画面内予測部２６の被予測対象ブロックのブロックサイズ、即ち復号ブロックのブロックサイズ（面積）が所定サイズ以内（一例として、縦×横として４×４以上、３２×３２未満のブロックサイズ）の場合のみ、ｍ種類の超解像ブロックを生成するように制御する構成とするのが好適であり、これにより本実施例の画像復号装置２における各処理の精度や処理速度を高めることができる。

画面内予測部２６は、加算部２３、超解像ブロック生成部２４、及びぼやけブロック生成部２５の各々から得られる各ブロックの信号を一時記憶し、近接ブロック間の相関関係を利用して次の予測ブロックの信号を生成する画面内予測を実行する際に、復号済みの複数の復号ブロックの信号からなる局部復号ブロックセット、並びに、ｍ種とする各種の点広がり関数に基づく畳み込み処理済みの複数の超解像ブロックの信号からなるｍ種の超解像ブロックセットと、ｎ種とする各種の帯域制限フィルタ処理済みの複数のぼやけブロックの信号からなるｎ種のぼやけブロックセットのいずれか一方、又は双方をそれぞれ参照ブロックセットとして選択する参照ブロック選択部２６１を有している。

そして、画面内予測部２６は、伝送された符号化信号の符号化パラメータ（画像符号化装置１側の画面内予測に係るブロックサイズ及び参照領域情報、いずれの参照ブロックセットを選択して用いた画面内予測であるかを示す参照ブロック選択情報等）を基に、指定された参照ブロックセットを用いて画面内予測を行い、予測ブロックの信号を生成し加算部２３に出力する。

続いて、加算部２３は、逆直交変換部２２から得られていた差分信号と、画面内予測部２３から得られる対応する予測ブロックとを加算して復号ブロックの信号を生成し、出力制御部２７に出力する。

出力制御部２７は、加算部２３から得られる復号ブロックの信号を入力してフレーム画像を復元し、その画像信号を図示しないディスプレイや記録部に外部出力する。

（画像復号処理）
図６は、本発明による一実施例の画像復号装置２における画像復号処理を示すフローチャートである。

本実施例の画像復号装置２は、ビットストリームを入力してエントロピー復号を施し、符号化信号及び符号化パラメータを抽出して、抽出した符号化パラメータを基に、符号化信号の復号のために、復号ブロックの信号を生成する（ステップＳ１１）。

続いて、本実施例の画像復号装置２は、復号ブロックの信号を用いて、ｍ種（ｍ≧１）の超解像ブロックと、ｎ種（ｎ≧１）のぼやけブロックの信号のいずれか一方、又は双方を生成する（ステップＳ１２）。

続いて、本実施例の画像復号装置２は、復号済みの複数の復号ブロックの信号からなる局部復号ブロックセット、並びに、ｍ種とする各種の点広がり関数に基づく畳み込み処理済みの複数の超解像ブロックの信号からなるｍ種の超解像ブロックセットと、ｎ種とする各種の帯域制限フィルタ処理済みの複数のぼやけブロックの信号からなるｎ種のぼやけブロックセットのいずれか一方、又は双方のうち、符号化パラメータによって指定される参照ブロックセットを用いて、ブロック単位（本例では、ＣＵ）単位の画面内予測（画像符号化装置１における画面内予測に対応する。）を実行する（ステップＳ１３）。

続いて、本実施例の画像復号装置２は、画面内予測による復号ブロックの信号を基に、フレーム画像を復元する（ステップＳ１４）。

このように、本実施例の画像復号装置２は、超解像ブロック及びぼやけブロックの信号の生成に係るパラメータを本発明に係る画像符号化装置１と共有し、本発明に係る画像符号化装置１から伝送された符号化パラメータを用いて、伝送された符号化信号を復号する。

これにより、本実施例の画像符号化装置１及び画像復号装置２は、画面内予測を用いた符号化・復号処理を実行する際に、従来のブロックベース符号化（本例では、ＨＥＶＣ）により生成される局部復号ブロック（受信側では復号ブロックと称している。）の信号と、超解像ブロックとぼやけブロックの信号のいずれか一方又は双方とを含む複数種類の参照ブロックセットを用いるので、予測ブロック内と被予測ブロック内のオブジェクト間で鮮鋭度が異なる場合や類似する場合のいずれにおいても、画像符号化の符号化効率を向上させることができる。

ところで、図１に示す画像符号化装置１において、いずれの参照ブロックセットを選択して用いた画面内予測であるかを示す参照ブロック選択情報を画像復号装置２に伝送せずに、既存の画像復号装置（即ち、図５に示す画像復号装置２において、超解像ブロック生成部２４、ぼやけブロック生成部２５、及び参照ブロック選択部２６１を有していない画像復号装置）に向けて符号化信号を伝送する形態としてもよい。ただし、図５に示す画像復号装置２のように、既存の画像復号装置と比較して超解像ブロック生成部２４、ぼやけブロック生成部２５、及び参照ブロック選択部２６１を有するものとするのが好適である。即ち、画像符号化装置１において原信号との比較で最適として選択された参照ブロックセットが分かることから、画像復号装置２においても参照ブロック選択情報に基づいて選択する参照ブロックセットを形成し画像復号装置２側の画面内予測によりフレーム画像を復元することで、不所望に鮮鋭度が劣化するのをより抑圧させることができる。

上述した実施例に関して、コンピュータを画像符号化装置１として機能させ、画像符号化装置１の各手段を機能させるためのプログラム、或いはコンピュータを画像復号装置２として機能させ、画像復号装置２の各手段を機能させるためのプログラムを好適に用いることができる。具体的には、各手段を制御するための制御部をコンピュータ内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各手段を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピュータに、ＣＰＵによって該プログラムを実行させることにより、上述した各手段の有する機能を実現させることができる。また、上述した各手段をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。例えば、上述した実施例では、ＨＥＶＣに基づくＣＵ単位を当該ブロック単位とする例を説明したが、ＡＶＣに基づくマクロブロックとしてもよいし、現在検討されているＶＶＣに基づくブロックとしてもよい。また、上述した実施例ではＣＡＢＡＣにより算術符号化するとして説明したが、その他の算術符号化によるエントロピー符号化を用いてもよい。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明によれば、予測ブロック内と被予測ブロック内のオブジェクト間で鮮鋭度が異なる場合や類似する場合のいずれにおいても、画像符号化の符号化効率を向上させることができるので、画面内予測を用いる符号化・復号処理の用途に有用である。

１ 画像符号化装置
２ 画像復号装置
１０ 減算部
１１ 直交変換部
１２ 量子化部
１３ 逆量子化部
１４ 逆直交変換部
１５ 加算部
１６ 超解像ブロック生成部
１７ ぼやけブロック生成部
１８ 画面内予測部
１９ エントロピー符号化部
２０ エントロピー復号部
２１ 逆量子化部
２２ 逆直交変換部
２３ 加算部
２４ 超解像ブロック生成部
２５ ぼやけブロック生成部
２６ 画面内予測部
２７ 出力制御部
１８１ 参照ブロック選択部
１９１ ＲＤコスト算出・参照ブロック決定部
２６１ 参照ブロック選択部

Claims (8)

1. 画面内予測を用いてフレーム画像を符号化する画像符号化装置であって、
   符号化対象のフレーム画像における被予測ブロックの信号と、前記画面内予測による予測ブロックの信号とを差分して差分信号を形成し、前記差分信号に対して直交変換処理及び量子化処理を施して符号化信号を生成するブロック符号化手段と、
   前記符号化信号に対し前記直交変換処理及び量子化処理の逆処理を施し、前記画面内予測による予測ブロックの信号を加算して局部復号ブロックの信号を生成する局部復号ブロック生成手段と、
   前記局部復号ブロックの信号に基づいて、ｍ（ｍ≧１の正の整数）種類の超解像ブロック及びｎ（ｎ≧１の正の整数）種類のぼやけブロックの信号の双方を生成する参照ブロック生成手段と、
   複数の前記局部復号ブロックの信号からなる局部復号ブロックセットと、複数の前記超解像ブロックの信号からなるｍ種の超解像ブロックセットと、複数の前記ぼやけブロックの信号からなるｎ種のぼやけブロックセットの合計１＋ｍ＋ｎ種類をそれぞれ参照ブロックセットとして選択して用い、ブロック単位で画面内予測を実行する画面内予測手段と、
   前記画面内予測を経て得られるＲＤ（Rate Distortion）コストが最小となる参照ブロックセットを選択決定し、前記ＲＤコストが最小となる参照ブロックセットを用いた画面内予測によるブロック単位の符号化信号にエントロピー符号化を施し、ビットストリームを生成するエントロピー符号化手段と、を備えることを特徴とする画像符号化装置。
2. 前記参照ブロック生成手段は、前記局部復号ブロックの信号に多重解像度分解を施して低周波成分と高周波成分に分解し、その多重解像度分解した階層間で低周波成分の位置合わせを行い、高次階層における位置合わせされた低周波成分と、その同位相位置の高周波成分は同階層内で類似するものと仮定して、前記低周波成分に対応する高周波成分の割り付けを行う際に、水平・垂直・対角高周波帯域で個別に、少なくとも分散値を設定可能とするｍ種類の点広がり関数に基づく畳み込み処理を適用しながら、前記低周波成分に対応する高周波成分の割り付けを行い、前記低周波成分と割り付け後の前記高周波成分からなる当該多重解像度分解された各階層を合成して再構成することにより前記ｍ種類の超解像ブロックを生成する超解像ブロック生成手段を備えることを特徴とする、請求項１に記載の画像符号化装置。
3. 前記参照ブロック生成手段は、前記局部復号ブロックの信号に多重解像度分解を施して低周波成分と高周波成分に分解し、その多重解像度分解した高周波成分に対して水平・垂直・対角高周波帯域で個別に減衰係数を設定可能とするｎ種類の帯域制限フィルタを適用し、該多重解像度分解した前記低周波成分と帯域制限フィルタの処理後の高周波成分からなる当該多重解像度分解された各階層を合成して再構成することにより、前記ｎ種類のぼやけブロックの信号を生成するぼやけブロック生成手段を備えることを特徴とする、請求項１又は２に記載の画像符号化装置。
4. 前記参照ブロック生成手段は、前記局部復号ブロックのブロックサイズが所定サイズ以内の場合のみ、前記ｍ種類の超解像ブロックを生成するように制御する手段を有することを特徴とする、請求項１から３のいずれか一項に記載の画像符号化装置。
5. 前記エントロピー符号化手段は、選択決定した前記参照ブロックセットを示す情報を前記符号化信号に対応する符号化パラメータに含めてビットストリームを生成する手段を有することを特徴とする、請求項１から４のいずれか一項に記載の画像符号化装置。
6. 請求項５に記載の画像符号化装置によって生成されたビットストリームを入力し、復号処理を行ってフレーム画像を復元する画像復号装置であって、
   前記ビットストリームに対してエントロピー復号を施して前記画像符号化装置によって生成された符号化信号及び符号化パラメータを抽出し、抽出した前記符号化パラメータを基に、前記画像符号化装置による量子化処理及び直交変換処理の逆処理を前記符号化信号に施し、第２の画面内予測による予測ブロックの信号を加算して復号ブロックの信号を生成する復号ブロック生成手段と、
   前記復号ブロックの信号を基に、ｍ種類の超解像ブロック及びｎ種類のぼやけブロックの信号の双方を生成する参照ブロック生成手段と、
   複数の前記局部復号ブロックの信号からなる局部復号ブロックセットと、複数の該超解像ブロックの信号からなるｍ種の超解像ブロックセットと、複数の該ぼやけブロックの信号からなるｎ種のぼやけブロックセットの合計１＋ｍ＋ｎ種類をそれぞれ第２の参照ブロックセットとし、前記符号化パラメータによって指定される当該第２の参照ブロックセットを用いて、ブロック単位で前記第２の画面内予測を実行する第２の画面内予測手段と、
   前記第２の画面内予測による復号ブロックの信号を基にフレーム画像を復元する出力制御手段と、
   を備えることを特徴とする画像復号装置。
7. コンピュータを、請求項１から５のいずれか一項に記載の画像符号化装置として機能させるためのプログラム。
8. コンピュータを、請求項６に記載の画像復号装置として機能させるためのプログラム。