JP4446445B2 - 符号化装置及び符号化方法 - Google Patents

Description

本発明は、画像の符号化に係り、特に、フィールドベースの符号化処理とフレームベースの符号化処理を選択可能な符号化装置及び符号化方法に関する。本発明は、そのような符号化処理機能を持つ複写機、ファクシミリ装置、プリンタなどにも応用可能であり、また、パソコン等のコンピュータ上で動作するアプリケーションプログラムやプリンタドラ
イバ等のデバイスドライバにも応用可能である。

一般に画像データの高能率符号化方式では、隣接画素との相関を利用してデータの圧縮行う。ＴＶカメラ出力等のインターレース画像を符号化する場合は、奇数・偶数フィールドの画像をフレーム画像へ変換して垂直方向の画素相関を強くしてから符号化する方が圧縮効率が高くなる。このような符号化方法をフレームベース符号化といい、これに対し、各フィールド画像をそのまま符号化する方法をフィールドベース符号化という（図１参照）。

しかし、インターレース動画像の場合、フレームベース符号化は必ずしも適切ではない。例えば、図２の（ａ）と（ｂ）に示すように、画像内の物体がフィールド１とフィールド２の間で移動した場合、それらフィールドから合成したフレーム画像は図２（ｃ）のようになり、移動した物体のエッジがライン単位の櫛歯状（櫛形）になり、垂直方向の隣接画素の相関が極端に低下するため、フレームベース符号化では圧縮しにくくなり、むしろ、フィールドベース符号化の方が圧縮しやすい。しかしながら、画像は動きのある部分だけではないため、フィールドベース符号化で全体的な符号化効率が常に向上するとも限らない。

そこで、インターレース動画像の動きの大きい部分はフィールドベース符号化を行い、動きの小さい部分はフレームベース符号化を行うという方法が提案されている（例えば特許文献１，２参照）。

特開2002-64830号公報 特許第2507199号公報

フィールドベース符号化とフレームベース符号化については、上に述べたような符号化特性の違いに着目した技術は提案されているが、これまで見逃されていた技術的課題がある。この技術的課題とは、以下に具体的に述べるように、フィールドベース符号化とフレームベース符号化とでは画質上の特性が大きく異なるということである。

一般に変換符号化と呼ばれる信号の符号化は、
原信号のサブバンドへの周波数変換→サブバンドを構成する「周波数領域の係数」
の量子化→量子化後の係数のエントロピー符号化
という手順をとる。

ここで、サブバンドとは周波数帯域ごとに分類された「周波数領域の係数」の集合である。「周波数領域の係数（以下、周波数係数と呼ぶ）」とは、周波数変換としてＤＣＴが用いられるときはＤＣＴ係数であり、周波数変換としてウェーブレット変換が用いられるときはウェーブレット係数である。

さて、周波数変換の基底長（ＤＣＴであれば変換をかけるブロックの水平方向と垂直方向の画素数、ウェーブレット変換であればハイパス係数とローパス係数を得るためのフィルタのタップ長）と、復号画像の画質は密接な関係を有する。

すなわち、基底長がｘであるということは、範囲ｘの画素を基に低周波数係数や高周波係数が算出されることを意味し、復号時には、１つの周波数係数がｘ個の画素に対して影響を及ぼすことを意味する。一般に変換符号化においては、視覚的に影響の少ない高周波の係数を量子化して圧縮率を上げるのが通常であり、復号時には、主に量子化されなかった低周波の係数を基に画像が復号されると考えてよい。したがって、通常、基底長ｘの低周波係数を基に復号された画像と、その倍の基底長２ｘの低周波係数を基に復号された画像とでは、前者よりも後者の方が、より平滑度の高い復号画像となる。復号時に、後者の１つの低周波係数は前者の係数の２倍の範囲の画素値に影響を及ぼすが、これは逆周波数変換時に１つの係数値の影響が局所化せず普遍化することを意味し、結果的に平滑化の効果を生じさせるからである。

ここで、インターレース画像はインターレース表示の対象となる画像を意味するため、それをフレームベース符号化した画像も、その半分の高さのサイズでフィールドベース符号化した画像も、ともに表示される場合には同じ大きさでインターレース表示されることに注意が必要である。つまり、フィールドベースの個々の（＝奇・偶フィールドの）符号は、垂直方向に各々２倍に引きのばされて（実際には走査線の間が空く）表示されるのであり、これは視覚的に、個々の符号の周波数変換の基底長が走査線と垂直な方向に倍になったような効果を生じる。１つの係数が影響を及ぼす画素値の範囲が表示画面上で２倍になるからである。その結果、フィールドベース符号化では、より平滑度の高い復号画像になってしまい、これは主観上好ましくないことがある。

しかし、従来、上に述べたようなフィールドベース符号化とフレームベース符号化との画質上の違いを考慮した符号化装置及び符号化方法は見られない。

よって、本発明の目的は、フィールドベース符号化とフレームベース符号化との画質上の特性の違いを考慮し、フィールドベース符号化時の過度な平滑化を抑えることができ、さらにはフィールドベース符号化とフレームベース符号化の復号画質に統一性を持たせることができる、新規な符号化装置及び符号化方法を提供することにある。

本発明よれば、フィールドベースの符号化処理とフレームベースの符号化処理（ノンインターレース静止画の符号化処理を含む。以下同様）を選択可能な符号化装置又は符号化方法において、フィールドベース／フレームベースの符号化処理の選択に応じて、少なくとも副走査方向の平滑度が制御される。この平滑度の制御は、周波数変換の基底長の制御、再帰的な周波数変換の実行回数の制御、再帰的な周波数変換の実行回数と周波数変換の基底長とで決まる実効的な基底長（後述）の制御、量子化の度合の制御、又は、それらの組み合わせによって行うことができる。ここでの量子化には、周波数係数の線形量子化、周波数係数又は符号のトランケーションによる量子化、線形量子化とトランケーションによる量子化の組み合わせが含まれる。

例えば、次に述べる符号化装置は、周波数変換の基底長の制御によってフィールドベース符号化処理における過度の平滑化を避けるものである。

すなわち、画像データに対し、周波数変換を含む符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
前記周波数変換の少なくとも副走査方向についての基底長を、前記符号化処理手段における符号化処理の選択に応じて制御する平滑度制御手段とを有し、
前記平滑度制御手段は、前記符号化処理手段においてフィールドベースの符号化処理が選択された場合に、前記周波数変換の少なくとも副走査方向についての基底長として、選択可能な基底長の組の中の最長の基底長以外の基底長を選択することを特徴とする符号化装置。

また、画像データに対し、周波数変換を含む符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
前記周波数変換の少なくとも副走査方向についての基底長を、前記符号化処理手段における符号化処理の選択に応じて制御する平滑度制御手段とを有し、
前記平滑度制御手段は、前記符号化処理手段においてフィールドベースの符号化処理が選択された場合に、前記周波数変換の少なくとも副走査方向についての基底長として、選択可能な基底長の組の中の最短の基底長を選択することを特徴とする符号化装置。

符号化処理に用いられる周波数変換には、低周波係数についての基底長と高周波係数について基底長とが同一のＤＣＴなどと、低周波係数についての基底長と高周波係数についての基底長とが同一ではないウェーブレット変換などがある。

例えば次に述べる符号化装置は、符号化処理において低周波係数と高周波係数とで基底長の異なるウェーブレット変換のような周波数変換が用いられる場合を想定したものである。
すなわち、
画像データに対し、周波数変換を含む符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
前記周波数変換の少なくとも副走査方向についての基底長を、前記符号化処理手段における符号化処理の選択に応じて制御する平滑度制御手段とを有し、
前記周波数変換は、低周波係数を得るための基底長と高周波係数を得るための基底長とが異なる周波数変換であり、
前記周波数変換の少なくとも低周波係数を得るための基底長が前記平滑度制御手段により制御されることを特徴とする符号化装置。

JPEG2000においては、５×３変換、９×７変換と呼ばれる２つのウェーブレット変換が使用可能である。５×３ウェーブレット変換は、５画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、３画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。９×７ウェーブレット変換は、９画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、７画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。両者の主な違いはフィルタのタップ長の違いであり、しかも前者のタップ長は後者の約半分である。

以上に鑑み、請求項１の発明は、
画像データに対し、ＪＰＥＧ２０００に準拠した符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
前記符号化処理手段においてフィールドベースの符号化処理が選択された場合には該符号化処理における周波数変換として５×３ウェーブレット変換を選択し、フレームベースの符号化処理が選択された場合には該符号化処理における周波数変換として９×７ウェーブレット変換を選択する制御を行う平滑度制御手段とを有することを特徴とする符号化装置である。

請求項４の発明は、
画像データに対し、ＪＰＥＧ２０００に準拠した符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理工程と、
前記符号化処理工程においてフィールドベースの符号化処理が選択された場合に該符号化処理における周波数変換として５×３ウェーブレット変換を選択し、フレームベースの符号化処理が選択された場合に該符号化処理における周波数変換として９×７ウェーブレット変換を選択する制御を行う平滑度制御工程とを有することを特徴とする符号化方法である。

符号化方式によっては、周波数変換が低周波係数について再帰的に繰り返される。このような再帰的な周波数変換の典型例が、JPEG2000におけるウェーブレット変換のオクターブ分割である。このオクターブ分割は、実効的にローパスフィルタのタップ長（ローパス係数を得るための基底長）を長くしたと同様な効果を生じる。したがって、再帰的な周波数変換では、その実行回数が増えるほど平滑化が強まる。このことに鑑み、請求項２及び５の発明は、再帰的な周波数変換の実行回数を制御することによりフィールドベース符号化処理における過度の平滑化を避けようとするものである。

すなわち、請求項２の発明は、請求項１に記載の符号化装置において、前記平滑度制御手段は、フィールドベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数を、フレームベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数より少なくする制御を行うことを特徴とするものである。

請求項５の発明は、請求項４に記載の符号化方法において、前記平滑度制御工程は、フィールドベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数を、フレームベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数より少なくする制御を行うことを特徴とするものである。

また、フィールドベース符号化処理とフレームベース符号化処理とで復号画質に統一性を持たせるため、請求項３及び５の発明は、フィールドベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数を、フレームベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数より１回少なくする制御を行う。

同様な再帰的な周波数変換の実行回数の制御を行う符号化装置の他の例を次に示す。すなわち、
画像データに対し、再帰的な周波数変換を含む符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
少なくとも副走査方向についての前記再帰的な周波数変換の実行回数を、前記符号化処理手段における符号化処理の選択に応じて制御する平滑度制御手段とを有することを特徴とする符号化装置。

画像データに対し、再帰的な周波数変換を含む符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
前記符号化処理手段においてフィールドベースの符号化処理が選択された場合に、少なくとも副走査方向についての前記再帰的な周波数変換の実行回数を、フレームベースの符号化処理が選択された場合における副走査方向についての前記再帰的な周波数変換の実行回数より少なくする制御を行う平滑度制御手段とを有することを特徴とする符号化装置。

画像データに対し、再帰的な周波数変換を含む符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
前記符号化処理手段においてフィールドベースの符号化処理が選択された場合に少なくとも副走査方向についての前記再帰的な周波数変換の実行回数を、フレームベースの符号化処理が選択された場合における副走査方向についての前記再帰的な周波数変換の実行回数より１回少なくする制御を行う平滑度制御手段とを有することを特徴とする符号化装置。

さて、再帰的な周波数変換が復号画像に及ぼす実効的な基底長は，最も周波数の低い係数について、概ね、｛周波数変換自体の基底長×(２の変換回数乗)｝で与えられ、この実効的な基底長が復号画像の平滑度を左右する。なお、ここでは、周波数変換の都度、周波数係数の数が1/2にサブサンプリングされるクリティカルサンプリングの場合を仮定している。次に示す符号化装置は、このような実効的な基底長の制御によりフィールドベース符号化処理の過度な平滑化を避けようとするものである。

すなわち、
画像データに対し、再帰的な周波数変換を含む符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
少なくとも副走査方向についての前記再帰的な周波数変換の実行回数と周波数変換の基底長とで決まる実効的な基底長を、前記符号化処理手段における符号化処理の選択に応じて制御する平滑度制御手段とを有することを特徴とする符号化装置。

画像データに対し、再帰的な周波数変換を含む符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
少なくとも副走査方向についての前記再帰的な周波数変換の実行回数と周波数変換の基底長とで決まる実効的な基底長を、前記符号化処理手段における符号化処理の選択に応じて制御する平滑度制御手段とを有することを特徴とする符号化装置において、前記平滑度制御手段は、前記符号化処理手段においてフィールドベースの符号化処理が選択された場合に、少なくとも副走査方向についての前記実効的な基底長を、フレームベースの符号化処理が選択された場合における副走査方向についての前記実効的な基底長より短くすることを特徴とする符号化装置。

画像データに対し、再帰的な周波数変換を含む符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
少なくとも副走査方向についての前記再帰的な周波数変換の実行回数と周波数変換の基底長とで決まる実効的な基底長を、前記符号化処理手段における符号化処理の選択に応じて制御する平滑度制御手段とを有することを特徴とする符号化装置において、前記平滑度制御手段は、前記符号化処理手段においてフィールドベースの符号化処理が選択された場合に、少なくとも副走査方向についての前記実効的な基底長を、フレームベースの符号化処理が選択された場合における副走査方向についての前記実効的な基底長の略２分の１にすることを特徴とする符号化装置。

フィールドベース符号化処理における平滑化を抑えるには、主走査方向に延びるエッジの鮮鋭度を保つことが有効である。このことに鑑み、主走査方向のエッジ量を反映する周波数係数に対する量子化の度合を制御することにより、フィールドベース符号化処理における過度の平滑化を避ける符号化装置の例を次に示す。

すなわち、
画像データに対し、周波数変換を含む符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
前記符号化処理手段による符号化処理における少なくとも主走査方向のエッジ量を反映する周波数係数に対する量子化の度合を、前記符号化処理手段における符号化処理の選択に応じて制御する平滑度制御手段とを有することを特徴とする符号化装置。

画像データに対し、周波数変換を含む符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
前記符号化処理手段による符号化処理における少なくとも主走査方向のエッジ量を反映する周波数係数に対する量子化の度合を、前記符号化処理手段における符号化処理の選択に応じて制御する平滑度制御手段とを有することを特徴とする符号化装置において、
前記平滑度合制御手段は、フィールドベースの符号化処理が選択された場合に、少なくとも主走査方向のエッジ量を反映する周波数係数に対する量子化の度合を、フレームベースの符号化処理が選択された場合における主走査方向のエッジ量を反映する周波数係数に対する量子化の度合より軽減することを特徴とする符号化装置。

ここで、JPEG2000を例にすると、主走査方向のエッジ量を反映する周波数係数とはＬＨ係数である。また、その量子化とは、ＬＨ係数に対する線形量子化、係数又は符号のトランケーションによる量子化、線形量子化とトランケーションによる量子化の組み合わせ、のいずれも含むものである。

以上に述べたように、請求項１乃至６の発明によれば、周波数変換の基底長、再帰的な周波数変換の実行回数の制御により、フィールドベース符号化処理における過度の平滑化を避けて復号画像の平滑度の適切な制御が可能になる。さらに、請求項３，６の発明によれば、フィールドベース符号化処理とフレームベースの符号化処理との復号画質に統一性を持たせることができる等の効果を得られる。

図３は本発明の実施の形態を説明するためのブロック図である。ここに示す符号化装置１００は、符号化処理手段１０１と平滑度制御手段１０２から構成される。符号化処理手段１０１は、入力画像データ１０３に対する符号化処理を行って符号化データ１０４を出力するものであるが、インターレース画像に対してはフィールドベース符号化処理とフレームベース符号化処理を選択することができる。なお、ノンインターレース静止画像に対する符号化処理も可能であるが、これは常にフレームベース符号化処理となる。したがって、フレームベース符号化処理にはノンインターレース静止画像の符号化処理も包含される。符号化処理手段１０１は、入力されるフィールドベース／フレームベース指定１０５に従ってフィールドベース符号化処理又はフレームベース符号化処理を選択する。フィールドベース／フレームベース指定１０５は、ユーザにより明示的に設定され場合と、特許文献２に述べられているような画像の動き等に基づく方法によって自動設定される場合とがあり得るが、この設定方法は本発明の要旨ではないためこれ以上の説明は割愛する。

平滑度制御手段１０２は、符号化処理手段１０１でフィールドベース符号化処理とフレームベース符号化処理のいずれが選択されたかに応じて、平滑度制御のために、符号化処理における周波数変換の基底長、再帰的な周波数変換の実行回数、周波数変換の実効的な基底長、主走査方向のエッジ量を反映する周波数係数に対する量子化の度合のいずれか１又は２以上を制御する。

符号化処理手段１０１及び平滑度制御手段１０２は、ハードウェアで実現することもできるが、コンピュータを利用しプログラムにより実現することも可能である。後者の実現形態について図４により簡単に説明する。

図４において、２０１はＣＰＵ（中央演算処理装置）、２０２はメインメモリ、２０３はＨＤＤ（ハードディスク装置）であり、これらはバス２０４に接続されている。このようなコンピュータを、符号化処理手段１０１及び平滑度制御手段１０２として機能させるためのプログラム（アプリケーションプログラム又はデバイスドライバ）やオペレーティングシステムはＨＤＤ２０３に格納されており、必要に応じてメインメモリ２０２に読み込まれる。フィールドベース／フレームベース指定１０５は例えばユーザにより設定されるが、そのためのユーザ・インターフェース手段は図４中省略されている。

処理の流れは次の通りである。例えば、インターレース動画像の画像データがＨＤＤ２０３に格納されているが、その１フレームの画像データがＣＰＵ２０１からの命令によってメインメモリ２０２のある領域に読み込まれる（１）。ＣＰＵ２０１は、メインメモリ２０２上の画像データを読み込み、それに対し、フィールドベース符号化処理又はフレームベース符号化処理を行うが、その際、選択された符号化処理に応じて周波数変換の基底長などの制御を行う（２）。ＣＰＵ２０１は、符号化処理により生成された符号化データをメインメモリ２０２の別の領域に書き込む（３）。１フレーム分の符号化データが生成されてメインメモリ２０２に蓄積されると、この符号化データはＣＰＵ２０１からの命令によりＨＤＤ２０３へ書き出される（４）。このような処理がフレーム数だけ繰り返される。

ここで、JPEG2000の概要を説明する。図５は、JPEG2000の圧縮・伸張処理の基本的な流れを示したブロック図である。

圧縮処理（符号化処理）時には、例えばＲＧＢ３コンポ−ネントからなる画像データは、タイルと呼ばれる重複しない矩形領域毎に、ブロック１でＤＣレベルシフトと輝度・色差コンポーネントへの色変換が行われ、次にブロック２で、２次元のウェーブレット変換が行われる。生成されたウェーブレット係数は、ブロック３で必要に応じてサブバンド毎に線形量子化を行われた後、ブロック４でビットプレーンを単位としたＭＱ符号化と呼ばれるエントロピー符号化がなされる（正確にはビットプレーンは３つのサブビットプレーンに細分化されて符号化される）。生成された符号について、ブロック５で、不要な符号がトランケートされ、必要な符号がまとめられてパケットが生成される。次にブロック６で、パケットが所定の順番で並べられるとともに必要なタグ及びタグ情報が付加されることにより、所定フォーマットのコードストリーム（符号化データ）が形成される。

伸張（復号化）処理は、圧縮処理と丁度逆の処理であり、各タイルの各コンポーネントの符号のエントロピー復号が行われ、復元されたウェーブレット係数は逆量子化を経てから逆ウェーブレット変換を施され、逆色変換及び逆ＤＣレベルシフトによってＲＧＢの画素値に戻される。

なお、JPEG2000のＤＣレベルシフトの変換式と逆変換式は次の通りである。

I(x,y) ← I(x,y)−２＾Ｓsiz(i) 順変換
I(x,y) ← I(x,y)＋２＾Ｓsiz(i) 逆変換
ただし、Ｓsiz(i)は原画像の各コンポーネントｉ（ＲＧＢ画像ならｉ＝０，１，２）のビット深さである。また、２＾Ｓsiz(i)は２のＳsiz(i)乗を意味する。

このＤＣレベルシフトは、ＲＧＢ信号値のような正の数である場合に、順変換では各信号値から信号のダイナミックレンジの半分を減算するレベルシフトを、逆変換では各信号値に信号のダイナミックレンジの半分を加算するレベルシフトを行うものである。ただし、このレベルシフトはＹＣｂＣｒ信号のＣｂ，Ｃｒ信号のような符号付き整数には適用されない。

また、JPEG2000では、コンポ−ネント変換（色変換）として可逆変換（ＲＣＴ）と非可逆変換（ＩＣＴ）が定義されている。

ＲＣＴの順変換と逆変換は次式で表される。
順変換
Ｙ0(x,y)＝floor((Ｉ0(x,y)+2*(Ｉ1(x,y)+Ｉ2(x,y))/4)
Ｙ1(x,y)＝Ｉ2(x,y)-Ｉ1(x,y)
Ｙ2(x,y)＝Ｉ0(x,y)-Ｉ1(x,y)
逆変換
Ｉ1(x,y)＝Ｙ0(x,y)-floor((Ｙ2(x,y)+Ｙ1(x,y))/4)
Ｉ0(x,y)＝Ｙ2(x,y)+Ｉ1(x,y)
Ｉ2(x,y)＝Ｙ1(x,y)+Ｉ1(x,y)
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号ならばＩ信号において０＝Ｒ，１＝Ｇ，２＝Ｂ、Ｙ信号において０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。floor（Ｘ）は実数Ｘを、Ｘを越えず、かつ、Ｘに最も近い整数に置換する関数である。

ＩＣＴの順変換と逆変換は次式で表される。
順変換
Ｙ0(x,y)＝0.299*Ｉ0(x,y)+0.587*Ｉ1(x,y)+0.144*Ｉ2(x,y)
Ｙ1(x,y)＝-0.16875*Ｉ0(x,y)-0.33126*Ｉ1(x,y)+0.5*Ｉ2(x,y)
Ｙ2(x,y)＝0.5*Ｉ0(x,y)-0.41869*Ｉ1(x,y)-0.08131*Ｉ2(x,y)
逆変換
Ｉ0(x,y)＝Ｙ0(x,y)+1.402*Ｙ2(x,y)
Ｉ1(x,y)＝Ｙ0(x,y)-0.34413*Ｙ1(x,y)-0.71414*Ｙ2(x,y)
Ｉ2(x,y)＝Ｙ0(x,y)+1.772*Ｙ1(x,y)
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号ならばＩ信号において０＝Ｒ，１＝Ｇ，２＝Ｂ、Ｙ信号において０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。

さて、JPEG2000においては、量子化とエントロピー符号化は緊密な関係にあり、量子化後に符号化する構成も、符号化後に符号を破棄する構成（あるいは必要なビットプレーン部分のみ符号化を行う構成）も存在する。線形量子化による量子化の場合は、ウェーブレット係数に公知の線形量子化を施し、量子化後の係数で構成されるビットプレーンをエントロピー符号化する。一方、線形量子化をしない場合には、不要なビットプレーンの符号を破棄するか、必要なビットプレーンまでを符号化する（本明細書では、その両方をまとめてトランケーションと呼ぶ）構成となる。なお、５×３ウェーブレット変換を使用する場合は、線形量子化は適用できず、トランケーションのみを行う仕様となっている。

前述のように、JPEG2000では可逆の５×３ウェーブレット変換と非可逆の９×７ウェーブレット変換が採用される。５×３ウェーブレット変換とは、５画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、３画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。９×７ウェーブレット変換とは、９画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、７画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。主な違いはフィルタの範囲の違いであり、偶数位置中心にローパスフィルタ、奇数位置中心にハイパスフィルタが施されるのは同様である。

５×３ウェーブレット変換の変換式は次の通りである。
（順変換）
[step1] C(2i+1)=P(2i+1)−floor（(P(2i)+P(2i+2))/2）
[step2] C(2i)=P(2i)+floor（((C(2i-1)+C(2i+1)+2)/4）
（逆変換）
[step1] P(2i)=C(2i)−floor（(C(2i-1)+C(2i+1)+2)/4）
[step2] P(2i+1)=C(2i+1)＋floor（(P(2i)+P(2i+2))/2）

９×７ウェーブレット変換の変換式は次のとおりである。
（順変換）
[step1] C(2n+1)=P(2n+1)+α*(P(2n)+P(2n+2))
[step2] C(2n)=P(2n)+β*(C(2n-1)+C(2n+1))
[step3] C(2n+1)=C(2n+1)+γ*(C(2n)+C(2n+2))
[step4] C(2n)=C(2n)+δ*(C(2n-1)+C(2n+1))
[step5] C(2n+1)=K*C(2n+1)
[step6] C(2n)=(1/K)*C(2n)
（逆変換）
[step1] P(2n)=K*C(2n)
[step2] P(2n+1)=(1/K)*C(2n+1)
[step3] P(2n)=X(2n)-δ*(P(2n-1)+P(2n+1))
[step4] P(2n+1)=P(2n+1)-γ*(P(2n)+P(2n+2))
[step5] P(2n)=P(2n)-β*(P(2n-1)+P(2n+2))
[step6] P(2n)=P(2n+1)-α*(P(2n)+P(2n+2))
ただし、 α＝-1.586134342059924
β＝-0.052980118572961
γ＝0.882911075530934
δ＝0.443506852043971
Ｋ＝1.230174104914001

次に，ウェーブレット変換の手順と、デコンポジションレベル、解像度レベル、サブバンドについて説明する。

図６〜図９は、16×16画素のモノクロの画像に対して５x３ウェーブレット変換を２次元（垂直方向及び水平方向）に施す過程の例を示したものである。

図６のようにＸＹ座標をとり、あるｘについてＹ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。JPEG2000では、まず垂直方向（Ｙ座標方向）にＹ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得る。次に、Ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る。これを全てのｘについて行う。前記５×３ウェーブレット変換の順変換式中の[step1]の式がハイパスフィルタを表し、[step2]の式がローパスフィルタを表す。なお、画像の端部においては、中心となる画素に対して隣接画素が存在しないことがあり、この場合は所定ルールによって適宜画素値を補うことになる。

簡単のため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数
をＬと表記すれば、前記垂直方向の変換によって図６の画像は図７のようなＬ係数とＨ係
数の配列へと変換される。

続いて、図７の係数配列に対して、水平方向に、Ｘ座標が奇数（x=2i+1）の係数を中心にハイパスフィルタを施し、次にＸ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す。これを全てのｙについて行う。この場合、各フィルタの式中のP(2i)等は係数値を表すものと読み替える。

簡単のため、
前記Ｌ係数を中心にローパスフィルタを施して得られる係数をLL、
前記Ｌ係数を中心にハイパスフィルタを施して得られる係数をHL、
前記Ｈ係数を中心にローパスフィルタを施して得られる係数をLH、
前記Ｈ係数を中心にハイパスフィルタを施して得られる係数をHH、
と表記すれば、図７の係数配列は図８の様な係数配列へと変換される。ここで、同一の記号を付した係数群はサブバンドと呼ばれる。したがって、図８は４つのサブバンドで構成されている。

以上で１回のウェーブレット変換（１回のデコンポジション（分解））が終了し，上記LL係数だけを集めると（図９の様にサブバンド毎に集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の”画像”が得られる（このように、サブバンド毎に係数を分類することをデインターリーブと呼び、図８のような状態に係数を配置することをインターリーブと呼ぶ）。

２回目のウェーブレット変換は、LLサブバンドを原画像と見なして、上記と同様の変換を行えばよい。その結果の並べ替え（デインターリーブ）を行うと図１０のように表すことができる。なお、図９及び図１０における係数の接頭の１や２は、それが何回のウェーブレット変換で得られたかを示しており、デコンポジションレベルと呼ばれる。なお、１次元のみのウェーブレット変換をしたい場合には、水平方向又は垂直方向だけの処理を行えばよい。

ウェーブレット逆変換は、図８の様なインターリーブされた係数の配列に対して、まず水平方向に、Ｘ座標が偶数（ｘ=2i）の係数を中心に逆ローパスフィルタを施し、次にＸ座標が奇数（ｘ=2i+1）の係数を中心に逆ハイパスフィルタを施す(これを全てのｙについて行う)。ここで、逆ローパスフィルタと逆ハイパスフィルタはそれぞれ前記５×３ウェーブレット変換の逆変換式中の[step1]の式と[step2]の式で表される。画像の端部においては、中心となる係数に対して隣接係数が存在しないことがあり、この場合は所定ルールによって適宜係数値を補う。

以上の処理により、図８の係数配列は図７のような係数配列に変換（逆変換）される。続いて、垂直方向に、Ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次にＹ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施せば(これを全てのｘについて行う)、１回のウェーブレット逆変換が終了し、図６の画像に戻る(再構成される)。なお、ウェーブレット変換が複数回施されている場合は、図６をLLサブバンドとみなし、他のサブバンドの係数を利用して同様の逆変換を繰り返せばよい。

以下、本実施形態に係る符号化装置１００のいくつかの実施例について説明する。なお、以下の各実施例に関する動作の説明は、本発明に係る符号化方法の処理手順の説明でもあることは明らかである。

図１１は、本実施例における符号化装置１００の動作を説明するためのフローチャートである。

符号化処理手段１０１ではフィールドベース／フレームベース指定１０５に従ってフィールドベースの符号化処理又はフレームベースの符号化処理が選択される。平滑度制御手段１０２は、その選択に応じて、平滑度制御のために周波数変換の基底長の制御などを行う。すなわち、フレームベース符号化処理が選択された時には（ステップ３００，Ｎｏ）、基底長の長い９×７ウェーブレット変換を選択し、再帰的な周波数変換（ここではウェーブレット変換）の実行回数であるデコンポジションレベル数を例えば３に選び、また、図１２に示す量子化ステップ数を選ぶ（ステップ３０１）。一方、フィールドベースの符号化処理が選択された時には（ステップ３００，Ｙｅｓ）、９×７ウェーブレット変換に比べ略１／２の基底長の５×３ウェーブレット変換を選択し、また、デコンポジションレベル数をフレームベース時より１つ少ない例えば２に選ぶ（ステップ３０５）。

したがって、フレームベース符号化処理が選択された時には、符号化処理手段１０１で、ＤＣレベルシフトと色変換（ＩＣＴ）の処理が行われ（ステップ３０２）、デコンポジションレベル数＝３の９×７ウェーブレット変換の処理が行われ（ステップ３０３）、図１２に示す量子化ステップ数を用いたウェーブレット係数の線形量子化が行われ（ステップ３０４）、ウェーブレット係数の全ビットプレーンのＭＱ符号化が行われ（ステップ３０８）、最後に符号形成の処理が行われる（ステップ３０９）、という処理フローとなる。

一方、フィールドベース符号化処理が選択された時には、符号化処理手段１０１で、ＤＣレベルシフトと色変換（ＲＣＴ）の処理が行われ（ステップ３０５）、デコンポジションレベル数＝２の５×３ウェーブレット変換の処理が行われ（ステップ３０６）、ウェーブレット係数の全ビットプレーンのＭＱ符号化が行われ（ステップ３０８）、最後に符号形成の処理が行われる（ステップ３０９）、という処理フローとなる。本実施例では、フィールドベース符号化処理時に係数のトランケーションも符号のトランケーションも行われない。

以上の平滑度制御によって、フィールドベース符号化処理時の過度な平滑化が抑えられ、また、フレームベース符号化時との復号画質の統一性を持たせることができる。

本実施例では、上に述べたように、フレームベース符号化処理とフィールドベース符号化処理のいずれが選択されたかに応じて、基底長の異なる９×７ウェーブレット変換又は５×３ウェーブレット変換が選択され、フィールドベース符号化処理時には、フレームベース符号化処理時に選択される９×７ウェーブレット変換に比べ基底長が略１／２の５×３ウェーブレット変換が選択される。よって、本実施例は請求項１，４に係る各発明の一実施例である。また、フレームベース符号化処理時にはデコンポジションレベル数は３に選ばれるのに対し、フィールドベース符号化処理時にはデコンポジションレベル数は１つ少ない２に選ばれる。よって、本実施例は、請求項２，３，５，６に係る各発明の一実施例でもある。

本実施形態に係る符号化処理手段１０１はJPEG2000の符号化方式を用いるが、別の実施形態によれば、周波数変換としてＤＣＴを用い、ＤＣＴ係数をハフマン符号化するような符号化方式が用いられる。そして、例えば、フレームベース符号化処理時のＤＣＴのブロックサイズは１６×１６画素とされ、フィールドベース符号化処理時のブロックサイズは半分の８×８画素とされる。

図１３は、本実施例における符号化装置１００の動作を説明するためのフローチャートである。

符号化処理手段１０１では、フィールドベース／フレームベース指定１０５に従ってフィールドベースの符号化処理又はフレームベースの符号化処理が選択される。平滑度制御手段１０２は、その選択に応じて、平滑度制御のために再帰的な周波数変換の実行回数の制御などを行う。すなわち、フレームベース符号化処理が選択された時には（ステップ４００，Ｎｏ）、９×７ウェーブレット変換を選択し、再帰的な周波数変換の実行回数であるデコンポジションレベル数を例えば３に選び、また、図１２に示す量子化ステップ数を選ぶ（ステップ４０１）。一方、フィールドベースの符号化処理が選択された時には（ステップ４００，Ｙｅｓ）、同じく９×７ウェーブレット変換を選択するが、デコンポジションレベル数はフレームベースの符号化処理時より１つ少ない２に選ぶ（ステップ４０４）。

したがって、フレームベース符号化処理が選択された時には、符号化処理手段１０１で、ＤＣレベルシフトと色変換（ＩＣＴ）の処理が行われ（ステップ４０２）、デコンポジションレベル数＝３の９×７ウェーブレット変換の処理が行われ（ステップ４０３）、図１２に示す量子化ステップ数を用いたウェーブレット係数の線形量子化が行われ（ステップ４０７）、全ビットプレーンのＭＱ符号化が行われ（ステップ４０８）、最後に符号形成の処理が行われる（ステップ４０９）、という処理フローとなる。

一方、フィールドベース符号化処理が選択された時には、符号化処理手段１０１で、ＤＣレベルシフトと色変換（ＩＣＴ）の処理が行われ（ステップ４０５）、デコンポジションレベル数＝２の９×７ウェーブレット変換の処理が行われ（ステップ４０６）、図１２に示す量子化ステップ数を用いたウェーブレット係数の線形量子化が行われ（ステップ４０７）、全ビットプレーンのＭＱ符号化が行われ（ステップ４０８）、最後に符号形成の処理が行われる（ステップ４０９）、という処理フローとなる。

以上の平滑度制御によって、フィールドベース符号化処理時の過度な平滑化が抑えられ、また、フレームベース符号化時との復号画質の統一性を持たせることができる。

本実施例では、上述のように、フレームベース符号化処理とフィールドベース符号化処理のいずれが選択されたかに応じて、９×７ウェーブレット変換のデコンポジションレベル数が選択され、フィールドベース符号化処理時にはフレームベース符号化処理時よりデコンポジションレベル数は１つ少ない値に選ばれる。

図１４は、本実施例における符号化装置１００の動作を説明するためのフローチャートである。

符号化処理手段１０１ではフィールドベース／フレームベース指定１０５に従ってフィールドベースの符号化処理かフレームベースの符号化処理が選択される。平滑度制御手段１０２は、その選択に応じて、平滑度制御のために量子化度合の制御を行う。すなわち、フレームベース符号化処理が選択された時には（ステップ５００，Ｎｏ）、９×７ウェーブレット変換を選択し、再帰的な周波数変換の実行回数であるデコンポジションレベル数を例えば３に選び、また、例えば図１２に示す量子化ステップ数を選ぶ（ステップ５０１）。一方、フィールドベースの符号化処理が選択された時には（ステップ５００，Ｙｅｓ）、９×７ウェーブレット変換、デコンポジションレベル数３を選ぶことはフレームベース符号化処理が選択されたときと同様であるが、量子化ステップ数については、フレームベース符号化処理時とは異なる例えば図１５に示すような量子化ステップ数を選ぶ（ステップ５０５）。

したがって、フレームベース符号化処理が選択された時には、符号化処理手段１０１で、ＤＣレベルシフトと色変換（ＩＣＴ）の処理が行われ（ステップ５０２）、デコンポジションレベル数＝３の９×７ウェーブレット変換の処理が行われ（ステップ５０３）、図１２に示す量子化ステップ数を用いたウェーブレット係数の線形量子化が行われ（ステップ５０４）、全ビットプレーンのＭＱ符号化が行われ（ステップ５０９）、最後に符号形成の処理が行われる（ステップ５１０）、という処理フローとなる。

一方、フィールドベース符号化処理が選択された時には、符号化処理手段１０１で、ＤＣレベルシフトと色変換（ＩＣＴ）の処理が行われ（ステップ５０６）、デコンポジションレベル数＝３の９×７ウェーブレット変換の処理が行われ（ステップ５０７）、図１５に示す量子化ステップ数を用いたウェーブレット変換の線形量子化が行われ（ステップ５０８）、全ビットプレーンのＭＱ符号化が行われ（ステップ５０９）、最後に符号形成の処理が行われる（ステップ５１０）、という処理フローとなる。

ここで、図１２と図１５を対比すると、図１２においては、水平方向のエッジ量を反映するＬＨサブバンド係数に対する量子化ステップ数と、垂直方向のエッジ量を反映するＨＬサブバンド係数に対する量子化ステップ数は同一である。これに対し、図１５においては、ＬＨサブバンド係数に対する量子化ステップ数はＨＬサブバンド係数に対する量子化係数の半分又は略半分の値に選ばれている。したがって、フィールドベース符号化処理時には、フィールドベース符号化処理時に比べ、水平方向エッジ量を反映するＬＨサブバンド係数に対する量子化の度合が弱められる。このことは主走査方向に延びるエッジの鮮鋭度が保たれるということであり、結果としてフィールドベース符号化処理における過度の平滑化が抑えられる。そして、この例では、フィールドベース符号化処理時とフレームベース符号化処理時の副走査方向の復号画質に統一性を持たせることができる。

なお、ＬＨ，ＨＬサブバンド係数に対する線形量子化ステップ数を同一とし、それぞれのサブバンドの係数又は符号のトランケーション量を制御することにより、同様の量子化度合の制御を行うことも可能であり、係る態様も本実施例に包含される。

フレームベース符号化とフィールドベース符号化の説明図である。 インターレース動画像における被写体の動きによる櫛型の発生を説明するための図である。 本発明に係る符号化装置のブロック図である。 本発明に係る符号化装置のコンピュータ上での実現を説明するためブロック図である。 JPEG2000の圧縮・伸長処理を説明するためのブロック図である。 原画像と座標系を示す図である。 図６の原画像に対し垂直方向へのウェーブレット変換を行って生成される係数の配列を示す図である。 図７の係数配列に対し水平方向へのウェーブレット変換を行って生成される係数配列を示す図である。 図８の係数群をデインターリーブした係数配列を示す図である。 ２回の２次元ウェーブレット変換により生成される係数群をデインターリーブした係数配列を示す図である。 実施例１に係る符号化装置の動作を説明するためのフローチャートである。 量子化ステップ数の例を示す図である。 実施例２に係る符号化装置の動作を説明するためのフローチャートである。 実施例３に係る符号化装置の動作を説明するためのフローチャートである。 実施例３に係る符号化装置において、フィールドベース符号化処理時に使用される量子化ステップ数の例を示す図である。

１０１ 符号化処理手段
１０２ 平滑度制御手段

Claims (6)

1. 画像データに対し、ＪＰＥＧ２０００に準拠した符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理手段と、
   前記符号化処理手段においてフィールドベースの符号化処理が選択された場合には該符号化処理における周波数変換として５×３ウェーブレット変換を選択し、フレームベースの符号化処理が選択された場合には該符号化処理における周波数変換として９×７ウェーブレット変換を選択する制御を行う平滑度制御手段とを有することを特徴とする符号化装置。
2. 前記平滑度制御手段は、フィールドベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数を、フレームベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数より少なくする制御を行うことを特徴とする請求項１に記載の符号化装置。
3. 前記平滑度制御手段は、フィールドベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数を、フレームベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数より１回少なくする制御を行うことを特徴とする請求項１に記載の符号化装置。
4. 画像データに対し、ＪＰＥＧ２０００に準拠した符号化処理を行うものであって、フィールドベースの符号化処理とフレームベースの符号化処理の選択が可能な符号化処理工程と、
   前記符号化処理工程においてフィールドベースの符号化処理が選択された場合には該符号化処理における周波数変換として５×３ウェーブレット変換を選択し、フレームベースの符号化処理が選択された場合には該符号化処理における周波数変換として９×７ウェーブレット変換を選択する制御を行う平滑度制御工程とを有することを特徴とする符号化方法。
5. 前記平滑度制御工程は、フィールドベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数を、フレームベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数より少なくする制御を行うことを特徴とする請求項４に記載の符号化方法。
6. 前記平滑度制御工程は、フィールドベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数を、フレームベースの符号化処理が選択された場合における再帰的なウェーブレット変換の実行回数より１回少なくする制御を行うことを特徴とする請求項４に記載の符号化方法。

Images