JP4229323B2 - 符号化装置、符号化方法及びプログラム - Google Patents

Description

本発明は、動画の符号化に係り、特に、フィールドベース符号化とフレームベース符号化を選択的に適用する符号化装置及び符号化方法に関する。

ビデオカメラ等の動画撮影機器においては、一般に、１／６０秒間隔でインターレース走査により動画を撮影している。このようなビデオカメラ等で撮影された動画データの符号化方法として、個々のインターレース画像（フィールド）をそのまま符号化するフィールドベース符号化と、相前後する２枚のインターレース画像から合成したフレーム画像を符号化するフレームベース符号化がある。

各フィールドの画像は走査線が飛び飛びであるので、走査線が連続したフレームの画像に比べ垂直方向の画素相関が弱いため、圧縮効率の面ではフレームベース符号化が一般的に有利である。しかし、フレームベース符号化においては、フレームを構成するフィールド間の動き量が大きい場合に、動いた物体のエッジがライン単位の櫛歯状（櫛形）になり垂直方向の隣接画素の相関が極端に劣化するため圧縮されにくくなる。

そこで、従来から、動きが大きい部分はフィールドベース符号化を行い、動きが小さい部分はフレームベース符号化を行う技術が提案されている（特許文献１，２参照）。

この様に、フレームベース符号化、フィールドベース符号化のどちらが良いかはケースバイケースだが、一般には動き量の大小を判別することが煩雑であるためフレームベース符号化が用いられることが多い。そして、フレームベース符号化を適用する場合に問題となるのが、フィールド間の動きが大きいときに、上記の櫛形により符号化効率が低下し、また特有の不自然な画質劣化を生じることである。

この画質劣化について次に説明する。図１の（ａ）は第（ｎ）フィールドのインターレース画像、（ｂ）はその１／６０秒後の第（ｎ＋１）フィールドのインターレース画像、（ｃ）はこの２フィールドのインターレース画像を合成して得られるフレーム画像の例をそれぞれ示している。２フィールド間で被写体が図示のように右方向へ移動した場合、フレーム画像上で被写体の左右エッジ部分が走査線毎に複数画素分だけ櫛形にずれる。（ｄ）は櫛形のエッジ部分を拡大したもので、Ｌがフィールド間の動き量に相当する。

フレームベース符号化において、上記”櫛形”が、符号化効率を低下させる原因であると同時に、特有の不自然な画質劣化を生じさせる原因である。

この不自然な画質劣化について、図２を参照しさらに説明する。第（ｎ）フィールドでは図２（ａ）に示す位置にあった縦線が、次の第（ｎ＋１）フィールドでは（ｂ）に示す位置に移動した場合、両フィールドから合成されたフレーム上では、その縦線は（ｃ）に示すような２本の点線となる。このフレームをフレームベース符号化した後に復号すると、符号化の際の量子化（後述のトランケーションも含む）の影響により、復号されたフレーム上では、（ｄ）に示すように点線の点と点の間が淡い色でつながった様になる。したがって、復号されたフレームから分解した各フィールドでは（ｅ）及び（ｆ）に示すような２本の点線が表れる。その結果、復号されたフレームをフィールド分解してテレビジョン受像機等でインターレース表示すると、各フィールドに本来の縦線とその”残像”の如き縦線が表れ、本来は１本の縦線であったものが２本の縦線の如く見えてしまう。図２では縦線が移動した例であったが、線でなく面が移動した場合には、面が二重に見えたり、左右にぶれて見えることになる。このような現象を、本明細書では”残像現象”と呼ぶことがある。

特開２００２−６４８３０号公報 特許第２５０７１９９号公報 J.Katto and Y.Yasuda,"Performance evaluation of subband coding and optimization of its filter coefficients,"Journal of Visual Communication and Image Representation, vol.2, Dec.1991, pp.303-313

よって、本発明の目的は、インターレース画像の符号化において、前記残像現象の如き不自然な画質劣化が抑制されるように、フィールドベース符号化又はフレームベース符号化を選択的に適用する符号化装置及び符号化方法を提供することにある。

なお、本出願人は、本発明と関連する発明を特願2002-289807号、特願2002-300468号、特願2002-300476号、及び、特願2002-360809号により特許出願している。各特許出願に係る発明の概要は次の通りである。

特願2002-289807号：インターレース画像（フィールド）のフレームベース符号化において、フレーム（ノンインターレース）画像の２次元ウェーブレット変換を行う。１ＬＨサブバンド係数にフィールド間の動きによる櫛形の影響が強く表れることに着目し、少なくとも１ＬＨサブバンドの係数値、又は、少なくとも１ＬＨサブバンド係数の符号量に基づいて、フィールド間の動き量（移動速度）を判定する。

特願2002-300468号：インターレース画像のフレームベース符号化において、フレーム画像の２次元ウェーブレット変換を行う。動き量は大きいが動いている物体が小さい場合でも、フィールド間の動き量を的確に判定するため、画像をサブブロック（例えばコードブロック）に分割し、各サブブロックの少なくとも１ＬＨサブバンドの係数値又は符号量に基づいて、画像全体としてのフィールド間の動き量を判定する。

特願2002-300476号：インターレース画像のフレームベース符号化において、フレーム画像の２次元ウェーブレット変換を行う。画像をサブブロックに分割し、各サブブロック単位で、少なくとも１ＬＨサブバンドの係数値又は符号量に基づきフィールド間の動き量を判定する。動画を撮影するカメラが静止していれば、画像内に、動く部分（さらには高速で動く部分と低速で動く部分）と動かない部分があるが、サブブロック毎の判定により、そのような各部分の移動量判定が可能である。

特願2002-360809号：インターレース画像のフレームベース符号化において、フレーム画像の周波数変換（例えばウェーブレット変換）により得られる周波数係数の量子化、量子化後の周波数係数のトランケーション、又は、符号のトランケーションを、フィールド間の動き量に応じて制御することにより、不自然な画質劣化を抑制する。

上記課題を解決するため、請求項１記載の発明は、
インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理手段と、
前記符号化処理手段においてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択手段とを有し、
前記選択手段は、符号化処理における周波数係数の量子化のための量子化ステップ数を決定するユーザ指定の定数が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化装置である。

請求項２記載の発明は、
インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理手段と、
前記符号化処理手段においてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択手段とを有し、
前記選択手段は、符号化処理における周波数係数の量子化のためのユーザ指定の量子化ステップ数が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化装置である。

請求項３記載の発明は、
請求項２に記載の符号化装置において、
符号化処理において周波数変換としてウェーブレット変換が用いられ、
前記ユーザ指定の量子化ステップ数は、ウェーブレット変換のデコンポジションレベル１のサブバンドに関するものであることを特徴とする符号化装置である。

請求項４記載の発明は、
インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理手段と、
前記符号化処理手段においてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択手段とを有し、
前記選択手段は、符号化処理における周波数係数の破棄される下位ビットプレーン数もしくはサブビットプレーン数を決定するユーザ指定の定数が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化装置である。

請求項５記載の発明は、
インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理手段と、
前記符号化処理手段においてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択手段とを有し、
前記選択手段は、符号化処理における周波数係数の量子化のためのユーザ指定の量子化ステップ数、及び、周波数係数の破棄されるユーザ指定の下位ビットプレーン数もしくはサブビットプレーン数（トランケーション数という）ＴＮを用いて計算される
量子化ステップ数×２ ^ＴＮ
の値が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化装置である。

請求項６記載の発明は、
請求項５に記載の符号化装置において、
符号化処理において周波数変換としてウェーブレット変換が用いられ、
前記ユーザ指定の量子化ステップ数及び前記ユーザ指定のトランケーション数は、ウェーブレット変換のデコンポジションレベル１のサブバンドに関するものであることを特徴とする符号化装置である。

請求項７記載の発明は、
インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理手段と、
前記符号化処理手段においてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択手段とを有し、
前記選択手段は、ユーザ指定の圧縮率が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化装置である。

請求項８記載の発明は、
インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理ステップと、
前記符号化処理ステップにおいてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択ステップとを有し、
前記選択ステップは、符号化処理における周波数係数の量子化のための量子化ステップ数を決定するユーザ指定の定数が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化方法である。

請求項９記載の発明は、
インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理ステップと、
前記符号化処理ステップにおいてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択ステップとを有し、
前記選択ステップは、符号化処理における周波数係数の量子化のためのユーザ指定の量子化ステップ数が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化方法である。

請求項１０記載の発明は、
請求項９に記載の符号化方法において、
符号化処理において周波数変換としてウェーブレット変換が用いられ、
前記ユーザ指定の量子化ステップ数は、ウェーブレット変換のデコンポジションレベル１のサブバンドに関するものであることを特徴とする符号化方法である。

請求項１１記載の発明は、
インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理ステップと、
前記符号化処理ステップにおいてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択ステップとを有し、
前記選択ステップは、符号化処理における周波数係数の破棄される下位ビットプレーン数もしくはサブビットプレーン数を決定するユーザ指定の定数が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化方法である。

請求項１２記載の発明は、
インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理ステップと、
前記符号化処理ステップにおいてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択ステップとを有し、
前記選択ステップは、符号化処理における周波数係数の量子化のためのユーザ指定の量子化ステップ数、及び、周波数係数の破棄されるユーザ指定の下位ビットプレーン数もしくはサブビットプレーン数（トランケーション数という）ＴＮを用いて計算される
量子化ステップ数×２ ^ＴＮ
の値が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化方法である。

請求項１３記載の発明は、
請求項１２に記載の符号化方法において、
符号化処理において周波数変換としてウェーブレット変換が用いられ、
前記ユーザ指定の量子化ステップ数及び前記ユーザ指定のトランケーション数は、ウェーブレット変換のデコンポジションレベル１のサブバンドに関するものであることを特徴とする符号化方法である。

請求項１４記載の発明は、
インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理ステップと、
前記符号化処理ステップにおいてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択ステップとを有し、
前記選択ステップは、ユーザ指定の圧縮率が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化方法である。

請求項１５記載の発明は、請求項１乃至７のいずれか１項に記載の各手段としてコンピュータを機能させるプログラムである。
以上の本発明について以下にさらに説明する。

一般に画像の符号化（圧縮）は、
（A）画像データの周波数領域の係数への変換 → 周波数毎の係数の量子化
→ 量子化後の係数のエントロピー符号化
又は、
（B）画像データの周波数領域の係数への変換 → 周波数毎の係数の量子化
→ 量子化後の係数に関し，最終的に必要な部分、例えば、必要なビットプレーン
又はサブビットプレーンだけのエントロピー符号化
又は、
（C）画像データの周波数領域の係数への変換 → 周波数毎の係数の量子化
→ 量子化後の係数のエントロピー符号化 → 最終的に不要なエントロピー符号
の破棄（エントロピー符号のトランケーション）
という処理フローをとることが多い。処理フロー（Ｂ）においてエントロピー符号化の対象から外された係数は破棄されたと等価であり、これは係数状態でのトランケーションである。本明細書においては、このような係数状態でのトランケーションを、処理フロー（Ｃ）における符号のトランケーション（ポスト量子化とも呼ばれる）とともにトランケーションと総称する。

前記”残像現象”を抑制するためには、例えば上記フローの中で、櫛形の多寡を検出し、櫛形を残すような量子化またはトランケーションを行えばよい。しかし、従来は、量子化あるいはトランケーションが、櫛形の多寡を問わずに，どの画像に対しても均一に適用される場合が多い。また、画像ごとに異なる量子化やトランケーションを適用する場合であっても、櫛形の程度を反映させて適用する例は知られていない。

本出願人は前記の特願2002-289807号、特願2002-300468号、特願2002-300476号、特願2002-360809号により、周波数変換後の係数や符号量によって櫛形の多寡を判別し、櫛形の多寡の程度を量子化やトランケーションに反映させる発明を提案した。

かかる方法によれば、フレームベース符号化における不自然な残像現象の発生を抑えることができるが、櫛形という高周波成分を積極的に残すものであるため、適用可能な圧縮率に限界があるという課題がある。トータルの圧縮率を非常に高くしようと思えば、当初は再現していた櫛形もやがては量子化せざるを得ず、その結果、非常に高い圧縮率では櫛形が残らないことがあるからである。

しかしながら、非常に高い圧縮率においても、櫛形を残す方法が存在する。それは、“量子化した後に櫛形を形成する”こと、すなわち、フィールドベース符号化にすることである。つまり、ある程度の圧縮率までは一般的なフレームベース符号化を行い、ある程度以上の圧縮率ではフィールドベースで符号化を行う、という切り替え方も有効なのである。

櫛形が残らない程度の量子化という観点で言えば、この切り替えは本来、量子化の多寡（量子化の程度）に基づいた切り替えであり、よって、フレームベース符号化とフィールドベース符号化の切り替えに当たっては、動き量という視点だけでなく、量子化の多寡（程度）、という観点も有効なのである。

さて、一般に、変換符号化と呼ばれる信号の符号化は、
原信号のサブバンドへの周波数変換 → サブバンドを構成する「周波数領域の係数」
の量子化 → 量子化後の係数のエントロピー符号化
という手順をとる。ここで、サブバンドとは周波数帯域ごとに分類された「周波数領域の係数」の集合であり、「周波数領域の係数（以下，周波数係数とよぶ）」とは、前記周波数変換がＤＣＴであればＤＣＴ係数、前記変換がウェーブレット変換であればウェーブレット係数である。また、上記量子化は、周知のごとくデータの圧縮率を向上させるために行うものであり、その代表例は，係数を量子化ステップ数と呼ばれる定数で除算する線形量子化である。

この例から明らかなように、量子化時の除算の分母（線形量子化でいう量子化ステップ数）の大小を見れば、量子化の程度が判断できる。

よって、請求項１，２，８，９の発明によれば、フィールドベース符号化処理とフレームベース符号化処理のうちのいずれを実行するかを量子化の程度に応じて選択し、量子化の程度が高い場合でも不自然な画質劣化を抑えることができる。

近年、周波数係数をビットプレーンに分解し、各ビットプレーンを独立に符号化する「ビットプレーン符号化」と呼ばれる方式の採用が多くなっている。このような符号化方式の代表例がＪＰＥＧ２０００である。ＪＰＥＧ２０００において、５×３ウェーブレット変換を使用する場合の典型的な処理の流れは以下の通りである。

原信号のサブバンドへのウェーブレット変換 → ウェーブレット係数を、サブバンドごとに、必要な上位ビットプレーン（あるいは上位サブビットプレーン）のみ符号化
又は
原信号のサブバンドへのウェーブレット変換 → ウェーブレット係数を、サブバンドに、全てのビットプレーンを符号化 → 不要な下位ビットプレーン（あるいは下位サブビットプレーン）の符号を破棄

ここでサブビットプレーンとは１つのビットプレーンの部分集合である。上記ビットプレーン符号化においては、
（i）必要な上位ビットプレーン（あるいはサブビットプレーン）のみをエントロピー符号化する（不要な下位のビットプレーン又はサブビットプレーンは破棄する）
（ii）必要以上の（典型的には全ての）ビットプレーンをエントロピー符号化し，その後に不要な下位ビットプレーン（あるいはサブビットプレーン）のエントロピー符号を破棄することによって、原データに対する圧縮率を向上させることができる。本明細書では、上の（i）（ii）の両方をトランケーションと呼ぶ。

上記から明らかなように、トランケーションは、結果的に周波数係数自体を量子化する効果を持ち、したがってトランケーションの程度は量子化の程度を反映する。

よって、請求項４，１１の発明によれば、フィールドベース符号化処理とフレームベース符号化処理のうちのいずれを実行するかを、トランケーションの程度に基づいて選択し、トランケーションの程度が高い場合でも不自然な画質劣化を抑えることができる。

また、ＪＰＥＧ２０００において９×７ウェーブレット変換を使用する場合の典型的な処理の流れの１つは以下の通りである。

原信号のサブバンドへのウェーブレット変換 → ウェーブレット係数をサブバンドごとに線形量子化 → 量子化後のウェーブレット係数を、サブバンドごとに、必要な上位ビットプレーン（または上位サブビットプレーン）のみ符号化

この場合、周波数係数の量子化及びトランケーションの両方を加味したものが全体の量子化の程度を反映する。

よって、請求項５，１２の発明によれば、フィールドベース符号化処理とフレームベース符号化処理のうちのいずれを実行するかを、量子化及びトランケーションの程度に基づいて選択し、量子化及びトランケーションの双方の程度を考慮し不自然な画質劣化を抑えることができる。

また、請求項７，１４の発明によれば、フィールドベース符号化処理とフレームベース符号化処理のうちのいずれを実行するかを圧縮率に基づいて選択し、圧縮率が高い場合でも不自然な画質劣化を抑えることができる。

また、図２から明らかなように、”櫛形”は、フレーム内では１画素単位での画素値変化が最も高い周波数帯を構成するから、量子化やトランケーションの程度を考慮する際には、高域の周波数係数に対するそれに注目すべきである。

さて、これまで述べてきた周波数変換がウェーブレット変換であった場合、上記周波数帯域とは各デコンポジションレベルを意味し、デコンポジションレベルが小さいほど周波数が高いことになる。

よって、請求項３，６，１０，１３の発明によれば、高域の量子化の程度、あるいは、高域の量子化及びトランケーションの程度に応じてフィールドベース符号化処理又はフレームベース符号化処理を選択し、高域の量子化の程度やトランケーションの程度が高い場合でも不自然な画質劣化を抑えることができる。

請求項１，２の発明によれば、量子化の程度が高い場合でも不自然な画質劣化を抑えた符号化が可能である。請求項４の発明によれば、トランケーションの程度が高い場合でも不自然な画質劣化を抑えた符号化が可能である。請求項５の発明によれば、量子化及びトランケーションの程度が高い場合でも不自然な画質劣化を抑えた符号化が可能である。請求項７の発明によれば、圧縮率が高い場合でも不自然な画質劣化を抑えた符号化が可能である。請求項３，６の発明によれば、高域の量子化の程度又は高域のトランケーションの程度が高い場合でも不自然な画質劣化を抑えた符号化が可能である。請求項８乃至１４の発明によれば、以上に述べた各請求項の発明と同様の不自然な画質劣化を抑えた符号化が可能である。請求項１５の発明によれば、コンピュータを利用して、請求項１乃至７の発明を実施することができる、などの効果を得られる。

本発明の最良の実施の形態においてはＪＰＥＧ２０００の適用を想定しているため、まず、ＪＰＥＧ２０００のアルゴリズムの概要について説明する。ただし、本発明において適用される符号化方式は、ＪＰＥＧ２０００が好適であるが、ＪＰＥＧ２０００のみに限定されるものでないことは言うまでもない。

図３はＪＰＥＧ２０００の符号化（圧縮）・復号化（伸張）処理の基本的な流れを示したブロック図である。

例えば、ＲＧＢの３コンポ−ネントで構成されるカラー画像の圧縮時には、各コンポーネントは１以上の重複しないタイルに分割され、各コンポーネントの各タイル毎に処理が行われる。まず、各タイル毎に、ＤＣレベルシフトと輝度・色差コンポ−ネントへのコンポ−ネント変換（色変換）がなされ、次に各コンポーネントの各タイル毎にウェーブレット変換（離散ウェーブレット変換）がなされる。ウェーブレット係数は、サブバンド毎に、必要に応じて量子化が行われた後、ビットプレーンを単位としたエントロピー符号化がなされる（正確には、ビットプレーンは３つのサブビットプレーンに細分化されて符号化される）。そして、不要な符号をトランケートし、必要な符号をまとめてパケットが生成され、パケットを所定の順序に並べ、必要なタグ又はタグ情報が付加されることにより、所定のフォーマットのコードストリーム（符号化データ）が形成される。係数状態でのトランケーションが行われる場合には、必要な上位ビットプレーンのみ符号化される。

復号化（伸張）処理は圧縮処理と丁度逆の処理である。コードストリームは各コンポーネントの各タイルのコードストリームに分解され、ビットプレーン単位でのエントロピー復号、逆量子化を経て得られたコンポ−ネント毎のウェーブレット係数に対して逆ウェーブレット変換が施され、その後、逆色変換及び逆ＤＣレベルシフトがなされてＲＧＢの画素値に戻される。

ＪＰＥＧ２０００のＤＣレベルシフトの変換式と逆変換式は次の通りである。

I(x,y) ← I(x,y)−2^{Ｓｓｉｚ（ｉ）} 順変換
I(x,y) ← I(x,y)＋2^{Ｓｓｉｚ（ｉ）} 逆変換) (1)
ただし、Ｓsiz(i)は原画像の各コンポーネントｉ（ＲＧＢ画像ならｉ＝０，１，２）のビット深さである。

このＤＣレベルシフトは、ＲＧＢ信号値のような正の数である場合に、順変換では各信号値から信号のダイナミックレンジの半分を減算するレベルシフトを、逆変換では各信号値に信号のダイナミックレンジの半分を加算するレベルシフトを行うものである。ただし、このレベルシフトはＹＣｂＣｒ信号のＣｂ，Ｃｒ信号のような符号付き整数には適用されない。

ＪＰＥＧ２０００では、コンポ−ネント変換（色変換）として、可逆変換（ＲＣＴ）と非可逆変換（ＩＣＴ）が定義されている。

ＲＣＴの順変換と逆変換は次式で表される。
順変換
Y_０(x,y)=floor(
(I_０(x,y)+2*(I_１(x,y)+I_２(x,y))/4)
Y_１(x,y)=I_２(x,y)-I_１(x,y)
Y_２(x,y)=I_０(x,y)-I_１(x,y)
逆変換
I_１(x,y)=Y_０(x,y)-floor((Y_２(x,y)+Y_１(x,y))/4)
I_０(x,y)=Y_２(x,y)+I_１(x,y)
I_２(x,y)=Y_１(x,y)+I_１(x,y)) (2)
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号ならば、Ｉ信号において０＝Ｒ，１＝Ｇ，２＝Ｂ、Ｙ信号において０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。floor（Ｘ）は実数Ｘを、Ｘを越えず、かつ、Ｘに最も近い整数に置換する関数である。

ＩＣＴの順変換と逆変換は次式で表される。
順変換
Y_０(x,y)=0.299*I_０(x,y)+0.587*I_１(x,y)+0.144*I_２(x,y)
Y_１(x,y)=-0.16875*I_０(x,y)-0.33126*I_１(x,y)+0.5*I_２(x,y)
Y_２(x,y)=0.5*I_０(x,y)-0.41869*I_１(x,y)-0.08131*I_２(x,y)
逆変換
I_０(x,y)=Y_０(x,y)+1.402*Y_２(x,y)
I_１(x,y)=Y_０(x,y)-0.34413*Y_１(x,y)-0.71414*Y_２(x,y)
I_２(x,y)=Y_０(x,y)+1.772*Y_１(x,y) (3)
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号ならば、Ｉ信号において０＝Ｒ，１＝Ｇ，２＝Ｂ、Ｙ信号において０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。

ＪＰＥＧ２０００では、可逆の５×３ウェーブレット変換と非可逆の９×７ウェーブレット変換が採用される。５×３ウェーブレット変換とは、５画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、３画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。９×７ウェーブレット変換とは、９画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、７画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。主な違いはフィルタの範囲の違いであり、偶数位置中心にローパスフィルタ、奇数位置中心にハイパスフィルタが施されるのは同様である。

５×３ウェーブレット変換の変換式は次の通りである。
（順変換）
C(2i+1)=P(2i+1)−floor（(P(2i)+P(2i+2))/2） [step1]
C(2i)=P(2i)+floor（((C(2i-1)+C(2i+1)+2)/4)| [step2] (4)
（逆変換）
P(2i)=C(2i)−floor（(C(2i-1)+C(2i+1)+2)/4） [step1]
P(2i+1)=C(2i+1)＋floor（(P(2i)+P(2i+2))/2） [step2] (5)

９×７ウェーブレット変換の変換式は次のとおりである。
（順変換）
C(2n+1)=P(2n+1)+α*(P(2n)+P(2n+2)) [step1]
C(2n)=P(2n)+β*(C(2n-1)+C(2n+1)) [step2]
C(2n+1)=C(2n+1)+γ*(C(2n)+C(2n+2)) [step3]
C(2n)=C(2n)+δ*(C(2n-1)+C(2n+1)) [step4]
C(2n+1)=K*C(2n+1) [step5]
C(2n)=(1/K)*C(2n) [step6] (6)
（逆変換）
P(2n)=K*C(2n) [step1]
P(2n+1)=(1/K)*C(2n+1) [step2]
P(2n)=X(2n)-δ*(P(2n-1)+P(2n+1)) [step3]
P(2n+1)=P(2n+1)-γ*(P(2n)+P(2n+2)) [step4]
P(2n)=P(2n)-β*(P(2n-1)+P(2n+2)) [step5]
P(2n)=P(2n+1)-α*(P(2n)+P(2n+2)) [step6] (7)
ただし、α＝-1.586134342059924
β＝-0.052980118572961
γ＝0.882911075530934
δ＝0.443506852043971
Ｋ＝1.230174104914001

一例として、１６×１６画素のモノクロ画像に対して５×３ウェーブレット変換を２次元（垂直方向及び水平方向）に施す過程を、図４乃至８を参照し説明する。

図４のようにＸＹ座標をとり、あるＸ座標について、Ｙ座標がｙである画素の画素値をP（y）（0≦y≦15）と表す。ＪＰＥＧ２０００では、まず垂直方向（Ｙ座標方向）に、Ｙ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得る。次に、Ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのＸ座標について行う)。前記順変換式（４）中のｓｔｅｐ１の式がハイパスフィルタを表し、ｓｔｅｐ２の式がローパスフィルタを表す。

なお、画像の端部においては、中心となる画素に対して隣接画素が存在しない場合があり、この場合には所定ルールによって画素値を補うことになるが、本発明とは本質的には関係しないため詳述しない。

簡単のため、ハイパスフィルタで得られる係数をH、ローパスフィルタで得られる係数をL、と表記すれば、前記垂直方向の変換によって図４の画像は図５のようなL係数とH係数の配列へと変換される。

続いて、図５の係数配列に対して、水平方向に、Ｘ座標が奇数（x=2i+1）の係数を中心にハイパスフィルタを施し，次にＸ座標が偶数（x=2i）の係数を中心にローパスフィルタを施す(これを全てのｙについて行う。この場合、前記順変換式（４）中のP(2i)等は係数値を表すものと読み替える)。

簡単のため、前記L係数を中心にローパスフィルタを施して得られる係数をLL、前記L係数を中心にハイパスフィルタを施して得られる係数をHL、前記H係数を中心にローパスフィルタを施して得られる係数をLH、前記H係数を中心にハイパスフィルタを施して得られる係数をHH、と表記すれば、図５の係数配列は、図６の様な係数配列へと変換される。ここで同一の記号を付した係数群はサブバンドと呼ばれ、図６は４つのサブバンドで構成される。

以上で、１回のウェーブレット変換（１回のデコンポジション（分解））が終了し、LL係数だけを集めると（図７の様にサブバンド毎に集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の“画像”が得られる（このように、サブバンド毎に分類することをデインターリーブと呼び、図６のような状態に配置することをインターリーブするという）。

２回目のウェーブレット変換は、LLサブバンドを原画像と見なして、上記と同様の変換を行えばよい。２回目のウェーブレット変換を行い、係数を並べ替えると、模式的な図８が得られる。

ここで、図７，図８において、係数の接頭の１や２は、何回のウェーブレット変換で該係数が得られたかを示しており、デコンポジションレベルと呼ばれる。また、デコンポジションレベルとほぼ逆の関係にある解像度レベルの定義を図９に示す。

なお、以上の議論において、１次元のみのウェーブレット変換をしたい場合には、垂直又は水平いずれかの方向だけの処理を行えばよい。

一方、５×３ウェーブレット変換の逆変換においては、図６の様なインターリーブされた係数の配列に対して、まず水平方向に、Ｘ座標が偶数（x=2i）の係数を中心に逆ローパスフィルタを施し、次に、Ｘ座標が奇数（x=2i+1）の係数を中心に逆ハイパスフィルタを施す（これを全てのｙについて行う）。前記逆変換式（５）中のｓｔｅｐ１の式が逆ローパスフィルタを表し、ｓｔｅｐ２の式が逆ハイパスフィルタを表す。順変換の場合と同様、画像の端部においては中心となる係数に対して隣接係数が存在しないことがあり、この場合は所定ルールによって適宜係数値を補うことになるが、その説明は割愛する。

これにより、図６の係数配列は図５のような係数配列に変換（逆変換）される。続いて、垂直方向に、Ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次にＹ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施せば（これを全てのＸ座標について行う）、１回のウェーブレット逆変換が終了し、図４の画像に戻る(再構成される)ことになる。なお、ウェーブレット変換が複数回施されている場合は、図４をLLサブバンドとみなし、HL等の他のサブバンドの係数を利用して同様の逆変換を繰り返せばよい。

ＪＰＥＧ２０００では、５×３ウェーブレット変換が利用される場合にはサブバンドを構成する係数に対する量子化は行われない。一方、９×７ウェーブレット変換が利用される場合には、各サブバンドごとに、ウェーブレット係数を線形(スカラー)量子化することができる。この場合、同一のサブバンド内では共通の量子化ステップ数が用いられる。

量子化式を（８）式に、量子化ステップ数（Δb）を（９）式にそれぞれ示す。

q_ｂ(u,v)=sign(a_ｂ(u,v))*floor(|a_ｂ(u,v)|/Δb) (8)
ただし、 a_ｂ(u,v)はサブバンドｂにおける係数
q_ｂ(u,v)はサブバンドｂにおける係数
Δbはサブバンドｂにおける量子化ステップ
Δb=２^{Ｒｂ−εｂ}*floor(1+μb/2^１１) (9)
ただし、 Rbはサブバンドｂにおけるダイナミックレンジ
εbはサブバンドｂにおける量子化の指数
μbはサブバンドｂにおける量子化の仮数

指数εbと仮数μbは、各デコンポジションレベルにおけるすべてのサブバンドを規定する方式と、最下位のデコンポジションレベルにおけるＬＬサブバンドのみ規定し、残りのサブバンドは予め定められている式を用いて規定する方式の２種類がある。前者を明示的な量子化(expounded quantizationもしくはexplicit quantization)、後者を暗黙的な量子化(derived quantizationもしくはimplicit quantization)と呼ぶ。暗黙的な量子化の指数と仮数の組(εb,μb)は（10）式で決定される。
(ε_ｂ,μ_ｂ)=(ε_０-N_Ｌ+n_ｂ，μ_０) (10)
ただし、n_ｂはデコンポジションレベル数

逆量子化式を（11）式に示す。

Rq_ｂ(u,v)=(q_ｂ(u,v)+r*^{２Ｍｂ−Ｎｂ（ｕ，ｖ）})*Δb q_ｂ(u,v)＞0のとき
=(q_ｂ(u,v)-r*2^{Ｍｂ−Ｎｂ（ｕ，ｖ）})*Δb q_ｂ(u,v)＜0のとき
= 0 q_ｂ(u,v)=0のとき (11)

５×３ウェーブレット変換が用いられる場合、量子化ステップ(Δb)は常に１である。これは前述のように量子化しないことを意味する。

ＪＰＥＧ２０００においては、量子化とエントロピー符号化は緊密な関係にあり、量子化後に符号化する構成も、符号化後に符号を破棄する構成（あるいは必要なビットプレーン部分のみ符号化を行う構成）も存在する。量子化を行う場合は、ウェーブレット係数に前述の線形量子化を施し，量子化後の係数で構成されるビットプレーンをエントロピー符号化する。一方、線形量子化をしない場合には、不要なビットプレーンの符号を破棄し、あるいは必要なビットプレーンまでを符号化する（本明細書では、これもトランケーションと呼ぶことは前述の通りである）。５×３ウェーブレット変換を使用する場合は線形量子化は適用できないため、トランケーションのみを行う仕様となっている。

以下、本発明の実施の形態について説明する。

図１０は、本発明の符号化装置の機能的ブロック図である。符号化装置１００は、符号化処理を実行する符号化処理手段１０１と、符号化処理手段１０１においてフィールドベース符号化処理とフレームベース符号化処理のうちのいずれを行うべきか選択するフィールドベース／フレームベース選択手段１０２からなる。符号化処理手段１０１では前述のＪＰＥＧ２０００の符号化アルゴリズムが使用される。

符号化装置１００に入力される画像データは、各フィールドの画像データ（インターレース画像）であっても、奇数フィールド，偶数フィールドのインターレース画像から合成されたフレーム画像であってもよい。フレーム画像が入力される場合には、フィールドベース符号化処理を行う時には、フレーム画像より各フィールドの画像を抽出することになる。フィールド画像が入力される場合には、フレームベース符号化処理を行う時にはフレーム画像の合成を行うことになる。

フィールドベース／フレームベース選択手段１０２はフィールド符号化処理とフレーム符号化処理の一方を選択するが、その選択の基準として、請求項１，２の発明では量子化の程度を利用し、請求項４の発明ではトランケーションの程度を利用し、請求項５の発明では量子化及びトランケーションの程度を利用し、請求項７の発明では圧縮率を利用する。また、量子化の程度とトランケーションの程度として、請求項３，６によれば高域に関するもの、すなわちウェーブレット変換のデコンポジションレベル１に関するものが用いられる。なお、本発明の符号化方法は、符号化処理手段１０１に対応する処理ステップと、フィールドベース／フレームベース選択手段１０２に対応する処理ステップとからなる。したがって、本発明の符号化装置１００に関する説明は、本発明の符号化方法の説明でもある。

このような符号化装置１００の符号化処理手段１０１及びフィールドベース／フレームベース選択手段１０２は（本発明の符号化方法の対応処理ステップは）、パソコンやマイクロコンピュータなどのコンピュータを利用し、プログラム（アプリケーションプログラムやプリンタドライバなどのデバイスドライバ）により実現することも可能である。そのようなプログラムと、それが記録されたコンピュータが読み取り可能な磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種の情報記録（記憶）媒体も本発明に包含される。

コンピュータを利用して本発明を実施する形態について、図１１を参照し簡単に説明する。図１１において、１１０は中央演算処理装置（ＣＰＵ）、１１１はデータやプログラム等を一時的に記憶するためのメモリ、１１２は補助記憶としてのハードディスク装置、１１３はシステムバスである。符号化の対象となる動画は、例えばフレーム画像の形でハードディスク装置１１２に格納されているものとするが、フィールド画像の形で格納されていてもよい。

処理の流れの概略は以下の通りである。まず、ＣＰＵ１１０からの命令により、ハードディスク装置１１２から動画の１つのフレームがメモリ１１１に読み込まれる（１）。ＣＰＵ１１０は、メモリ１１１上のフレームを読み込み（２）、フィールドベース符号化処理かフレームベース符号化処理を選択し、その符号化処理を実行する。ＣＰＵ１１０は、符号化データをメモリ１１１上の別の領域に書き込む（３）。１フレーム分の処理が終わると、ＣＰＵ１１０からの命令によって、符号化データがハードディスク装置１１２に記録される（４）。以上の（１）〜（４）の処理が動画のフレーム数だけ繰り返される。

以下、いくつかの実施例について説明する。なお、各実施例において、説明の簡略化のためＤＣレベルシフト及びコンポーネント変換の処理が省略されている。

本実施例は請求項１，８の発明の一実施例である。本実施例においては、９×７ウェーブレット変換が用いられ、線形量子化が行われる。線形量子化の量子化ステップ数（線形量子化時の除算の分母）は、

量子化ステップ数＝定数×PSNRを最大にするための正規化で決まる数 （12）

とするのが通常である。量子化後の係数が、復号時に逆ウェーブレット変換（一般的には逆周波数変換）されてＲＧＢ値にもどされる場合、各係数に生じた量子化誤差が最終的なＲＧＢ値へ与える影響はサブバンド毎（周波数帯域毎）に異なり、その比は逆ウェーブレット変換（逆周波数変換）時の定数（いわゆるサブバンドゲイン）で決まる。ＰＳＮＲをよくするためには，その影響をサブバンド間で均一にする必要があり、その均一化のためにサブバンドごとに前記ゲインをキャンセルするような量子化を行う。その詳細は非特許文献１に記載されており、ある圧縮率において、逆変換後の信号（＝複数の信号値で構成される）に生じた誤差の二乗平均を最小にする（＝PSNRを最大にする）ためには、各サブバンドをサブバンドゲインの平方根の逆数(の定数倍の値)で線形量子化するのが一般的である。

図１２に、デコンポジションレベル数＝２の場合のサブバンドゲインの平方根の逆数を示す。

また、原画像が複数のコンポ−ネントから成る場合は、基本量子化ステップ数に前記逆ＩＣＴ（逆非可逆コンポ−ネント変換）のゲインを加味して、各コンポ−ネントの量子化ステップ数を計算する。逆ＩＣＴのゲインとは、各コンポ−ネントに生じた単位誤差によってＲＧＢ値に生じるエラーの二乗和であって、逆ＩＣＴの式（前出）より一意に定まる。逆ＩＣＴのゲインの平方根及びその逆数は図１３に示すような値となる。

よって、式（12）に逆ＩＣＴのゲインの平方根の逆数を乗じれば、「定数×ICT使用下でPSNRを最大にするための正規化で決まる数」（図１４）が求まる。以下、これを基本量子化ステップ数（サイズ）とよぶ。ここでは、定数＝逆ＩＣＴのＹコンポーネントのサブバンドゲインの平方根、としている。

そして、本実施例においては、従来のＪＰＥＧでいうところの“スケーリングファクタ“と同じような、ユーザ指定の定数を用い、

量子化ステップ数＝ユーザ指定の定数（スケーリングファクタｋ）
×基本量子化ステップ数（図１４） （13）

により決定した量子化ステップ数を用いてサブバンドの係数の量子化を行う。これにより、ユーザが意図する量子化の程度を反映した線形量子化が可能になる。

本実施例においては、量子化の程度を決定するユーザ指定の定数（スケーリングファクタｋ）と所定値との大小比較により、フィールドベース符号化とフレームベース符号化の一方を選択する。より具体的には、ｋ＞６４の場合にフィールドベース符号化を選択し，ｋ≦６４の場合にフレームベース符号化を選択する。

図１５は、本実施例における処理の概略フローチャートである。

まず、フィールドベース／フレームベース選択手段１０２において、ユーザにより指定されたスケーリングファクタｋと所定値６４の大小比較が行われ（ステップＳ１０１）、ｋ＞６４ならばフィールドベース符号化処理が選択され（ステップＳ１０２）、ｋ≦６４ならばフレームベース符号化処理が選択される（ステップＳ１０３）。以下、選択された符号化処理が符号化処理手段１０１により実行される。

フレームベース符号化処理が選択された場合について説明すると、フレーム画像に対する９×７ウェーブレット変換が実行される（ステップＳ１１０）。各コンポーネントの各サブバンドに関し、式（１３）により量子化ステップ数が計算される（ステップＳ１１１）。各コンポーネントの各サブバンド毎に、ウェーブレット係数に対し、計算された量子化ステップ数を用いた線形量子化が行われる（ステップＳ１１２）。そして、各コンポーネントの各サブバンド毎に、量子化後の係数の全ビットプレーンがエントロピー符号化される（ステップＳ１１３）。最後に、パケットの生成と符号形成の処理が実行され（ステップＳ１１４）、当該フレームに対するコードストリームが生成される。

次に、フィールドベース符号化処理が選択された場合の処理について説明する。この場合、図１７に模式的に示すように、フレーム画像は、１ライン置きにデータを選ぶことにより偶数フィールドと奇数フィールドに分解される。フレームを構成する奇遇フィールドの時間関係によって、図１７の（ａ）に示すようにフィールド分解される場合と、図１７の（ｂ）に示すようにフィールド分解される場合とがある。

そして、各フィールド画像に対しウェーブレット変換以降の処理が行われ、各フィールド毎にコードストリームが生成される。各フィールド画像に対する処理内容はフレームベース符号化処理の場合と同様である。すなわち、各フィールド画像に対し９×７ウェーブレット変換が行われ（ステップＳ１０４）、各コンポーネントの各サブバンドに関し、式（１３）により量子化ステップ数が計算され（ステップＳ１０５）、各コンポーネントの各サブバンド毎に、ウェーブレット係数の線形量子化が行われ（ステップＳ１０６）、各コンポーネントの各サブバンド毎に量子化後の係数の全ビットプレーンがエントロピー符号化され（ステップＳ１１３）、最後にパケットの生成と符号形成の処理が実行され（ステップＳ１０８）、かくして各フィールドのコードストリームが生成される。

なお、量子化ステップ数の計算及び線形量子化の処理（ステップＳ１１１，Ｓ１１２あるいはステップＳ１０５，Ｓ１０６）のより具体的な処理フローを図１６に示す。このフローチャートに示すように、コンポーネントを選択し（ステップＳ１２０，Ｓ１２１，Ｓ１２２）、選択したコンポーネントのサブバンドを順に選びながら量子化ステップ数を計算して量子化を行う（ステップＳ１２１，Ｓ１２３，Ｓ１２４，Ｓ１２５）。全てのコンポーネントの全てのサブバンドが処理済みとなると（ステップＳ１２０，Ｙｅｓ）、パケット生成、符号形成の処理（ステップＳ１１５又はＳ１０８）へ進む。

本実施例は請求項４，１１の発明の一実施例である。本実施例においては、５×３ウェーブレット変換が利用され、ウェーブレット係数の線形量子化は行われず、係数段階でのトランケーションが行われる。

前述のように、５×３ウェーブレット変換を利用する場合の基本的な処理の流れは、

原信号のサブバンドへのウェーブレット変換 → ウェーブレット係数を、サブバンドごとに必要な上位ビットプレーン（あるいは上位サブビットプレーン）のみ符号化である。

そして、本実施例においても、従来のＪＰＥＧでいう“スケーリングファクタ“と同じような、ユーザ指定の定数を用い、サブバンド毎に、上記「必要な上位ビットプレーン」以外の「不要な下位ビットプレーン」、すなわちトランケートするビットプレーン数を以下の様に計算する。ただし、５×３ウェーブレット変換の場合のサブバンドゲインの平方根の逆数は図１８に示す値をとる。また、色変換としてＲＣＴが用いられるが、逆ＲＣＴのゲインの平方根は図１９に示す値をとる。よって、このようなサブバンドゲインの平方根の逆数に逆ＲＣＴのゲインの平方根の逆数を乗じ、さらにユーザ指定の定数を乗じれば、「定数×ＲＣＴ使用下でPSNRを最大にするための正規化で決まる数」（図２０）が求まる。本例では、定数＝逆ＲＣＴのＹコンポーネントのサブバンドゲインの平方根、としている。

そして、図２０に示す値にスケーリングファクタを乗じた値が、９ｘ７ウェーブレット変換を利用する場合の前記式（１３）の値に相当することになる。ただし、５ｘ３ウェーブレット変換を使用する場合には線形量子化は適用できないため，本実施例では、上記値をトランケートするビットプレーン数（トランケーション数）に変換する。

ビットプレーンｎ枚のトランケートは、量子化誤差的観点からは、２^ｎによるウェーブレット係数の線形量子化と等価であるから、
トランケーション数＝log_２(図２０の値×スケーリングファクタｋ) （14）
であり、例えばｋ＝３２の場合、図２０は図２１のトランケート数に換算される。ただし、ビットプレーン数は整数であるから、右辺に対し四捨五入等によって丸めを行う。

そして、本実施例でも、トランケートの程度を決定付ける上記ユーザ指定の定数（スケーリングファクタｋ）と所定値との大小比較により、フィールドベース符号化又はフレームベース符号化を選択する。本実施例では、所定値は６４で、ｋ＞６４の場合にフィールドベース符号化が選択され、ｋ≦６４の場合にフレームベース符号化が選択される。

図２２は、本実施例における処理の概略フローチャートである。

まず、フィールドベース／フレームベース選択手段１０２において、ユーザにより指定されたスケーリングファクタｋと所定値６４の大小比較が行われ（ステップＳ２０１）、ｋ＞６４ならばフィールドベース符号化処理が選択され（ステップＳ２０２）、ｋ≦６４ならばフレームベース符号化処理が選択される（ステップＳ２０３）。そして、選択された符号化処理が符号化処理手段１０１により実行される。

フレームベース符号化処理が選択された場合について説明すると、まず、フレーム画像に対する５×３ウェーブレット変換が実行される（ステップＳ２０８）。各コンポーネントの各サブバンドに関し、式（１４）によりトランケーション数が計算される（ステップＳ２０９）。各コンポーネントの各サブバンド毎に、トランケーション数に従ってウェーブレット係数の必要な上位ビットプレーン（又は必要な上位サブビットプレーン）のみエントロピー符号化される（ステップＳ２１０）。つまり、ステップＳ２０９で計算されたトランケーション数だけ係数状態でトランケーションが行われる。そして、最後にパケットの生成と符号形成の処理が実行され（ステップＳ２１１）、当該フレームに対するコードストリームが生成される。

次に、フィールドベース符号化処理が選択された場合の処理について説明する。この場合、前述のようにフレーム画像は偶数フィールドと奇数フィールドに分解され（図１７参照）、各フィールド画像に対しウェーブレット変換以降の処理が行われ、各フィールド毎にコードストリームが生成される。

各フィールド画像に対する処理内容はフレームベース符号化処理の場合と同様である。すなわち、各フィールド画像に対し５×３ウェーブレット変換が行われ（ステップＳ２０４）、各コンポーネントの各サブバンドに関し、式（１４）によりトランケーション数が計算される（ステップＳ２０５）。各コンポーネントの各サブバンド毎に、トランケーション数に従ってウェーブレット係数の必要な上位ビットプレーン（又は必要な上位サブビットプレーン）のみエントロピー符号化され（ステップＳ２０６）、最後にパケットの生成と符号形成の処理が実行され（ステップＳ２０７）、当該フレームの各フィールドに対するコードストリームが生成される。

なお、トランケーション数の計算及びエントロピー符号化の処理（ステップＳ２０９，Ｓ２１０あるいはステップＳ２０５，Ｓ２０６）のより具体的な処理フローを図２３に示す。このフローチャートに示すように、コンポーネントを選択し（ステップＳ２２０，Ｓ２２１，Ｓ２２２）、選択したコンポーネントのサブバンドを順に選びながらトランケーション数を計算し、必要な上位ビットプレーン（又は必要な上位サブビットプレーン）のみをエントロピー符号化する（ステップＳ２２１，Ｓ２２３，Ｓ２２４，Ｓ２２５）。全てのコンポーネントの全てのサブバンドが処理済みとなると（ステップＳ２２０，Ｙｅｓ）、パケット生成、符号形成の処理（ステップＳ２１１又はＳ２０７）へ進む。

本実施例では、９×７ウェーブレット変換を使用し、線形量子化及びトランケーションの両方が行われる。トランケーションは係数状態で行われる。

本実施例では、線形量子化の量子化ステップ数として図１４の基本量子化ステップ数が用いられ、トランケーションされるビットプレーン数（トランケーション数）は次式により計算される。

トランケーション数＝log_２(図14の基本量子化ステップ数×サブバンドゲインの平方根
×逆ＩＣＴゲインの平方根×スケーリングファクタｋ) （15）
本実施例においても、スケーリングファクタｋと所定値（ここでは６４）との大小比較を行い、ｋ＞６４の場合にフィールドベース符号化を選択し、ｋ≦６４の場合にフレームベース符号化を選択する。

なお、線形量子化の量子化ステップ数をスケーリングファクタに応じて変化させることも可能であり、また、トランケーション数の決定方法も上記のみに限定されるわけではない。

図２４は、本実施例における処理の概略フローチャートである。

まず、フィールドベース／フレームベース選択手段１０２において、ユーザ指定のスケーリングファクタｋと所定値６４の大小比較が行われ（ステップＳ３０１）、ｋ＞６４ならばフィールドベース符号化処理が選択され（ステップＳ３０２）、ｋ≦６４ならばフレームベース符号化処理が選択される（ステップＳ３０３）。以下、選択された符号化処理が符号化処理手段１０１により実行される。

フレームベース符号化処理が選択された場合には、まず、フレーム画像に対する９×７ウェーブレット変換が実行される（ステップＳ３０９）。各コンポーネントの各サブバンドに関し、基本量子化ステップ数（図１４）を用いた線形量子化が行われる（ステップＳ３１０）。次に、各コンポーネントの各サブバンド毎に、式（１５）によりトランケーション数が計算される（ステップＳ３１１）。そして、各コンポーネントの各サブバンド毎に、トランケーション数に従って係数の必要な上位ビットプレーン（又は必要な上位サブビットプレーン）のみがエントロピー符号化される（ステップＳ３１２）。最後にパケットの生成と符号形成の処理が実行され（ステップＳ３１３）、当該フレームのコードストリームが生成される。

フィールドベース符号化処理が選択された場合には、前述のように、フレーム画像は偶数フィールドと奇数フィールドに分解され（図１７参照）、各フィールド画像に対し９×７ウェーブレット変換が行われる（ステップＳ３０４）。以下の処理も偶数フィールドと奇数フィールドについて別々に行われる。すなわち、各コンポーネントの各サブバンドに関し、基本量子化ステップ数（図１４）を用いた線形量子化が行われ（ステップＳ３０５）、次に各コンポーネントの各サブバンド毎に、式（１５）によりトランケーション数が計算され（ステップＳ３０６）、各コンポーネントの各サブバンド毎に、トランケーション数に従って係数の必要な上位ビットプレーン（又は必要な上位サブビットプレーン）のみがエントロピー符号化される（ステップＳ３０７）。最後にパケットの生成と符号形成の処理が実行され（ステップＳ３０８）、当該フレームの各フィールドのコードストリームが生成される。

なお、線形量子化の処理（ステップＳ３０５又はＳ３１０）は、基本量子化ステップ数を用いる点を除けば図１６と同様の処理フローとなる。また、トランケーション数の計算とエントロピー符号化の処理（ステップＳ３０６，Ｓ３０７又はステップＳ３１１，Ｓ３１２）は、トランケーション数の計算式の違いを除けば、図２３と同様の処理フローとなる。

本実施例は請求項７，１４の発明の一実施例である。本実施例においては、ユーザにより圧縮率が指定され、その圧縮率が得られるようにトランケーションが制御される。このトランケーションは符号段階で行われる。５×３ウェーブレット変換が用いられ、線形量子化は行われない。また、ユーザにより指定された圧縮率が所定値（ここでは３０）より大きい場合にフィールドベース符号化が選択され、そうでない場合にはフレームベース符号化が選択される。

図２５は本実施例における処理の概略フローチャートである。

スケーリングファクタｋに初期値として１が設定される（ステップＳ４０１）。フィールドベース／フレームベース選択手段１０２において、ユーザにより指定された圧縮率と所定値３０との大小比較が行われ（ステップＳ４０２）、圧縮率＞３０ならばフィールドベース符号化が選択され（ステップＳ４０３）、圧縮率≦３０ならばフレームベース符号化が選択される（ステップＳ４０４）。

フィールドベース符号化が選択された場合には、符号化処理手段１０１において、フレーム画像は偶数フィールドと奇数フィールドに分解され（図１７参照）、各フィールド画像に対し５×３ウェーブレット変換が行われる（ステップＳ４０５）。以下の処理も偶数フィールドと奇数フィールドについて別々に行われる。各コンポーネントのウェーブレット係数がサブバンド毎に全ビットプレーンについてエントロピー符号化され、その際に、各サブバンド毎の各ビットプレーンの符号量が保存される（ステップＳ４０６）。スケーリングファクタを用い前記式（１４）により各サブバンドのトランケーション数が計算される（ステップ）。保存されている符号量と求められたトランケーション数から、そのトランケーション数分の符号のトランケーションを行った場合の符号量を計算し、トランケーション後の圧縮率を算出する（ステップＳ４０８）。この算出した圧縮率とユーザにより指定された圧縮率との比較判定を行い（ステップＳ４０９）、算出圧縮率がユーザ指定の圧縮率より小さいときにはスケーリングファクタｋをインクリメントし（ステップＳ４１０）、ステップＳ４０７へ戻る。このようにスケーリングファクタを順次増加させながら圧縮率の判定が繰り返され、算出された圧縮率がユーザ指定の圧縮率以上となった段階で、その時のトランケーション数によるトランケーション後の符号からパケットが生成され、さらに符号形成が行われ（ステップＳ４１１）、かくして、ユーザにより指定された圧縮率のコードストリームが各フィールド毎に生成される。

フレームベース符号化が選択された場合には、符号化処理手段１０１によりフレームベ
ース符号化処理が実行される。その処理ステップＳ４１３〜Ｓ４１９は、フレームベース
であることを除けば、ステップＳ４０５〜Ｓ４１１と同様の内容であるので説明を省略す
る。

本実施例は請求項２，３，９，１０の発明の一実施例である。本実施例においては、９×７ウェーブレット変換が用いられ、線形量子化が行われるが、その各サブバンドの量子化ステップ数がユーザにより指定される。フィールドベース符号化又はフレームベース符号化の選択に、ユーザにより指定される高域のサブバンドの量子化ステップ数（量子化の程度）が用いられる。本実施例においては、最も高域のデコンポジションレベル１のサブバンド（１ＬＨ，１ＬＨ，１ＨＨ）の輝度の量子化ステップ数のいずれかが閾値を越える場合にフィールドベース符号化が選択され、それ以外の場合にフレームベース符号化が選択される。本実施例では、その閾値として１２８が用いられる。

図２６は本実施例における処理の概略フローチャートである。

フィールドベース／フレームベース選択手段１０２において、ユーザにより指定されたデコンポジションレベル１の輝度の量子化ステップ数のうちの最大の量子化ステップ数を閾値１２８と大小比較し（ステップＳ５０１）、その量子化ステップ数が１２８を越えるならばフィールドベース符号化が選択され（ステップＳ５０２）、そうでなければフレームベース符号化が選択される（ステップＳ５０３）。

フィールドベース符号化が選択された場合、符号化処理手段１０１において、フレーム画像は偶数フィールドと奇数フィールドに分解され（図１７参照）、各フィールド毎に以下の処理が実行される。まず、各フィールド別に、９×７ウェーブレット変換が行われ（ステップＳ５０４）、各コンポーネントの各サブバンドに関し、ユーザにより指定された量子化ステップ数を用いた線形量子化が行われる（ステップＳ５０５）。各コンポーネントの各サブバンド毎に量子化後の係数が全ビットプレーンについてエントロピー符号化され（ステップＳ５０６）、最後にパケットの生成と符号形成の処理が実行され（ステップＳ５０７）、かくして各フィールドのコードストリームが生成される。

フレームベース符号化が選択された場合、符号化処理手段１０１において、フレーム画像に対しステップＳ５０４〜Ｓ５０７と同様の処理が実行され（ステップＳ５０８〜Ｓ５１１）、当該フレームに対するコードストリームが生成される。

本実施例は請求項５，６，１２，１３の発明の実施例である。本実施例においては、９×７ウェーブレット変換が用いられ、線形量子化と係数段階のトランケーションが行われる。各サブバンドの量子化ステップ数及びトランケーション数がユーザにより指定される。フィールドベース符号化又はフレームベース符号化の選択に、ユーザにより指定される高域のサブバンドの量子化ステップ数及びトランケーション数（量子化及びトランケーションの程度）が用いられる。本実施例においては、最も高域のデコンポジションレベル１のサブバンド（１ＬＨ，１ＬＨ，１ＨＨ）の輝度の量子化ステップ数及びトランケーション数が用いられる。

フィールドベース符号化又はフレームベース符号化の選択は、具体的には、デコンポジションレベル１のサブバンド（１ＬＨ，１ＬＨ，１ＨＨ）の輝度の量子化ステップ数及びトランケーション数(TN)より
量子化ステップ数×２^ＴＮ
を計算し、求められた値のいずれかが閾値を越える場合にフィールドベース符号化が選択され、それ以外の場合にフレームベース符号化が選択される。本実施例では、その閾値として１２８が用いられる。

図２７は本実施例における処理の概略フローチャートである。

まず、フィールドベース／フレームベース選択手段１０２において、上記値と閾値との大小比較が行われ（ステップＳ６０１）、そのいずれかの値が閾値より大きい場合にフィールドベース符号化が選択され（ステップＳ６０２）、それ以外の場合にはフレームベース符号化が選択される（ステップＳ６０３）。

フィールドベース符号化が選択された場合、符号化処理手段１０１において、フレーム画像は偶数フィールドと奇数フィールドに分解され（図１７参照）、各フィールド毎に以下の処理が実行される。まず、各フィールド別に、９×７ウェーブレット変換が行われ（ステップＳ６０４）、各コンポーネントの各サブバンドに関し、ユーザにより指定された量子化ステップ数を用いた線形量子化が行われる（ステップＳ６０５）。各コンポーネントの各サブバンド毎に量子化後の係数が、ユーザにより指定されたトランケーション数に従って必要な上位ビットプレーンのみエントロピー符号化され（ステップＳ６０６）、最後にパケットの生成と符号形成の処理が実行され（ステップＳ６０７）、かくして各フィールドのコードストリームが生成される。

フレームベース符号化が選択された場合、符号化処理手段１０１において、フレーム画像に対しステップＳ６０４〜Ｓ６０７と同様の処理が実行され（ステップＳ６０８〜Ｓ６１１）、当該フレームに対するコードストリームが生成される。

図２８に、デコンポジションレベル数２の場合の一般的なＪＰＥＧ２０００の符号の構成例を示す。図中、「最下位ｂｉｔ（付近）のビットプレーン」とは、トランケーションされずに残った最も下位のビットプレーンの符号を意味する。

以上、いくつかの実施例について説明したが、本発明はそれら実施例にのみ限定されるものではなく、様々な実施の態様をとり得ることは明白である。

フィールド間の動きと櫛形を説明するための図である。 フィールド間の動きによる”残像現象”を説明するための図である。 ＪＰＥＧ２０００の圧縮／伸長処理の流れを示すブロック図である。 ２次元ウェーブレット変換を説明するための原画像と座標系を示す図である。 垂直方向へのフィルタリング後の係数配列を示す図である。 水平ほうこうへのフィルタリング後の係数配列を示す図である。 デインターリーブした係数配列を示す図である。 ２回のウェーブレット変換後のデインターリーブした係数配列を示す図である。 デコンポジションレベルと解像度レベルの関係を示す図である。 本発明の符号化装置のブロック図である。 本発明をコンピュータを利用して実施する形態を説明するための図である。 ９×７ウェーブレット変換のサブバンドゲインの平方根の逆数を示す図である。 逆ＩＣＴのゲインの平方根とその逆数を示す図である。 基本量子化ステップ数を示す図である。 実施例１における処理の概略フローチャートである。 量子化ステップ数の計算及び線形量子化の処理の詳細なフローチャートである。 フレーム画像のフィールド分割を説明するための図である。 ５×３ウェーブレット変換のサブバンドゲインの平方根の逆数を示す図である。 逆ＲＣＴのゲインの平方根とその逆数を示す図である。 ５×３ウェーブレット変換の場合の基本量子化ステップ数相当の値を示す図である。 ５×３ウェーブレット変換を用いる場合のトランケーション数の例（ただしｋ＝３２）を示す図である。 実施例２における処理のフローチャートである。 トランケーション数の計算及びエントロピー符号化の処理の詳細フローチャートである。 実施例３における処理のフローチャートである。 実施例４における処理のフローチャートである。 実施例５における処理のフローチャートである。 実施例６における処理のフローチャートである。 符号構成例を示す図である。

符号の説明

１０１ 符号化処理手段
１０２ フィールドベース／フレームベース選択手段

Claims (15)

1. インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理手段と、
   前記符号化処理手段においてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択手段とを有し、
   前記選択手段は、符号化処理における周波数係数の量子化のための量子化ステップ数を決定するユーザ指定の定数が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化装置。
2. インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理手段と、
   前記符号化処理手段においてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択手段とを有し、
   前記選択手段は、符号化処理における周波数係数の量子化のためのユーザ指定の量子化ステップ数が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化装置。
3. 請求項２に記載の符号化装置において、
   符号化処理において周波数変換としてウェーブレット変換が用いられ、
   前記ユーザ指定の量子化ステップ数は、ウェーブレット変換のデコンポジションレベル１のサブバンドに関するものであることを特徴とする符号化装置。
4. インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理手段と、
   前記符号化処理手段においてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択手段とを有し、
   前記選択手段は、符号化処理における周波数係数の破棄される下位ビットプレーン数もしくはサブビットプレーン数を決定するユーザ指定の定数が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化装置。
5. インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理手段と、
   前記符号化処理手段においてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択手段とを有し、
   前記選択手段は、符号化処理における周波数係数の量子化のためのユーザ指定の量子化ステップ数、及び、周波数係数の破棄されるユーザ指定の下位ビットプレーン数もしくはサブビットプレーン数（トランケーション数という）ＴＮを用いて計算される
   量子化ステップ数×２ ^ＴＮ
   の値が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化装置。
6. 請求項５に記載の符号化装置において、
   符号化処理において周波数変換としてウェーブレット変換が用いられ、
   前記ユーザ指定の量子化ステップ数及び前記ユーザ指定のトランケーション数は、ウェーブレット変換のデコンポジションレベル１のサブバンドに関するものであることを特徴とする符号化装置。
7. インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理手段と、
   前記符号化処理手段においてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択手段とを有し、
   前記選択手段は、ユーザ指定の圧縮率が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化装置。
8. インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理ステップと、
   前記符号化処理ステップにおいてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択ステップとを有し、
   前記選択ステップは、符号化処理における周波数係数の量子化のための量子化ステップ数を決定するユーザ指定の定数が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化方法。
9. インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理ステップと、
   前記符号化処理ステップにおいてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択ステップとを有し、
   前記選択ステップは、符号化処理における周波数係数の量子化のためのユーザ指定の量子化ステップ数が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化方法。
10. 請求項９に記載の符号化方法において、
    符号化処理において周波数変換としてウェーブレット変換が用いられ、
    前記ユーザ指定の量子化ステップ数は、ウェーブレット変換のデコンポジションレベル１のサブバンドに関するものであることを特徴とする符号化方法。
11. インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理ステップと、
    前記符号化処理ステップにおいてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択ステップとを有し、
    前記選択ステップは、符号化処理における周波数係数の破棄される下位ビットプレーン数もしくはサブビットプレーン数を決定するユーザ指定の定数が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化方法。
12. インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理ステップと、
    前記符号化処理ステップにおいてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択ステップとを有し、
    前記選択ステップは、符号化処理における周波数係数の量子化のためのユーザ指定の量子化ステップ数、及び、周波数係数の破棄されるユーザ指定の下位ビットプレーン数もしくはサブビットプレーン数（トランケーション数という）ＴＮを用いて計算される
    量子化ステップ数×２ ^ＴＮ
    の値が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化方法。
13. 請求項１２に記載の符号化方法において、
    符号化処理において周波数変換としてウェーブレット変換が用いられ、
    前記ユーザ指定の量子化ステップ数及び前記ユーザ指定のトランケーション数は、ウェーブレット変換のデコンポジションレベル１のサブバンドに関するものであることを特徴とする符号化方法。
14. インターレース画像に対しフィールドベースの符号化処理又はフレームベースの符号化処理を行う符号化処理ステップと、
    前記符号化処理ステップにおいてフィールドベースの符号化処理とフレームベースの符号化処理のうちのいずれを実行するかを選択する選択ステップとを有し、
    前記選択ステップは、ユーザ指定の圧縮率が所定値を超える場合にフィールドベースの符号化処理を選択し、そうでない場合にフレームベースの符号化処理を選択することを特徴とする符号化方法。
15. 請求項１乃至７のいずれか１項に記載の各手段としてコンピュータを機能させるプログラム。

Images