JP4771263B2 - エントロピ符号化／復号化方法及びエントロピ符号化／復号化装置 - Google Patents

Description

本発明は、ＪＰＥＧ（Joint Photographic Experts Group）２０００方式に基づいてデジタル画像データを符号化（圧縮）して復号化（伸張）するエントロピ符号化／復号化方法及びエントロピ符号化／復号化装置に関する。

近年の代表的な画像圧縮方式として、ＩＳＯ（International Standard Organization)によって標準化されたＪＰＥＧ方式があった。この方式は、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform)を用いて、比較的高いビットが割り当てられる場合には、良好な符号化画像及び復号化画像を提供することができるが、ある程度以上に符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になって、画質劣化が目立つようになるという問題がある。

そこで、上記のＪＰＥＧ方式に代わる次世代の画像圧縮国際標準としてＪＰＥＧ２０００方式が新たに標準化された。このＪＰＥＧ２０００方式は、ＤＣＴに代わる離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform) に高能率なエントロピ符号化（ビットプレーン単位のビット・モデリングと算術符号化）を組み合わせた方式を採用しており、従前のＪＰＥＧ方式に比べて符号化効率の大きな改善を実現できる。

ＪＰＥＧ２０００方式は、ある画素の状態（輝度、明度）を周囲の画素の状態との類似性が高いという画像の性質を利用して圧縮する方式である。図９は、このＪＰＥＧ２０００方式の符号化（圧縮）処理過程を示すブロック図である。

まず、入力画像を空間領域から周波数領域に変換する。即ち、入力画像に対して離散ウェーブレット変換を施すことにより、入力画像を複数のサブバンドに分割する。離散ウェーブレット変換は、離散コサイン変換とは異なり、ブロックノイズが発生しない性質を持っている。次いで、各サブバンド毎のウェーブレット変換係数に対して量子化処理を施す。そして、得られたサブバンド毎の量子化係数に対して、ＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation)によりエントロピ符号化（圧縮）を行う。このエントロピ符号化は、データの出現確率に基づき異なる長さの符号長を用いることにより、効率的な符号化を行う符号化手法である。

図１０は、ＥＢＣＯＴにおける処理過程を示すブロック図である。まず、量子化されたデータ全体をコードブロック化する。即ち、図１１に示すように、量子化された画像データを所定画素数の領域ごとに分割する。１つのコードブロックは、通常は３２×３２画素、６４×６４画素で構成されるが、以下の例では説明を簡易とするために、図１１に示す如く４×４画素とする。

次いで、各コードブロック毎にビットプレーン分解を行う。即ち、図１２に示すように、コードブロックの各画素の量子化係数をビット表現した場合の各位ごとにコードブロックを分解する。コードブロックを複数のビットプレーンに分けることにより、意味がある情報が多い上位ビットプレーンからノイズが多い下位ビットプレーンまで分けて扱うことができる。

図１２の例では、量子化係数は０〜７の何れかの数値であり、３ビットの２進数で表現される。これらの３ビットの値（”０”か”１”）は、各位ごとに分解されて、複数のビットプレーンが作成される。各位ごとにビットプレーンが作成されるので、量子化係数を示すビット数とビットプレーンの数とは一致する。本例では、量子化係数が３ビットで表現されているので、図１２に示すように、作成されるビットプレーンは３つ（上位、中位、下位）である。

次いで、ビットプレーンを構成する各ビットをその重要度に基づいて、ＳＰ（Significant Propagation)パス、ＭＲ（Magnitude Refinement) パス、ＣＵ（Clean Up）パスの何れかのパスに分類するパス判定を行う。この分類は、自身の有意情報（有意とは”１”である状態）と、前ビットプレーンでの有意情報と、同ビットプレーンでの周囲（８近傍）状態とに基づいて行われる。

図１３は、このようなパスの分類条件を示すフローチャートであり、図１４は、各ビットプレーンでのパス判定の処理手順を示す図である。ＭＲパス及びＣＵパスの判定は、該当ビットの有意情報だけで行えるが、ＳＰパスの判定は該当ビットと周囲ビットとの有意情報が必要となる。従来は、図１４に示すように、各ビットプレーン内でＳＰパスの判定処理を行った後に、ＭＲパス、ＣＵパスの順で判定処理を行っている。

一度有意に変化したビットはＭＲパスで符号化され、このＭＲパスで符号化されたビットは精度を左右する役割を担う。自身は一度も有意に変化しないが、その周囲が有意に変化しているビットはＳＰパスで符号化される。このＳＰパスで符号化されたビットは、次に有意に変化する確率が高く、画像品質に最も影響を与えるビットとなる。残されたビット、つまり一度も有意に変化せず、しかも周囲が有意に変化していないビットはＣＵパスで符号化される。

図１２に示した各ビットプレーンをパス判定した結果を図１５に示す。図１５に示すように、ビットプレーンの読み込みごとに更新される有意ビットプレーンを利用し、上位ビットプレーンで更新された有意ビットプレーンを参照することにより、パスの判定を行う。なお、最上位のビットプレーンでは全てのビットがＣＵパスで符号化される。なお、実際に走査される列は４ビットの幅で処理されるが、図１５では簡略化のために１ビットの幅で走査しているように図示している。以下、ビット走査を同様の簡略表記で説明する。

次いで近傍情報に基づいたコンテキスト生成が行われる。上記パスは、自身の有意情報だけではなく、その近傍ビットの状態の影響を受ける。近傍ビットまで考慮した状態はコンテキスト・ベクトルと呼ばれ、水平方向の近傍、垂直方向の近傍、対角方向の近傍の合計８つの要素で構成される。ＪＰＥＧ２０００方式では対称性などを利用してコンテキスト・ベクトルを１８種類にまで集約し、それぞれにコンテキスト・ラベルという番号を振る。

図１６は、ＭＱ符号化の概念を示す図である。上述したパス判定とコンテキスト生成とによって、各ビット自身の値（”０”か”１”）を示すデシジョン（decision）と有意情報のパターンを表すコンテキスト（context)とが出力される。コンテキストは、各ビット自身の値、判定された分類パス、周辺ビットの有意状態とから求められる。ＭＱ符号化処理では、入力される情報（デシジョン及びコンテキスト）に基づいて出現確率を推定し、算術符号化技術によってデータの符号化（圧縮）を行う。

図１７は、ＪＰＥＧ２０００方式の復号化（伸張）処理過程を示すブロック図である。復号化処理では、基本的に符号化処理時の動作の逆の動作をたどることになる。

復号化されたビットを用いてパス判定が行われて、コンテキストが生成される。全ビットプレーンのビットの復号化が終了した後、逆量子化が行われる。その後、逆ウェーブレット変換が施されて、元の画像データに復元される。
特開２００３−３２４９６号公報 特開２００５−１８４５１１号公報 特開２００６−１９８１４号公報

図１７に示す復号化過程におけるパス判定処理では、当該ビットの周辺の有意状態を参照する。図１７に示されるように、復号化には、パス判定→コンテキスト生成→ＭＱ復号化の３つのステップが必要であるため、該当ビットのパス判定を行うためには、前ビットに関してこれらの３つのステップ全てが完了している必要がある。したがって、該当ビットのパス判定を開始する際には、前ビットの３つのステップ全てが完了するまで待機しなければならない。

符号化過程または復号化過程においてパス分類処理を行うためには、周囲ビットの有意情報を必要とする。したがって、ビットプレーンの走査処理は、従来、図１８に示すように、上位ビットプレーン走査完了後に、その下位のビットプレーン走査を開始している。走査は１ビットずつのシリアルに転送されるため、処理速度の遅延を招くという問題、また、上位の有意ビットプレーンのデータを記憶しておく必要があるため、ビットプレーン１枚分の記憶領域を必要とする問題がある。

また、符号化過程または復号化過程におけるパス判定処理では、従来、図１４に示すように、上位ビットプレーンでの各パスの判定を完了した後に次の下位ビットプレーンでのパスの判定を開始するようにしている。各パスは前のパスの結果を用いて次のパスの処理を行うため、１つのビットプレーンにおけるパス判定処理がＳＰパス、ＭＲパス、ＣＵパスの３サイクルを必要とする。この結果、処理の遅延を招くという問題、また、ビットプレーン１枚分の記憶領域を必要とする問題がある。

本発明は斯かる事情に鑑みてなされたものであり、復号化過程にあってパス判定及び／またはコンテキスト生成を投機的に行うことにより、全体処理の高速化を図れるエントロピ符号化／復号化方法及びエントロピ符号化／復号化装置を提供することを目的とする。

本発明の他の目的は、符号化過程または復号化過程にあって、複数のビットプレーンの走査をオーバラップして行うことにより、使用するメモリ容量の削減を図れるとともに、全体処理の高速化を図れるエントロピ符号化／復号化方法及びエントロピ符号化／復号化装置を提供することにある。

本発明の更に他の目的は、符号化過程または復号化過程にあって、一つのビットプレーンにおける複数のパス判定をオーバラップして行うことにより、使用するメモリ容量の削減を図れるとともに、全体処理の高速化を図れるエントロピ符号化／復号化方法及びエントロピ符号化／復号化装置を提供することにある。

第１発明に係るエントロピ符号化／復号化方法は、デジタル画像データを符号化して復号化するエントロピ符号化／復号化方法において、符号化された符号列を復号化する復号化ステップと、復号化対象のビットよりビットプレーン走査上で先行するビットをパス判定するパス判定ステップと、復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットのコンテキストを生成するコンテキスト生成ステップとを有しており、前記パス判定ステップにて、直前のビットの有意情報を仮定して得られる周囲ビットの有意情報から投機的にパス判定を行い、前記復号化ステップにて、直前のビットの復号化結果に基づいて、前記コンテキスト生成ステップで生成されたコンテキストを校正することを特徴とする。

第２発明に係るエントロピ符号化／復号化方法は、デジタル画像データを符号化して復号化するエントロピ符号化／復号化方法において、符号化された符号列を復号化する復号化ステップと、復号化対象のビットよりビットプレーン走査上で先行するビットをパス判定するパス判定ステップと、復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットのコンテキストを生成するコンテキスト生成ステップとを有しており、前記コンテキスト生成ステップにて、直前のビットの有意情報を仮定して投機的にコンテキストを生成し、前記復号化ステップにて、直前のビットの復号化結果に基づいて、前記コンテキスト生成ステップで生成されたコンテキストを校正することを特徴とする。

第３発明に係るエントロピ符号化／復号化方法は、デジタル画像データを符号化して復号化するエントロピ符号化／復号化方法において、符号化された符号列を復号化する復号化ステップと、復号化対象のビットよりビットプレーン走査上で先行するビットをパス判定するパス判定ステップと、復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットのコンテキストを生成するコンテキスト生成ステップとを有しており、前記パス判定ステップにて、直前のビットの有意情報を仮定して得られる周囲ビットの有意情報から投機的にパス判定を行い、前記コンテキスト生成ステップにて、直前のビットの有意情報を仮定して投機的にコンテキストを生成し、前記復号化ステップにて、直前のビットの復号化結果に基づいて、前記コンテキスト生成ステップで生成されたコンテキストを校正することを特徴とする。

第４発明に係るエントロピ符号化／復号化方法は、第１乃至第３発明において、符号化過程または復号化過程にあって、ビットプレーンをストライプ単位で走査する第１走査ステップと、前記第１走査ステップでのストライプより、走査されるストライプが遅れており、前記第１走査ステップでのストライプ中のビットより、走査されるストライプ中のビットが遅れるように、前記第１走査ステップでの走査対象のビットプレーンより下位のビットプレーンをストライプ単位で走査する第２走査ステップとを有することを特徴とする。

第５発明に係るエントロピ符号化／復号化方法は、第４発明において、前記ストライプの遅れ及び前記ビットの遅れは、前記第２走査ステップでの対象ビットの処理に必要な隣接するビットの有意情報が確定している範囲内であることを特徴とする。

第６発明に係るエントロピ符号化／復号化方法は、第１乃至第３発明において、符号化過程または復号化過程にあって、ビットプレーンをストライプ単位で走査する走査ステップと、走査されたビットのＳＰパスを判定する第１判定ステップと、走査されたビットのＭＲパス及びＣＵパスを同時に判定する第２判定ステップとを有しており、前記第２判定ステップでの判定対象のビットは、前記第１判定ステップでの判定対象のビットより、ストライプが遅れるとともに、ストライプ中のビット走査上で遅れていることを特徴とする。

第７発明に係るエントロピ符号化／復号化方法は、第６発明において、前記ストライプの遅れ及び前記ビットの遅れは、前記第２判定ステップでの対象ビットの処理に必要な隣接するビットの有意情報が確定している範囲内であることを特徴とする。

第８発明に係るエントロピ符号化／復号化装置は、デジタル画像データを符号化して復号化するエントロピ符号化／復号化装置において、符号化された符号列を復号化する復号化手段と、復号化対象のビットよりビットプレーン走査上で先行するビットを、直前のビットの有意情報を仮定して得られる周囲のビットの有意情報から投機的にパス判定するパス判定手段と、復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットのコンテキストを生成するコンテキスト生成手段と、直前のビットの復号化結果に基づいて、前記コンテキスト生成手段で生成されたコンテキストを校正するコンテキスト校正手段とを備えることを特徴とする。

第９発明に係るエントロピ符号化／復号化装置は、デジタル画像データを符号化して復号化するエントロピ符号化／復号化装置において、符号化された符号列を復号化する復号化手段と、復号化対象のビットよりビットプレーン走査上で先行するビットをパス判定するパス判定手段と、直前のビットの有意情報を仮定して、復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットのコンテキストを投機的に生成するコンテキスト生成手段と、直前のビットの復号化結果に基づいて、前記コンテキスト生成手段で生成されたコンテキストを校正するコンテキスト校正手段とを備えることを特徴とする。

第１０発明に係るエントロピ符号化／復号化装置は、デジタル画像データを符号化して復号化するエントロピ符号化／復号化装置において、符号化された符号列を復号化する復号化手段と、復号化対象のビットよりビットプレーン走査上で先行するビットを、直前のビットの有意情報を仮定して得られる周囲のビットの有意情報から投機的にパス判定するパス判定手段と、直前のビットの有意情報を仮定して、復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットのコンテキストを投機的に生成するコンテキスト生成手段と、直前のビットの復号化結果に基づいて、前記コンテキスト生成手段で生成されたコンテキストを校正するコンテキスト校正手段とを備えることを特徴とする。

第１１発明に係るエントロピ符号化／復号化装置は、第８乃至第１０発明において、符号化過程または復号化過程にあって、ビットプレーンをストライプ単位で走査する第１走査手段と、前記第１走査手段でのストライプより、走査されるストライプが遅れており、前記第１走査手段でのストライプ中のビットより、走査されるストライプ中のビットが遅れるように、前記第１走査手段での走査対象のビットプレーンより下位のビットプレーンをストライプ単位で走査する第２走査手段とを備えることを特徴とする。

第１２発明に係るエントロピ符号化／復号化装置は、第１１発明において、前記ストライプの遅れ及び前記ビットの遅れは、前記第２走査手段での対象ビットの処理に必要な隣接するビットの有意情報が確定している範囲内であることを特徴とする。

第１３発明に係るエントロピ符号化／復号化装置は、第８乃至第１０発明において、符号化過程または復号化過程にあって、ビットプレーンをストライプ単位で走査する走査手段と、走査されたビットのＳＰパスを判定する第１パス判定手段と、走査されたビットのＭＲパス及びＣＵパスを同時に判定する第２パス判定手段とを備えており、前記第２パス判定手段での判定対象のビットは、前記第１パス判定手段での判定対象のビットより、ストライプが遅れるとともに、ストライプ中のビット走査上で遅れていることを特徴とする。

第１４発明に係るエントロピ符号化／復号化装置は、第１３発明において、前記ストライプの遅れ及び前記ビットの遅れは、前記第２パス判定手段での対象ビットの処理に必要な隣接するビットの有意情報が確定している範囲内であることを特徴とする。

第１発明及び第８発明にあっては、復号化対象のビットよりビットプレーン走査上で先行するビットに対して、復号化処理の完了を待たずに、直前のビットを仮定して得られる周囲のビットの有意情報を用いて投機的にパス判定を行う。よって、先行するビットのパス判定処理と直前ビットの復号化処理とを同時に行うことができて、処理時間は短縮する。

第２発明及び第９発明にあっては、復号化対象のビットよりビットプレーン走査上で先行するビットに対して、復号化処理の完了を待たずに、直前のビットを仮定して投機的にコンテキスト生成を行う。よって、先行するビットのコンテキスト生成処理と直前ビットの復号化処理とを同時に行うことができて、処理時間は短縮する。

第３発明及び第１０発明にあっては、復号化対象のビットよりビットプレーン走査上で先行するビットに対して、復号化処理の完了を待たずに、直前のビットを仮定して得られる周囲のビットの有意情報を用いて投機的にパス判定を行うともに、復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットに対して、復号化処理の完了を待たずに、直前のビットを仮定して投機的にコンテキスト生成を行う。よって、先行するビットのパス判定処理と先行するビットのコンテキスト生成処理と直前ビットの復号化処理とを同時に行うことができて、処理時間は短縮する。

第４発明及び第１１発明にあっては、上位のビットプレーンの走査の完了を待たずに、その上位のビットプレーンよりストライプが遅れ、また、その上位のビットプレーンのストライプ中のビットよりストライプ走査方向にビットが遅れるように、下位のビットプレーンの走査を行う。よって、上位のビットプレーンの走査と下位のビットプレーンの走査とをオーバラップさせて同時に行うことができ、ビットプレーン１枚分のメモリ容量は不要となり、処理時間は短縮する。

第５発明及び第１２発明にあっては、ストライプの遅れ及びビットの遅れを、対象ビットの処理に必要な隣接するビットの有意情報が確定している範囲内とする。よって、周囲ビットの有意状態に基づくパス判定処理に支障なく、処理時間が短縮する。

第６発明及び第１３発明にあっては、１つのビットプレーンでのＳＰパスの判定の完了を待たずに、その同じビットプレーンで、ＳＰパス判定対象のビットより、ストライプが遅れるとともに、ストライプ中のビット走査上で遅れているビットに対して、ＭＲパスの判定及びＣＵパスの判定を同時に行う。よって、同じビットプレーンでのＳＰパス判定とＭＲパス／ＣＵパス判定とをオーバラップさせて同時に行うことができ、ビットプレーン１枚分のメモリ容量は不要となり、処理時間は短縮する。

第７発明及び第１４発明にあっては、ストライプの遅れ及びビットの遅れを、対象ビットの処理に必要な隣接するビットの有意情報が確定している範囲内とする。よって、周囲ビットの有意状態に基づくパス判定処理に支障なく、処理時間が短縮する。

本発明では、復号化過程において、復号化処理の完了を待たずに、投機的なパス判定処理及び／または投機的なコンテキスト生成処理を行うようにしたので、復号化過程に要する時間を短縮でき、全体処理の高速化を図ることができる。

また、本発明では、符号化過程または復号化過程において、上位のビットプレーンの走査の完了を待たずに、それより下位のビットプレーンの走査を行うようにしたので、複数のビットプレーンをオーバラップして走査することができて、ビットプレーン１枚分のメモリ容量が不要となって使用するメモリ容量の削減を図ることができるともに、符号化過程または復号化過程に要する時間を短縮でき、全体処理の高速化を図ることができる。

更に、本発明では、符号化過程または復号化過程において、１つのビットプレーンでのＳＰパスの判定の完了を待たずに、同じビットプレーンでのＭＲパス／ＣＵパスの判定を行うようにしたので、同じビットプレーンでのＳＰパス判定とＭＲパス／ＣＵパス判定とをオーバラップさせて行うことができて、ビットプレーン１枚分のメモリ容量が不要となって使用するメモリ容量の削減を図ることができるともに、符号化過程または復号化過程に要する時間を短縮でき、全体処理の高速化を図ることができる。

本発明のＥＢＣＯＴにおける処理の概念を示す図である。 本発明におけるパス判定、コンテキスト生成、ＭＱ復号化の処理サイクルの推移を表す図表である。 従来例におけるパス判定、コンテキスト生成、ＭＱ復号化の処理サイクルの推移を表す図表である。 ビットプレーンのオーバラップ処理の概念を示す図である。 ビットプレーンのオーバラップ処理の概念を示す図である。 パス判定のオーバラップ処理の概念を示す図である。 本発明のエントロピ符号化／復号化装置におけるＥＢＣＯＴ回路の構成を示すブロック図である。 ＣＢＢ及びＣＳＢのリード／ライト同期制御の一例を示す図である。 １個のＥＢＣ１の回路構成を示すブロック図である。 ＪＰＥＧ２０００方式の符号化（圧縮）処理過程を示すブロック図である。 ＥＢＣＯＴにおける処理過程を示すブロック図である。 コードブロック化の概念を示す図である。 ビットプレーン分解の概念を示す図である。 パスの分類条件を示すフローチャートである。 各ビットプレーンでのパス判定の処理手順を示す図である。 パス判定結果の一例を示す図である。 ＭＱ符号化の概念を示す図である。 ＪＰＥＧ２０００方式の復号化（伸張）処理過程を示すブロック図である。 従来例におけるビットプレーンの走査処理の概念を示す図である。

符号の説明

１ ＥＢＣＯＴ回路
２ ＣＢＢ
３ ＥＢＣ回路
４ ＣＳＢ
１１ ＳＳＢ
１２ ＰＰ
１３ ＦＩＦＯ
１４ ＣＸＤ
１５ ＭＱＣ
１６ ＣＳＢ−ＲＷ
１７ ＭＱＤ
１８ ＵＰＤ
１９ ＳＳＢ−ＷＲ

以下、本発明をその実施の形態を示す図面を参照して具体的に説明する。なお、本発明は、以下の実施の形態に限定されるものではない。

まず、復号化過程におけるパス判定及び／またはコンテキスト生成の投機的な処理について図１を参照して説明する。図１は、本発明のＥＢＣＯＴにおける処理の概念を示す図である。

本発明では、また復号化されていないビットのパス判定、コンテキスト生成を投機的に行うことにより、待機状態を解消する。なお、図１において”？”ビットは、未処理ビットを表す。

パス判定の投機的処理は、ＳＰパスの復号化中において、ＳＰパスで処理されるビットに隣接し、かつ、周囲に有意のビットがなくて自身が有意のビットでないビット（即ち、ＭＲパスでないことが分かっており、ＣＵパスかＳＰパスかの判断が直前のビットの状態のみに関わるビット）をＳＰパスとして投機的に処理する。

コンテキスト生成の投機的処理は、未復号化の直前ビットを有意でないと仮定してコンテキストを生成する。つまり、ＳＰパス、ＣＵパスとしてコンテキスト生成を行う。なお、コンテキスト生成の投機的処理は、連続するビットに対してのみ実行される。

ＭＱ復号化処理では、復号化の直前に前ビットの復号化結果に基づいて実際のコンテキストに校正し、その校正したコンテキストを用いてビットを復号化する。よって、投機的なパス判定、コンテキスト生成を行っても、正しい復号化結果を得ることができる。

図２Ａは、このような本発明におけるパス判定、コンテキスト生成、ＭＱ復号化の処理サイクルの推移を表す図表である。また、対照として、従来例におけるパス判定、コンテキスト生成、ＭＱ復号化の処理サイクルの推移を図２Ｂに表す。図２Ａ，図２Ｂにおいて、Ｂ１，Ｂ２，Ｂ３はこの順での処理対象ビットを示す。

従来例（図２Ｂ）では、１つのビットに関するパス判定→コンテキスト生成→ＭＱ復号化の一連の処理が完了した後に、次のビットに関するパス判定が開始されるので、３つのビットの復号化処理を完了するためには、９サイクルが必要となる。

これに対して、本発明（図２Ａ）では、投機的なパス判定、投機的なコンテキスト生成を行うようにしているので、あるビット（例えばＢ１）のＭＱ復号化と同時に、これより先行するビット（例えばＢ３）のパス判定、これより先行するビット（例えばＢ２）のコンテキスト生成を行うことができる。この結果、３つのビットの復号化処理を完了するために５サイクルで済む。

本発明では、前ビットの復号化を待たずにパス判定、コンテキスト生成を投機的に実行するため、復号化処理の高速化を実現でき、復号化過程の処理時間の短縮化を図ることが可能となる。

以上のように本発明は、復号化過程時に、ＳＰパスで処理される可能性があるビットについて、隣接するビットの復号化結果を待たずに投機的に処理する方式を提供する。また、本例では、復号化過程時に、直前のビットの復号化結果を待たずに、直前のビットが有意でないと仮定してコンテキストを生成し、直前のビットが有意でなければＭＱ復号化時にコンテキストを修正して復号化する方式を提供する。

ＳＰパスで処理される可能性があるビットに対して投機的に復号化を開始するので、高スループット化を図れる。前ビットの復号化結果を待たずに次のビットの復号化処理を投機的に開始するので、高スループット化を図れる。あるビットについてＭＲパスとＣＵパスとを同時に判定するので、無効サイクルを削減できて高性能化を図れる。

なお、上記例では、直前のビットが有意でないと仮定する場合について説明したが、直前のビットが有意であると仮定して投機的な処理を行うことも可能である。また、パス判定、コンテキスト生成の両方を投機的に実行する場合の例について説明したが、パス判定、コンテキスト生成の一方のみを投機的に実行する場合についても同様の効果を奏することは明らかである。

次に、符号化過程または復号化過程におけるビットプレーンのオーバラップ処理について図３，図４を参照して説明する。図３，図４は、このオーバラップ処理の概念を示す図である。本発明では、上位ビットプレーンの走査完了前にその下位ビットプレーンも並列的に走査して、全ビットプレーンの走査の高速化を図る。

この際、上位ビットプレーンの走査では、その下位ビットプレーンで走査されているストライプ（列）よりも前のストライプであって、しかも同ストライプ中の走査方向で先に位置する画素まで処理を完了していなければならない。図３に示す例では、中位のビットプレーンの２列目で走査方向３番目のビットを走査する際には、上位のビットプレーンでは３列目で走査方向４番目のビットの走査を完了しておく必要がある。また、下位のビットプレーンの走査を開始する際には、中位のビットプレーンでは２列目で走査方向２番目のビットの走査を完了しておく必要がある。

図４は、上位ビットプレーン及び下位ビットプレーンにおける各ビットの詳細を示している。図４における入力された下位ビットプレーンの網かけビットはこれから処理されるビットであり、それ以外は処理済みのビットを表す。ＳＰパスの判定には、有意ビットプレーンの該当ビットとその周辺ビットとの有意情報が必要であり、有意ビットプレーンの９個の網かけビットがこれらに該当する。この際、対応する上位ビットプレーンの走査が完了しているので、有意ビットプレーンにおけるこれらの９個のビットの有意情報が既知となっており、該当ビットのＳＰパス判定を行える。

本発明では、上位ビットプレーンの走査が完了した後に、その下位のビットプレーンの走査を開始する従来例とは異なり、位が異なる複数のビットプレーンを並列的に同時に走査するので、全てのビットプレーンの走査に要する時間を、従来例に比べて大幅に短縮することが可能である。また、上位ビットプレーンの走査位置と下位ビットプレーンの走査位置との関係が上記の条件を満たすことにより、上位ビットプレーンの全てのビットの有意情報を記憶しておかなくても、従前通りのパス判定が可能である。

以上のように本発明は、一つのコードブロック内の全ビットプレーンを、上位ビットプレーンの有意情報を参照できるように、オーバラップさせて並列処理する方式を提供する。このようなビットプレーン間のオーバラップ処理により、符号化過程、復号化過程のレイテンシの短縮化を図れる。また、コードブロックデータの保持期間を短縮できて、データ保持メモリの小容量化を図れる。

次に、符号化過程または復号化過程におけるパス判定のオーバラップ処理について、その概念を示す図５を参照して説明する。本発明では、同一のビットプレーンにおいて、ＳＰパス判定とＭＲパス／ＣＵパス判定とをオーバラップさせて実行する。

ＳＰパスの判定の際に、該当ビットの有意情報とその周辺ビットの有意情報とが同時に読み込まれる。そこで、本発明では、図５に示すように、ＳＰパス判定の際に有意情報が読み込まれるビット（図５の有意ビットプレーンにおける網かけ部分のビット）についてのＭＲパス判定及びＣＵパス判定を同時に（同じサイクルで）行う。

上述したビットプレーンのオーバラップ処理と同様に、ＭＲパス／ＣＵパス判定を行う際に、そのストライプ（列）よりも前のストライプであって、しかも同ストライプ中の走査方向で先に位置する画素までＳＰパス判定の処理を完了していなければならない。

本発明では、ＳＰパス判定→ＭＲパス判定→ＣＵパス判定の一連の順で処理し、しかもビットプレーン全体にわたって一つのパス判定が完了した後に次のパス判定に移行する従来例とは異なり、同一のビットプレーンにおいてＳＰパス判定とＭＲパス判定とＣＵパス判定とを行い、しかもＭＲパス判定及びＣＵパス判定を同時に行うので、全体のパス判定処理に要する時間を、従来例に比べて大幅に短縮することが可能である。また、ＳＰパス判定位置とＭＲパス／ＣＵパス判定位置との関係が上記の条件を満たすことにより、上位ビットプレーンの全てのビットの有意情報を記憶しておかなくても、従前通りのパス判定が可能である。

以上のように本発明は、一つのビットプレーン内で前パス処理後の有意情報を参照できるようにＳＰパスとＭＲ及びＣＵパスとを１ストライプ＋１画素ずらして処理する方式を提供する。このようなビットプレーン内パス間のオーバラップ処理により、符号化過程、復号化過程のレイテンシの短縮化を図れる。また、コードブロックデータの保持期間を短縮できて、データ保持メモリの小容量化を図れる。

図６は、本発明のエントロピ符号化／復号化装置におけるＥＢＣＯＴ回路の構成を示すブロック図である。図６に示す例では、１０個のビットプレーンを作成する装置に対応している。ＥＢＣＯＴ回路１は、ＣＢＢ（Code Block Buffer:コードブロックバッファ）２と、ＥＢＣ（Embedded Block Coding:エンベデッドブロックコーディング）回路３と、ＣＳＢ（Code Stream Buffer: コードストリームバッファ）４とを有し、上述したようなビットプレーンのオーバラップ処理を実現する。

ＣＢＢ２は、量子化係数をコードブロック単位で格納するバッファであり、ビットプレーンごとに独立したアクセスが可能である。ＥＢＣ回路３は、Embedded Block符号化／復号化を行う回路であり、１コードブロック内のビットプレーン数と同数（１０個）のＥＢＣ１から構成されている。ＣＢＢ２の各ビットプレーンは、各ＥＢＣ１と１対１で双方向に接続されている。最下位ビットプレーンに接続されるＥＢＣ１を除いた各ＥＢＣ１と、その一つ下位のビットプレーンに接続されるＥＢＣ１との間がＦＩＦＯ（First-In First-Out）で接続されている。

ＣＳＢ４は、ビットプレーンの各パスごとの符号列を保存するバッファであり、ビットプレーンに対応する複数（１０個）の領域（ＣＳＢ１）に分割されている。ＥＢＣ回路３の各ＥＢＣ１とＣＳＢ４の各ＣＳＢ１とは双方向に接続されている。

各ＥＢＣ１は各コードブロックの同じ位のビットプレーンを処理する。符号化時に、各ＥＢＣ１は接続されたビットプレーンから符号化すべき量子化係数ビットを入力する。また、復号化時に、各ＥＢＣ１は復号化した量子化係数ビットを接続されたビットプレーンへ出力する。

上位のＥＢＣ１は、上位ビットプレーン処理後の有意情報と極性情報とをＦＩＦＯ経由で下位のＥＢＣ１へ出力する。符号化時に、最上位のＥＢＣ１は、接続された最上位ビットプレーンから極性情報を入力し、対応する位の有意情報とともにＦＩＦＯ経由で下位のＥＢＣ１へ出力する。復号化時に、上位のＥＢＣ１は極性情報を対応する位の有意情報とともにＦＩＦＯ経由で下位のＥＢＣ１へ出力し、最下位のＥＢＣ１は最終的な極性情報をＣＢＢ２へ出力する。

ビットプレーン間及びビットプレーン内パス間のオーバラップ処理を行うので、コードブロックデータの保持期間を短くでき、ＣＢＢ２及びＣＳＢ４の小容量化を図れる。ＣＢＢ２内の各ビットプレーンと各ＥＢＣ１とを１対１に接続させて、ビットプレーンを並列処理するので、高性能化、接続の単純化を図れる。隣り合うＥＢＣ１間をＦＩＦＯで接続させ、上位ＥＢＣ１から下位ＥＢＣ１へ有意情報及び極性情報を受け渡すようにしたので、複数のＥＢＣ１間で同一コードブロックの係数についての有意情報、極性情報へのアクセス集中を回避でき、高スループット化、回路の単純化を図れる。また、このような情報の受け渡しによって上位ビットプレーンと下位ビットプレーンとのオーバラップ処理を同期できるので、同期方式の単純化を図れる。

図７は、ＣＢＢ２のリード／ライト同期制御の一例を示す図である。各バンクのデータが有効か否かを表すビットからなるレジスタを２個用意し、「最上位のビットプレーン処理」と、「最下位のビットプレーン処理」と、「外部からのコードブロックのリード／ライト処理」との状態に応じてレジスタの値を書き換えて同期制御する。

最上位のビットプレーン処理、最下位のビットプレーン処理に対応する同期制御用の４ビットレジスタｖａｌ９，ｖａｌ１０を用意する。新しいコードブロックのバンクへのライト（またはバンクからのリード）が完了した場合に、ｖａｌ９とｖａｌ１０との対応するビットを有効１（または無効０）に設定する。バンクに保存されたコードブロックの最上位ビットプレーンのリード（またはライト）が完了した場合に、ｖａｌ９の対応するビットを無効０（または有効１）に設定する。バンクに保存されたコードブロックの最下位ビットプレーンのリード（またはライト）が完了した場合に、ｖａｌ１０の対応するビットを無効０（または有効１）に設定する。ｖａｌ９の対応するビットが有効１（または無効０）になるまで、バンクに保存されたコードブロックの最上位ビットプレーンのリード（またはライト）をウェイトする。ｖａｌ１０の対応するビットが無効０（または有効１）になるまで、外部からの新しいコードブロックのバンクへのライト（またはリード）をウェイトする。

なお、ＣＳＢ４におけるリード／ライト同期制御は、上述したＣＢＢ２のリード／ライト同期制御と同様である、

コードブロックデータを保存するバンクに対応するバリッドビットによってＣＢＢ２及びＣＳＢ４のリード／ライト同期制御を行うので、同期方式の単純化、回路の簡素化を図れる。

図８は、図６における１個のＥＢＣ１の回路構成を示すブロック図である。各ＥＢＣ１は、ＳＳＢ１１（Signal Sign Buffer）と、ＰＰ１２（Pre-Professor)と、ＦＩＦＯ１３と、ＣＸＤ１４（Context Decision) と、ＭＱＣ１５（MQ Coder）と、ＣＳＢ−ＲＷ１６（Code Stream Buffer-Read/Write)と、ＭＱＤ１７（MQ Decoder）と、ＵＰＤ１８（Update）と、ＳＳＢ−ＷＲ１９（Signal Sign Buffer-Write）とを備えており、上述したようなパス間のオーバラップ処理、ＳＰパスの投機的判定処理、コンテキストの投機的生成処理を実現する。

ＳＳＢ１１は、有意情報と極性情報と量子化係数とを保存するバッファであり、３ストライプ分の有意情報と極性情報と量子化係数とを保存する。量子化係数１ビットあたりの有意情報は、（１）有意でない、（２）有意であって有意になったＳＰパスと同じビットプレーンのＭＲパス前である、（３）有意であって最初のＭＲパス前である、（４）有意であって最初のＭＲパス後であるの４つの状態（２ビット）で表現される。

ＰＰ１２は、各ビットの周囲の有意情報と極性情報と量子化係数とからパスを決定する回路であり、処理対象のビットについて周囲の有意情報と極性情報とパスと位置情報とをＦＩＦＯ１３へ出力する。具体的に、ＰＰ１２は、ｍ番目のストライプのｎ列目の４ビットに対してＳＰパスの処理対象か否かを判定し、ｍ−１番目のストライプのｎ−１列目の４ビットに対してＭＲパスまたはＣＵパスの処理対象か否かを１サイクル（同じサイクル）で判定する。その後、処理対象でないビットを除いて、１サイクルごとに１ビットの周囲の有意情報と極性情報とパスと位置情報とをＦＩＦＯ１３へ出力する。

ＰＰ１２は、復号化過程時に、ＳＰパスで処理される可能性があるビットについて、前のビットの復号化結果を待たずに、後のビットの周囲の有意情報と極性情報とパスと位置情報と投機的処理された旨の情報とをＦＩＦＯ１３へ出力する。ここで、復号化過程時にＳＰパスで処理される可能性があるビットとは、ＳＰパスで処理されるビット（周囲に有意なビットが存在して自身が有意でないビット）の隣に位置する、周囲に有意なビットがなくて自身も有意でないビットのことである。

ＦＩＦＯ１３は、ＰＰ１２とＣＸＤ１４との間に設けられている先入れ先出しのバッファであり、ＰＰ１２とＣＸＤ１４との処理速度の差を吸収する機能を果たす。

ＣＸＤ１４は、符号化過程時に、ＰＰ１２から入力された周囲の有意情報と極性情報とパスとからコンテキスト及びデシジョンを生成し、復号化過程時に、ＰＰ１２及びＵＰＤ１８から入力された周囲の有意情報と極性情報とパスとからコンテキストを生成する回路である。ＣＸＤ１４は、二つの連続したビットを復号化する場合、まだ有意となっていない一つ目のビットの復号化結果を待たずに、一つ目のビットを有意でないと仮定したコンテキストを二つ目のビットに対して生成し、二つ目のビットに対して投機的処理を行った旨の信号をＭＱＤ１７へ出力する。

ＭＱＣ１５は、ＣＸＤ１４が生成したコンテキスト及びデシジョンを入力して、ＭＱ符号化を行い、符号列を生成する回路であり、生成した符号列をＣＳＢ−ＲＷ１６へ出力する。

ＣＳＢ−ＲＷ１６は、符号化過程時に、ＭＱＣ１５でＭＱ符号化されたパスごとの符号列をＣＳＢ４に書き込み、復号化過程時に、外部から入力された符号列を要求に従ってＭＱＤ１７へ出力する回路である。

ＭＱＤ１７は、ＣＳＢ−ＲＷ１６から入力された符号列とＣＸＤ１４から入力されたコンテキスト及びパスとからＭＱ復号化を行い、デシジョンを生成する回路であり、生成したデシジョンをＵＰＤ１８及びＳＳＢ−ＷＲ１９へ出力する。ＭＱＤ１７は、投機的処理を行った旨の信号をＣＸＤ１４から入力した場合、直前に復号化されたビットが有意であれば、そのビットが有意でないと仮定して得られたコンテキストから正しいコンテキストを生成してＭＱ復号化を行う。

ＵＰＤ１８は、ＭＱＤ１７で復号化されたビットのデシジョンと位置情報とから、その後に処理されるビットの左側の有意情報と極性情報とを生成してＣＸＤ１４へ出力する回路である。なお、右側の有意情報と極性情報とはＰＰ１２から入力されるものを使用する。

ＳＳＢ−ＷＲ１９は、符号化過程時に、ＰＰ１２から入力された有意情報と極性情報と量子化係数とをＳＳＢ１１へ出力する。また、ＳＳＢ−ＷＲ１９は、復号化過程時に、ＭＱＤ１７から入力された復号化後の有意情報と極性情報とを、ＰＰ１２から入力された復号化前の有意情報と極性情報とに上書きしてＳＳＢ１１へ出力する。

ビットプレーン全体のデータでなくて３ストライプ分のデータのみをＳＳＢ１１に保持しておくだけでよいので、ＳＳＢ１１の小容量化を図れる。また、有意情報を３ビットでなく２ビットで表現しているので、この点でもＳＳＢ１１の小容量化を図れる。

上のビットが有意でないと仮定したコンテキストをＣＸＤ１４で生成し、間違っていればＭＱＤ１７で正しいコンテキストに修正するので、周囲の有意情報及び極性情報から新たに正しいコンテキストを生成する場合よりも回路が単純である。また、回路のクリティカルパス遅延の短縮化を図れる。更に、ＭＱ復号化と同一サイクルに含めることができて、無効サイクルの削減を図れる。

Claims (14)

1. デジタル画像データを符号化して復号化するエントロピ符号化／復号化方法において、 符号化された符号列を復号化する復号化ステップと、
   復号化対象のビットよりビットプレーン走査上で先行するビットをパス判定するパス判定ステップと、
   復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットのコンテキストを生成するコンテキスト生成ステップとを有しており、
   前記パス判定ステップにて、直前のビットの有意情報を仮定して得られる周囲ビットの有意情報から投機的にパス判定を行い、前記復号化ステップにて、直前のビットの復号化結果に基づいて、前記コンテキスト生成ステップで生成されたコンテキストを校正することを特徴とするエントロピ符号化／復号化方法。
2. デジタル画像データを符号化して復号化するエントロピ符号化／復号化方法において、 符号化された符号列を復号化する復号化ステップと、
   復号化対象のビットよりビットプレーン走査上で先行するビットをパス判定するパス判定ステップと、
   復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットのコンテキストを生成するコンテキスト生成ステップとを有しており、
   前記コンテキスト生成ステップにて、直前のビットの有意情報を仮定して投機的にコンテキストを生成し、前記復号化ステップにて、直前のビットの復号化結果に基づいて、前記コンテキスト生成ステップで生成されたコンテキストを校正することを特徴とするエントロピ符号化／復号化方法。
3. デジタル画像データを符号化して復号化するエントロピ符号化／復号化方法において、 符号化された符号列を復号化する復号化ステップと、
   復号化対象のビットよりビットプレーン走査上で先行するビットをパス判定するパス判定ステップと、
   復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットのコンテキストを生成するコンテキスト生成ステップとを有しており、
   前記パス判定ステップにて、直前のビットの有意情報を仮定して得られる周囲ビットの有意情報から投機的にパス判定を行い、前記コンテキスト生成ステップにて、直前のビットの有意情報を仮定して投機的にコンテキストを生成し、前記復号化ステップにて、直前のビットの復号化結果に基づいて、前記コンテキスト生成ステップで生成されたコンテキストを校正することを特徴とするエントロピ符号化／復号化方法。
4. 符号化過程または復号化過程にあって、ビットプレーンをストライプ単位で走査する第１走査ステップと、
   前記第１走査ステップでのストライプより、走査されるストライプが遅れており、前記第１走査ステップでのストライプ中のビットより、走査されるストライプ中のビットが遅れるように、前記第１走査ステップでの走査対象のビットプレーンより下位のビットプレーンをストライプ単位で走査する第２走査ステップとを有することを特徴とする請求項１乃至３のいずれかに記載のエントロピ符号化／復号化方法。
5. 前記ストライプの遅れ及び前記ビットの遅れは、前記第２走査ステップでの対象ビットの処理に必要な隣接するビットの有意情報が確定している範囲内であることを特徴とする請求項４記載のエントロピ符号化／復号化方法。
6. 符号化過程または復号化過程にあって、ビットプレーンをストライプ単位で走査する走査ステップと、
   走査されたビットのＳＰパスを判定する第１判定ステップと、
   走査されたビットのＭＲパス及びＣＵパスを同時に判定する第２判定ステップとを有しており、
   前記第２判定ステップでの判定対象のビットは、前記第１判定ステップでの判定対象のビットより、ストライプが遅れるとともに、ストライプ中のビット走査上で遅れていることを特徴とする請求項１乃至３のいずれかに記載のエントロピ符号化／復号化方法。
7. 前記ストライプの遅れ及び前記ビットの遅れは、前記第２判定ステップでの対象ビットの処理に必要な隣接するビットの有意情報が確定している範囲内であることを特徴とする請求項６記載のエントロピ符号化／復号化方法。
8. デジタル画像データを符号化して復号化するエントロピ符号化／復号化装置において、 符号化された符号列を復号化する復号化手段と、
   復号化対象のビットよりビットプレーン走査上で先行するビットを、直前のビットの有意情報を仮定して得られる周囲のビットの有意情報から投機的にパス判定するパス判定手段と、
   復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットのコンテキストを生成するコンテキスト生成手段と、
   直前のビットの復号化結果に基づいて、前記コンテキスト生成手段で生成されたコンテキストを校正するコンテキスト校正手段とを備えることを特徴とするエントロピ符号化／復号化装置。
9. デジタル画像データを符号化して復号化するエントロピ符号化／復号化装置において、 符号化された符号列を復号化する復号化手段と、
   復号化対象のビットよりビットプレーン走査上で先行するビットをパス判定するパス判定手段と、
   直前のビットの有意情報を仮定して、復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットのコンテキストを投機的に生成するコンテキスト生成手段と、
   直前のビットの復号化結果に基づいて、前記コンテキスト生成手段で生成されたコンテキストを校正するコンテキスト校正手段とを備えることを特徴とするエントロピ符号化／復号化装置。
10. デジタル画像データを符号化して復号化するエントロピ符号化／復号化装置において、 符号化された符号列を復号化する復号化手段と、
    復号化対象のビットよりビットプレーン走査上で先行するビットを、直前のビットの有意情報を仮定して得られる周囲のビットの有意情報から投機的にパス判定するパス判定手段と、
    直前のビットの有意情報を仮定して、復号化対象のビットよりビットプレーン走査上で先行し、パス判定対象のビットよりビットプレーン走査上で遅れるビットのコンテキストを投機的に生成するコンテキスト生成手段と、
    直前のビットの復号化結果に基づいて、前記コンテキスト生成手段で生成されたコンテキストを校正するコンテキスト校正手段とを備えることを特徴とするエントロピ符号化／復号化装置。
11. 符号化過程または復号化過程にあって、ビットプレーンをストライプ単位で走査する第１走査手段と、
    前記第１走査手段でのストライプより、走査されるストライプが遅れており、前記第１走査手段でのストライプ中のビットより、走査されるストライプ中のビットが遅れるように、前記第１走査手段での走査対象のビットプレーンより下位のビットプレーンをストライプ単位で走査する第２走査手段とを備えることを特徴とする請求項８乃至１０のいずれかに記載のエントロピ符号化／復号化装置。
12. 前記ストライプの遅れ及び前記ビットの遅れは、前記第２走査手段での対象ビットの処理に必要な隣接するビットの有意情報が確定している範囲内であることを特徴とする請求項１１記載のエントロピ符号化／復号化装置。
13. 符号化過程または復号化過程にあって、ビットプレーンをストライプ単位で走査する走査手段と、
    走査されたビットのＳＰパスを判定する第１パス判定手段と、
    走査されたビットのＭＲパス及びＣＵパスを同時に判定する第２パス判定手段とを備えており、
    前記第２パス判定手段での判定対象のビットは、前記第１パス判定手段での判定対象のビットより、ストライプが遅れるとともに、ストライプ中のビット走査上で遅れていることを特徴とする請求項８乃至１０のいずれかに記載のエントロピ符号化／復号化装置。
14. 前記ストライプの遅れ及び前記ビットの遅れは、前記第２パス判定手段での対象ビットの処理に必要な隣接するビットの有意情報が確定している範囲内であることを特徴とする請求項１３記載のエントロピ符号化／復号化装置。

Images