JPH11501420A

JPH11501420A - Ｊｐｅｇ画像圧縮標準を実現するｖｌｓｉ回路構造体

Info

Publication number: JPH11501420A
Application number: JP8509667A
Authority: JP
Inventors: コバック，マリオ; ランガナサン，ナガラハン
Original assignee: ユニバーシティオブサウスフロリダ
Priority date: 1994-09-07
Filing date: 1995-09-06
Publication date: 1999-02-02
Also published as: IL115203A0; WO1996007986A2; IL115203A; US5659362A; AU3547695A; WO1996007986A3

Abstract

(57)【要約】 JPEGベースライン画像圧縮標準を実現するための十分にパイプライン構造にされたVLSI回路構造体。回路構造体は高速および高スループットを得るためにパイプライン構造および平行の原理を最大限活用する。全体の構造は、1024×1024のカラー画像に対して毎秒30フレームの入力速度が可能な約100MHzのクロック速度を得るように、単一のVLSIチップで実現されるように設計される。

Description

【発明の詳細な説明】名称：JPEG画像圧縮標準を実現する VLSI回路構造体技術分野本発明はJPEG画像圧縮標準を実現するVLSI回路構造体に関する。背景データ圧縮とは、格納および通信費用を節約するためにデータ表示の冗長を減らすかまたはなくすことである。データ圧縮方法は大きくは２つのカテゴリー、すなわち損失のない方法（lossless）と損失のある方法（lossy）とに分類することができる。損失のない方法では正確な元のデータが回復され得、一方、損失のある方法では元のデータに非常に近いものを得ることができる。損失のない方法は、圧縮プロセス中に情報内容が損失しないため、エントロピー符号化法とも呼ばれる。損失のない方法は、情報の損失が全く許されず圧縮率が典型的には約 3:1である医療分野での画像化などの、所定の環境内でのテキスト圧縮および画像圧縮のために使用される。損失のある圧縮方法は、通常は、画像および音声圧縮で適用され、必要とされる忠実度に依っては、はるかに高い圧縮率を得ることができる。デジタル画像は格納のために莫大な量の空間を必要とする。例えば、画素当たり24ビットで1024×1024個の画素という解像度を有するカラー画像は、非圧縮形式で3.15Mバイトを必要とする。毎秒30フレームのビデオ速度では、これは毎秒9 4Mバイトのデータ速度を必要とする。テレビ会議、HDTV、家庭娯楽システム、対話型視覚化およびマルチメディアなどのビデオ応用分野での最近の進歩により、さらに高度な帯域幅計算および通信システムに対する要求が増大している。効率的な画像圧縮方法を非常に高速に実現できれば、この課題を達成するのに大いに貢献し得る。最近、３つの国際的な標準機構、すなわち、国際電信電話諮問委員会(CCITT) 、国際標準化機構(ISO)、および国際電気標準会議(IEC)よりなる共同写真専門家グループ(Joint Photographic Expert Group、JPEG)として知られる作業グループが、連続色調静止画像の符号化および圧縮のための国際的な標準を定義した。この標準は通常はJPEG標準と呼ばれる。JPEG標準の第１の目的は、アプリケーションに左右されすまたデータ圧縮のVLSIでの実現を支援する画像圧縮方法を提案することである。本発明の要旨本発明は、JPEG画像圧縮標準をVLSIチップ上で実現するための新規で有用なVL SI回路構造体を提供する。VLSI回路構造体は、回路全体にわたって微細パイプライン構造（fine grain pipelining）を実現し、極めて速いタイミングサイクル（例えば、少なくとも100MHzのクロックサイクル）で作動するような方法でJPEG 圧縮を実現するように設計される。本発明によれば、VLSI回路構造体は、(a)画像画素データ信号をDCTモジュールに送る入力手段と、(b)画像画素データ信号を受け取りこれらの信号を変換して、エントロピー符号器モジュールによる処理にとって適切な形式のDCT出力信号を生成してDCT出力信号をエントロピー符号器モジュールに直接転送し、DCTモジュールとエントロピー符号器モジュールとの間で動作を同期させるためのバッファとして作用しないジグザグ再配列ロジックを含む、DCT（離散コサイン変換）モジュールと、(c)DCT出力信号を受け取り処理して、圧縮画像出力データ信号を生成するエントロピー符号器モジュールと、(d)入力の処理ならびにDCTおよびエントロピー符号器モジュールにわたるデータ信号の処理を制御するために、所定のタイミング間隔でタイミング制御信号を提供するタイミング制御手段とを備えている。VLSI回路構造体は、所定のタイミング間隔のそれぞれの間に、(a)画像画素データ信号がDCTモジュールに入力され、(b)データがDCTモジュールによって処理され、(c)DCT出力信号がDCTモジュールからエントロピー符号器モジュールに直接転送され、(d)データ信号がエントロピー符号器モジュールによって処理され、そして(e)圧縮画像出力データ信号がエントロピー符号器モジュールによって生成されるように、設計される。従って、DCT出力信号はエントロピー符号器に直接入力することが可能で、VLSI回路構造体信号および計算は、VLSI回路構造体全体にわたって十分にパイプライン構造にされた方法で処理され得る。本出願では、DCT出力信号をDCTモジュールからエントロピー符号器モジュールへ「直接」転送するという概念が重要である。これは、エントロピー符号器がこれらの信号を処理する方法のために、DCT出力信号はエントロピー符号器モジュールに転送される前にバッファリングされる必要がないという意味が意図されている。本発明によれば、エントロピー符号器モジュールは、DCTモジュールと同じクロック周波数で、DCTモジュールと十分にパイプライン構造にされるようにD CT出力信号を処理する方法で設計される。これにより、DCT出力信号は直接エントロピー符号器に入力され得、VLSI回路構造体の信号および計算数値はVLSI回路構造体全体にわたって十分にパイプライン構造にされ得る。また、本発明のVLSI回路構造体で用いられ、データ処理において最大の速度およびスループットを生み出す「微細パイプライン」の概念について述べることは有用である。この概念は、各モジュールの計算および制御ロジックを、可能な限り多くの単純な個別セグメントに細分化し、各セグメントが各モジュールの個別のデータ処理機能を可能な限り単純におよび細分して制御することを提供する。これにより、十分にパイプライン構造にされたVLSI回路構造体だけでなく、非常に高速で、すなわち少なくとも100MHzのクロック周波数で作動し得るVLSI回路構造体が製造される。本発明のさらに別の特徴は、以下の詳細な説明ならびに添付の図面および表から明らかとなり得る。図面の簡単な説明図１は、JPEG圧縮標準による画像圧縮を行う符号器モデルの概略図である。図２は、JPEG圧縮標準による画像圧縮を行うベースライン符号器モデルの概略図である。図３は、図２の符号器モデルのDCT出力のジグザグ再配列の概略図である。図４は、JPEG圧縮標準による画像圧縮を行うエントロピー符号器の概略図である。図５は、本発明のJPEG圧縮を行うVLSI回路構造体の概略図である。図６は、図５のVLSI回路構造体のDCTモジュールの概略図である。図７は、図６のDCTモジュールの一次元DCT回路の概略図である。図８は、図６のDCTモジュールの転置バッファの概略図である。図９は、図６のDCTモジュールの量子化セクションの概略図である。図10は、図５のVLSI回路構造体のエントロピー符号器モジュールのアーキテクチャーの概略図である。図11は、図10のエントロピー符号器モジュールのゼロランレングス符号器の概略図である。図12は、図10のエントロピー符号器モジュールのカテゴリー選択機能の概略図である。図13は、図10のエントロピー符号器モジュールのカテゴリー選択回路の概略図である。図14は、図10のエントロピー符号器モジュールの除去ロジックの概略図である。図15は、図10のエントロピー符号器モジュールのハフマン符号器の概略図である。図16は、図10のエントロピー符号器モジュールのデータパッカの概略図である。表１は、JPEG圧縮標準による、DCおよびAC係数ならびに対応するカテゴリーを示す。好適な実施態様の詳細な説明上述のように、本発明は、JPEG画像圧縮標準を単一のVLSIチップ上で実現するためのVLSI回路構造体に関する。本発明のVLSI回路構造体について以下に詳しく説明し、図５〜図16に例示するが、先ず、JPEG画像圧縮標準についての背景をある程度提供するのが有用であると考えられる。Ｉ．JPEG圧縮標準 JPEG圧縮標準を実現するための基本的なモデルを図１に示す。このモデルは、符号器モデル10を含み、入力画像を次の処理にとってより適切な抽象表示に変換する。符号器モデル10は、この変換を実現するために、いくつかのモデルテーブル12に格納されたパラメータを必要とし得る。エントロピー符号器14は、符号器モデル10の出力を圧縮形式に変換する圧縮手順である。エントロピー符号器14もまた、エントロピーコードを格納するためにテーブル16を使用し得る。上述のJP EGモデルに基づいて４つの異なる符号化プロセス、すなわち、(i)ベースラインプロセス、(ii)拡張DCTベースのプロセス、(iii)損失のないプロセス、および(i v)階層プロセスが導き出された。本発明の好適な実施態様は、ベースラインプロセスを実現するVLSI回路構造体に関する。ベースラインプロセスのための符号器モデル10を図２に示す。入力画像は8×8 個の画素よりなる非重複ブロックに分割され、ベースライン符号器に入力される。画素値は符号なしの整数フォーマットから符号付き整数フォーマットに変換され、各ブロックでDCT計算が行われる。DCTは画素データを、DCT係数と呼ばれる空間周波数のブロックに変換する。8×8個の範囲内の画素は典型的には階調の変動は少ないため、DCTの出力では、ブロックエネルギーのほとんどはより低い空間周波数内に収められる。一方、より高い周波数はゼロに等しいかまたはゼロに近い値を有し、従って、符号化の間、画像の質に有意な影響を与えることなく無視され得る。どの周波数がより重要でありどの周波数がより重要でないかに基づく周波数の選択は、最終画像の質に影響を与え得る。JPEGでは、DCT計算に続く量子化ステップで用いられる量子化テーブルをユーザに予め定義させることによってこれを可能にする。量子化値の選択は、圧縮効率および再構成された画像の質の両方に影響を与えるため重要である。符号器モデル10によって出力されるDCT係数ブロックは、図３に示すようなジグザグ再配列を用いて一次元データに再編成される。各ブロックｉの位置(0,0) はDC_iとして表されるそのブロックのDC係数を含む。このDC係数は、ブロックｉおよびブロックi-1のDC係数間の差分である値ΔDC_iによって置換される。隣接するブロックの画素は多くの場合類似した平均エネルギーレベルを有するため、現在のDC係数と直前のDC係数との差分のみが用いられ、これは通常は差分パルスコード変調(DPCM)法として知られる。さらに多くの場合ゼロであるこの高周波数係数は、ジグザグ再配列により一次元データの終わりでグループ化されることに留意すべきである。エントロピー符号器14の詳細を図４に示す。エントロピー符号器14は、再編成されたDCT係数を符号化するために、統計モデル18に基づいた可変長符号化を用いる。エントロピー符号器14では、量子化したDCT係数が［ランレングスカウント、カテゴリー］対のストリームに変換される。各対には、圧縮を行うためにハフマン符号器20によって用いられる予定の対応する可変長ハフマンコードがある。ハフマンコードはテーブルに格納されている。エントロピー符号器での様々なステップについては後に詳述する。より良好な圧縮結果を実現するために、非常に多くの場合、入力画像は符号器に入力される前に異なるカラー空間（またはカラー座標）表示に変換される。基本的なJPEG標準による画像圧縮はカラーには影響されないが、各カラーを個別に処理するため、カラー空間を変更することによって圧縮率が有意に向上し得ることが示されている。これは、人間の視覚系の知覚力および表示装置の特性が完全でないことによる。JPEG標準による画像圧縮のための最も適切なカラー空間の１つは、YCbCrであることが示されている。ここで、Ｙは輝度成分、CbおよびCrは２つのクロミナンス成分である。輝度成分はクロミナンス成分に比べてはるかに多くの情報を担うため、JPEGでは、圧縮中に異なるいくつかのテーブルを使用することができる。カラーがどのようにして圧縮に影響を与え得るかについてのさらなる情報については［1-6］を参照せよ。 JPEGベースライン圧縮標準では、圧縮を実現するためにDCTおよびハフマンエントロピー符号化法を用いる。DCTおよびハフマン符号化の実現についてはいろいろなソフトウェアおよびハードウェアによるアプローチが存在する。以下に、本発明を理解する上でいくつかの有用な背景を提供すると考えられる、DCTおよびハフマンエントロピー符号化のこれらの面について簡単に説明する。二次元DCT計算は、通常は分離可能性特性（separability property）と呼ばれる連続する２つの一次元DCTとして実現され得ることに留意すべきである。このアプローチはハードウェアで実現するとより簡単である。Haralick[R.M．Harali ck，"Astorage efficient way to implement the discrete cosine transform" ，IEEE Trans．Comp.，vol．C-25，pp．764-765，July 1976]によって、Ｎ個のポイントを有するDCTは、入力の対称性を活用することによって２つのＮポイントFET（fast fourier transform、高速フーリエ変換）を用いて計算され得ることが示された。後に、TsengおよびMiller[B.D．Tseng，W.C．Miller，"On Compu ting Discrete Cosine Transform"，IEEE Trans．Comp．Vol．C-27,No．10，pp. 966-968，1978]は、2NポイントDFTの最初のＮ個の係数の実数部分を計算するだけでDCTがより効率的に得られ得ることを示した。JPEGで必要とされる８ポイントDCTの計算は、16ポイントDFT(discrete fourier transform、離散フーリエ変換)計算およびこれに続くスケーリングによって置き換えられ得る。16ポイントD FTの最適な形態が、Winograd[S．Winograd，"On Computing the Discrete Fouri er Transform"，Mathematics of Computation，Vol．32，No．141，pp．175-199 ，1978]によって開発された。Arai、AguiおよびNakajimaは、Winogradの解決法を８ポイントDCTに採用し、対称特性を用いて計算を低減させた[Y．Arai，T．Ag ui，M．Nakajima，"A Fast DCTSQ Scheme for Images"，Trans．IEICE，Vol．E7 1，No．11，pp．1095-1097，1988]。出願人の提案したアーキテクチャーにおいて一次元のスケーリングされたDCTをハードウェアにより実現することは、Arai らによって提案された手順に基づいている[Y．Arai，T．Agui，M．Nakajima，"A Fast DCT-SQS cheme for Images"，Trans．IEICE，Vol．E71，No．11,pp．1095 -1097，1988]。この計算フローグラフには、５回の乗算、29回の加算、および16 回の２の補数演算（Araiら[Y．Arai，T．Agui，M．Nakajima，"A Fast DCT-SQSc heme for Images"，Trans．IEICE，Vol．E71，No.．11，pp．1095-1097，1988] では-1の乗算と呼ばれている）を必要とする。次のセクションで、出願人は必要な２の補数演算の回数を16から12に減らす、この手順の改変について述べる。ハフマンコードを含むツリーベースのコードのデータ変換のために、あるクラスのVLSIアーキテクチャーが提案されている[A．Mukherjee，N．Ranganathan，M ．Bassiouni，"Efficient VLSI designs for data transfor mations of tree-b ased codes"，IEEE Trans．Cir．Sys.，Vol．38，pp．306-314，Mar．1991]。これらのアーキテクチャーは、元のハフマンコードから作成される逆二進法ツリーにおけるトークンの増殖の原理を用いる。静止圧縮法を実現するための他のいくつかのアーキテクチャーが提案されている[A．Mukherjee，N．Ranganathan，J． W．Flieder and T．Acharya，"MARVLE: A VLSI Chip for Data Compression Usi ng Tree-Based Codes"，IEEE Trans．VLSI，Vol．1，pp．203-214，June 1993; M.T．Sun，"VLSI Architecture and Implementation of High Speed Entropy De coder"，Proc．ISCS，pp．200-202，1991]。コードは実行の前に固定され、後で変更できない。これが静止法の欠点である。順列および同時VLSIモデルを用いて VLC(Variable length coding、可変長符号化)を実現する他のいくつかのVLSIアーチテクチャーが、[M.T．Sun，K.M．Yang，K.H．Tzou，"A High Speed Program mable VLSI for Decoding Variable Length Codes"，Proc．SPIE，Vol．1153，A ug．1989; S.F．Chang，D.G．Messerschmitt，"Designing High Throughput VLC Decoder: Part I Concurrent VLSI Architectures"，IEEE Trans．Cir．and Sy s．for Video Tech.，June 1992; J.L．Sicre，A．Leger，"Silicon complexity of VLC decoder vs．Q-coder"，CCITT Feb．1989; M.T．Sun，S.M．Lei，"A Pa rallel VLC Decoder for Advanced Television Applications"，Proc 3rd Int． Workshop on HDTV，Aug．1989]に記載されている。本発明のアーキテクチャーでは、ハフマンコードはRAMモジュールに格納されるため、コードはアプリケーションに応じて変更され得る。最近、JPEGベースライン圧縮標準を実現するいくつかの特殊用VLSIチップが製造および市販されて成功している。インテル社のi750ビデオプロセッサ[82750PB Pixel Processor databook，INTEL，Santa Clara，October 1993; 82750DB Dis play Processor databook，INTEL，Santa Clara，September 1993]は、２つのチップと82750PB画素プロセッサと82750DBディスプレイプロセッサとからなる。画素プロセッサはJPEG圧縮標準を実現するようにプログラムされ得る。C-CUBE CL5 50は、JPEG画像圧縮および伸張のための単一チッププロセッサである[CL550 Use rs Manual，C-Cube Microsystems，Milpitas，1992]。チップの核は、FDCT/IDCT と量子化器とランレングス符号器／復号器とハフマン符号器／復号器とからなる圧縮／伸張ユニットである。チップは35MHzまでの速度で作動し得る。チップは毎秒約1750万個の画素までの速度でデータを引き出し、毎秒約200万バイトの速度で圧縮データを生成し得る。チップのエントロピー符号器はDCTモジュールより遅い速度で作動するため、圧縮中のオーバフローを避けるために２つのモジュール間にFIFOバッファが用いられる。バッファ内のデータ量が所定のレベルに達すると、遅延信号が生成され、DCT計算およびシステムへのデータ入力を遅らせる。LSIロジック社は、L64735DCTプロセッサとL64745JPEG符号器とL74765カラーおよびラスターブロック変換器とからなるJPEG圧縮のためのチップセットを発表した［JPEG Chipset Technical Manual，LSI Logic，Milpitas，Jan．1993］。チップセットは最大速度35MHzて作動し、毎秒3000万バイトまでの速度で静止画像データを処理する。1993年７月、LSIロジック社は、パーソナルコンピュータ、エンジニアリングワークステーション、およびレーザプリンタでのグラフィックスおよびビデオアプリケーションのために設計された単一チップJPEGコプロセッサL64702を発表した[L64702 JPEG Coprocessor Technical Manual，LSI Log1c ，Milpitas，July 1993]。チップは、33MHzの作動周波数で毎秒825万バイトまでの速度でデータを圧縮および伸張し得る。これらは市販製品であるため、これらのチップについて公に入手可能な技術マニュアルはハードウェアアーキテクチャーまたは実現の詳細について多くの情報を提供していない。本発明のVLSI回路構造体は、包括的な通信または包括的な制御ロジックを有さない線形静止パイプラインアーキテクチャーを設計することによってはるかに良好な速度を実現するように設計されている。このようなアーキテクチャーは、各段階での処理の細分性を小さくすること（微細パイプライン構造化）によってより速いクロック速度が得られ得るという利点がある。つまり、データ処理機能（および各機能のための制御ロジック）をより小さなスライスまたは段階に再分割することによって、クロック周期が低減され得る。 II．本発明のVLSI回路構造体本発明は、JPEGベースライン圧縮標準を実現するための十分にパイプライン構造にされたVLSI回路構造体を提供する。VLSI回路構造体は包括的な通信または包括的な制御ロジックを必要としない。従って、VLSI回路構造体全体を狭い段階にスライスして、短いクロック周期を得ることができる。DCTのためのならびにエントロピー符号器におけるカテゴリー選択およびハフマン符号化のためのアーキテクチャーは、高速VLSIでの実現のために設計される。本発明のVLSI回路構造体により、毎秒１億バイト以上のデータ圧縮速度を得ることができると考えられている。本発明のVLSI回路構造体22を図５に概略的に示す。回路構造体22は、高スループットを実現するために線形多段階パイプラインとして構成される。回路構造体 22は、基本的には、DCTモジュール24と、エントロピー符号器モジュール26と、タイミング制御手段28（所定のタイミング間隔で回路の各構成要素にタイミング制御信号を送信する、所定の周波数を有するクロックなど）とを備えている。なおさらに、DCTモジュールに画像画素データ信号を入力する手段が設けられている。DCTモジュール24は、DCTセクション30と、量子化セクション32と、再配列ロジックセクション34とを含む。図10により詳細に示すエントロピー符号器モジュール26は、ゼロランレングス符号器60と、カテゴリー選択回路62と、除去ロジック64（図10参照）と、ハフマン符号器66と、データパッカ68とを含む。圧縮される画像はクロックサイクル毎に１画素の速度でアーキテクチャーに入力される。入力データは、各モジュール自体が多段階線形パイプとして内部構成されている線形方式で様々なモジュールによって処理される。圧縮されたデータは、得られた圧縮量に応じて様々な速度でシステムによって出力される。各モジュールの設計について以下に詳述する。１．DCTモジュール DCTモジュール24：(i)DCTセクション30、(ii)量子化セクション32、および(ii i)ジグザグ再配列セクション34。 DCTセクション24を図６に概略的に示す。DCTセクションは、レベルシフタ41と、２つのDCT回路42および43と、転置バッファ46とを含む。上述のように、スケーリングされた二次元DCT計算は、２つの一次元DCT演算に分離され得、各一次元 DCTは改変されたDFTを用いて実現され得る。第１のDCT計算は行方向に行われ、第２のDCT計算は列方向に行われる。既に提案されているDCT計算法[Y．Arai，T．Agui，M．Nakajima，"A Fast DCT -SQS cheme for Images"，Trans．IEICE，Vol．E71，No.．11，pp．1095-1097， 1988]では、５回の乗算、29回の加算、および16回の２の補数加算を必要とする。この計算法は本発明により改変され、同じ回数の乗算および加算を必要とする他に、２の補数演算の回数が16から12に減っている。改変された計算法は以下の通りである。ステップ１：ステップ２：ステップ３：ステップ４：ステップ５：ステップ６：ここで、 a_i 入力要素（0≦ｉ≦7） S_i スケーリングされたDFT係数（0≦ｉ≦7） m_i 固定乗算子 m1 = cos(4π/16); m2 = cos(6π/16); m3 = cos（2π/16）- cos(6π/16); m4 = cos（2π/16）+ cos(6π/16); 出願人の概念によるDCT計算を行うための一次元DCT回路構造体（例えば42）を図７に示す。図示するように、回路は６つのパーティションP₁〜P₆よりなる。各パーティションは、レジスタセット(RS)と、ある関連する制御ロジックを有する算術ユニット（例えばカウンタ、図示せず）とを含む。各レジスタセットは、それぞれ８個のレジスタを有する２つの列よりなる。ただし、列RS-dおよびRS-eは各列９個のレジスタを有する。回路は、クロックサイクル毎に１画素の速度で画像入力データ信号を受け取り、処理全体が線形パイプとして行われる。上述の出願人のDCT計算法は、回路内では、計算法の各ステップが回路構造体における１つのパーティションに対応するように実現される。レジスタセットRS-aの左側の列が８個のデータ要素で満たされると、列全体が右側の列の対応するレジスタにコピーされる。加算器ロジックが出願人のDCT計算法のステップ１のような計算を行うとき、左側の列は新しい入力データを受け取る状態を続ける。各パーティションで同様のプロセスが同時に行わわる。ステップ１のすべての計算を完了するには８クロックサイクルを要する。これは、左側の列を満たすのに必要なサイクル数と同じである。加算器は単一段階ユニットであるが、16ビット乗算器は６段階ウォーレスツリー乗算器である。転置バッファ46を図８に示す。バッファは、図示するように構成された8×8配列のレジスタ対よりなる。データは、64個のレジスタすべてがロードされるまで転置バッファ46に行方向に入力される。これらのレジスタ内のデータは、列方向に接続されている対応する隣接レジスタに並列的にコピーされる。データは列レジスタから読み出される一方で、行レジスタは一次元DCT回路42からの新しいデータの受け取りを続ける。従って、行方向のDCT計算の出力は、一次元DCT回路43 によって列方向のDCT計算に転置される。転置バッファ46は64クロックサイクルの待ち時間（latency）を有する。量子化セクション32を図９に示す。量子化セクションは、量子化テーブルを格納するRAM50と16ビット乗算器52とからなる。DCTの出力はスケーリングされる必要があり、これは各係数に予め定義されたスケーリングファクターを掛けることによって行われる。JPEG圧縮標準のための量子化ステップは、DCTの出力に量子化テーブルからの予め定義された値のセットを掛けることを包含する。上記のステップは両方とも乗算を包含するため、出願人の概念によれば、これら２つのステップは、スケーリングおよび量子化パラメータを適切に組み合わせることによって単一の乗算ステップに統合される。量子化セクション32の待ち時間は、乗算器の段階数に等しい６クロックサイクルである。量子化セクション32によって出力されるデータの各ブロックは、エントロピー符号器に送られる前にジグザグ方式で再配列される必要がある。DCTモジュール2 4では、この再配列は、転置バッファ46に類似した方式で構成された8×8配列のレジスタ対を用いる再配列ロジックセクション34によって実現される。再配列ロジックセクションは、DCTモジュールとエントロピー符号器モジュールとの間で動作を同期させるためのバッファとして作用しない。また、再配列ロジックはバッファとして作用せず、再配列することによってタイミング制御信号に応答し得る。２．エントロピー符号器モジュールエントロピー符号器モジュール26の機能は、DCTモジュール24からの量子化係数を可変長符号化を用いて符号化することである。エントロピー符号器モジュール26のための構造を図10に概略的に示す。図から分かるように、エントロピー符号器モジュール26は、(i)ゼロランレングス符号器60と、(ii)カテゴリー選択回路62と、(iii)除去ロジック64と、(iv)ハフマン符号器66と、(v)データパッカ68 とを含む。量子化画素データの各ブロックは、１つのDC係数とこれに続く63個の AC係数とからなる。エントロピー符号器がこの機能を実行する方法について以下に述べる。第１のステップは、現在のDC係数と直前のブロックのDC係数との間の差分であるΔDCを計算することである。また、JPEG圧縮標準では、係数の符号が負であればDC/AC係数を１だけ減分することが要求されている。次のステップは、ブロック内のAC係数ストリームからゼロランレングスカウントを抽出することである。このようにしてブロックデータは、係数に先行するゼロの数を示す関連するカウント値を有するAC係数ストリームに変換される。このランレングスカウントは４ビットフィールドとして表される。ランレングスが16より大きいときは、所定の条件に依り２つの特殊シンボル、ZRLおよびEOBがデータを符号化するために用いられる。ランレングスが16個のゼロのときはいつでも、データ内にゼロランレングスシンボルZRL（JPEGではF/0として表される）が挿入される。ブロックの終わりまでのAC係数の残りがゼロであることが検出されるときはいつでも、データ内にエンドオブブロックシンボルEOB（JPEGでは0/0として表される）が挿入される。出力されているデータがDCまたはAC係数、ZRLまたはEOBシンボルであるかどうかを示す４ビットのステータスフィールドが各係数に対応して生成される。上記のステップはゼロランレングス符号器60（図11参照）で実行される。ゼロランレングス符号器セクション60は３つの段階よりなり、従って３サイクルの待ち時間を有する。第１の段階は、ΔDCを計算するためのロジックよりなり、第２の段階はランレングスカウントを導き、第３の段階は負の係数を減分するために用いられる。カテゴリー選択回路62（図12および図13）では、各DCおよびAC係数は、係数の大きさに依り対応するカテゴリーに関連付けられる。JPEG標準によって定義されるカテゴリーの定義を表１に示す。カテゴリー選択ユニットから出力されるデータストリームの各要素は、係数と、対応するカテゴリーと、ランレングスカウントと、４ビットステータスとからなる。データストリームは、ゼロランレングスカウントとして符号化されている一連のゼロ係数を含む64個の係数すべてを依然として含んでいることに留意すべきである。また、データストリーム内の１つ以上のZRLシンボルの後にEOBシンボルが続く場合は、ZRLシンボルは冗長でありデータストリームから除去しなければならない。上記の機能は除去ロジック回路部 64（図14も参照）で実行される。ハフマン符号器66（図15参照）によって示される次のステップの間、除去ロジック回路部64によって出力される＜AC/DC係数、ランレングスカウント、カテゴリー、ステータス＞よりなる各データ要素は、対応する要素、＜AC/DC係数、カテゴリー、ハフマンコード、ハフマンコード長＞に変換される。ハフマンコードはランレングスカウント、カテゴリーおよびステータスのフィールドに基づいて選択される。ハフマンコードセットはテーブル内に予め格納され、アプリケーションに依り変更され得る。カテゴリーおよびハフマンコード長のフィールドはデータパッカユニットで使用される。データパッカユニットでは、可変長圧縮データ（DC/AC係数とハフマンコードとを含む）が固定長圧縮データストリームにパックされ、圧縮チップによって出力される。カテゴリー選択回路12の設計は本明細書で述べる概念に基づく。カテゴリー選択はJPEG圧縮標準文書にテーブルとして定義されている。カテゴリー選択を直接実現するためには、必要な範囲をメモリに格納し、入力データをこれらの予め格納された値と比較する必要があり、これは、複雑なアドレス復号化および制御ロジックを必要とする。カテゴリー選択のための非常に効率的なハードウェアによる実現へと導くいくつかの数学的な結果について以下に述べる。定義１．ＸおよびＹが整数Ｎの集合の部分集合であるときｘ∈Ｘ、ｙ∈Ｙ，およびｚ∈{0 ,1}とする。便宜上、1:2マッピング関数φを以下のように定義する。この関数を用いると集合Ｘを以下のように生成し得る。関数φを用いることによって、集合Ｙの要素数の２倍の要素数を有する集合Ｘが生成される。よって、以下の記述においてこの関数を拡大関数と呼ぶ。定理１． C_iを以下のように定義される整数の集合とする。集合C_iが与えられると、集合C_i+1は以下のように表され得る。証明：関数φ(y,z)を以下のような２つの副関数φ₀およびφ₁の集合に再定義する。上記の２つの関数を用いると、以下の２つの集合X₀およびX₁が生成され得る。集合X₀は偶数のみからなり、集合X₁は奇数のみからなることに留意すべきである。式２に示すように関数φによって生成される集合Ｘは、実際には、集合X₀およびX₁:X=X₀∪X₁の和集合である。 φ₀およびφ₁を、Y=C₁={-1・2ⁱ，...，12^i-1-1，2^i-1，...，2ⁱ-1}に適用することによって、以下の部分集合を得る。 X₀={-1・2ⁱ⁺¹，-1・2ⁱ⁺¹+2，-2ⁱ⁺¹+4，...，-1・2ⁱ-2，2ⁱ，2ⁱ+2，2ⁱ+4，...，2ⁱ⁺¹ -2}および、X₁={-1・2ⁱ⁺¹+1，-1・2ⁱ⁺¹+3，-1・2^i+l+5，...，-1・2ⁱ-1，2ⁱ+1，2ⁱ+3 ，2ⁱ+5，...，2ⁱ⁺¹-1}、そして、これらの和集合は、X={-1・2ⁱ⁺¹，...，-1・2ⁱ-1 ，2ⁱ，...，2ⁱ⁺¹-1}であり、これは実際にはC_i+1または１つの要素C₀のみからなる特殊な集合である。補助定理１．最初の集合C₁が与えられると、拡張関数φをうまく適用することによってすべての集合C_iを生成し得る。証明は定理１から直接得られるため省略する。定義２．ｘを、x_n-1x_n-2..．x₀のようなｎビットの２の補数形式で表される整数とする。関数p(x,i)は以下のように定義される。定理２．ｘをｎビットの２の補数形式で表される整数とし、ｘが（定理１で定義された）集合C_i'C_i-1'...，C₁のうちの１つに属するかまたは、C₀={0}のときC₀に属するとする。関数ｐを用いると、要素ｘの帰属関係は以下のように決定され得る。証明：定理１から、すべての集合Ciは最初の集合C₁={-2,1}から得られ得ることが分かる。要素{-2,1}をｎビットの２の補数二進法フォーマットで表す場合、-2 =(11. ..110)₂および1 =(00...001)₂を得る。拡張関数φを用いて他の集合の要素を得るためには、これらの要素に２を掛け（左シフト）、シフトした値に０または１を加える。こうすることによって、二進法の「先頭の」桁（-2の場合は０、１の場合は１）を左側に１つの位置だけ移動させるだけでよい。従って、拡張関数φ を繰り返し(i-1)回適用することによって、負の要素の場合には先頭の０および正の要素の場合には先頭の１が左側のｉ番目の位置にシフトされる。従って以下が成り立つ。２の補数表示において最上位のビットｘ_n-1に基づく正の要素と負の要素との区別は可能であるため、およびｊ≦ｉのときｘは集合Cjに属するため、ビットｘ_n-1 およびx_i-1が異なるならばｘは集合C_jに属することを意味する。ビットx_n-1 およびx_i-1が同じであれば、ｊ＜ｉのときｘは集合C_jに属する。集合C_i，C_i-1，...，C₀のうちの１つにおけるｘの帰属関係は以下のアルゴリズムを用いて決定され得る。 j = i; WHILE（p(x,j)&& j〉0）j--; x ∈ C_j 上記のアルゴリズムは定理２で得られた結果の延長である。試験条件を繰り返し適用することによって、ｘの正確な帰属関係が引き出され得る。定理１および２の単純ではあるが重要なこれらの結果は、カテゴリー選択のための効率的なハードウェアによる実現を引き出すのに用いられる。本明細書において、集合C_iは、JPEG標準で定義されているようなｉ番目のカテゴリーの係数の集合を表す。しかし、負の係数はJPEG標準による試験条件を適用する前に１つだけ減分しなければならないことに留意すべきである。カテゴリー選択概念のフローチャートを図 12に示し、単一段階回路としてのその実現を図13に示す。図14に示される除去ロジック64は４つの段階よりなる。各段階は、カテゴリー選択回路によって出力されるデータ要素に対応する、係数、ランレングスカウント、およびカテゴリーのフィールドを保持する３つのレジスタ、ならびに対応するステータスを保持する１ビットレジスタのセットを有する。ステータスビットは復号化され、ゼロ値の係数を除去し、またEOBシンボルに先行するZRLシンボルを除去するために用いられる。EOBシンボルに先行するZRLシンボルは最大３つであり得ることに留意すべきである。除去ロジックは４段階バッファとして作用し、ゼロ係数の除去後、圧縮データ要素はここを通過した後、ハフマン符号器に送られる。有効データがハフマン符号化のために除去ロジックによって出力されるときはいつでも有効ビット信号はハイに設定される。ZRLシンボルがデータストリームから削除されているときはいつても、ZRLビットをリセットする必要があることに留意すべきである。ハフマン符号器モジュールは、ランダムアクセスメモリモジュールに格納されているハフマン64（図15）コードテーブルと、カテゴリー、ランレングスカウント対を対応するハフマンコードに置き換えるためのロジックとからなる。DC係数コードテーブルのサイズは小さいが、AC係数のためのコードテーブル格納領域は比較的大きい。クロック周期を短くするために、コードテーブルのためのメモリは線形パイプライン方式で配置される５個のRAMモジュールのセットとして構成される。これは、メモリサイズを小さくすることによってアクセス時間を減らすためである。テーブルはアドレシングのためにランレングス、カテゴリー対を用いることによってアクセスされる。入力データは５つの段階のそれぞれを通過し、アドレスに応じて、対応するハフマンコードおよびコード長が出力される。このハードウェア構成を図15に示す。この図はこれ自体で明瞭であり説明を必要としない。図16にさらに詳しく示すデータパッカ68は、可変長圧縮データを固定長圧縮データストリームに変換するために用いられる。ロジックはレジスタＡおよびＢと、２つの左シフトユニットと、２つのマルチプレクサと、２つのレジスタＡ長およびＢ長を含む制御ロジックとからなる。データパッカは以下のように作動する。ハフマンコードは先ずレジスタＡに左揃えでロードされる。ハフマンコードの長さに依り、係数がマルチプレクサを通ってレジスタＡにロードされ、ハフマンコードとビット整合される（bit-aligned）。ハフマンコードと係数との合計長は26ビットを超えることはできないこと、および長さ情報がＡ長レジスタにロードされることに留意すべきである。レジスタＡのデータは左シフタユニットおよびマルチプレクサを通ってレジスタＢにロードされる。新しいデータのレジスタＢへのロードはシフタとマルチプレクサとを用いて制御され、シフタとマルチプレクサとはＡ長およびＢ長レジスタの値によって制御される。レジスタＢが、Ｂ長レジスタ値によって示される32ビット以上の情報を有するときはいつでも、32 ビット圧縮データが出力される。同様のロジックが、JPEG標準によって必要とされるバイト詰め込みのために用いられ得る。従って、上述のように、本発明は、JPEG画像圧縮をVLSIチップ上で実現するための新規で有用なVLSI回路構造体を提供する。VLSI回路構造体は、回路全体にわたる微細パイプライン構造を提供し極めて速いタイミング間隔（例えば、少なくとも100MHzのクロックサイクル）で作動するような方法でJPEG圧縮を実現するように設計される。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＩ，ＳＫ，ＴＪ，ＴＴ，ＵＡ，ＵＺ，ＶＮ

Claims

【特許請求の範囲】１．VLSIチップで画像圧縮を実現するVLSI回路構造体であって、DCTモジュールと、エントロピー符号器モジュールと、画像画素データ信号を該DCTモジュールに送る入力手段とを備え、該DCTモジュールは該画像画素データ信号を変換して該エントロピー符号器モジュールによる処理にとって適切な形式のDCT出力信号を生成して該DCT出力信号を該エントロピー符号器モジュールに直接転送するように設計され、該DCTモジュールは該DCTモジュールと該エントロピー符号器モジュールとの間で動作を同期させるためのバッファとして作用しないジグザグ再配列ロジックを含み、該エントロピー符号器モジュールは該DCT出力信号を処理して圧縮画像出力データ信号を生成するように設計され、該VLSI回路構造体はさらに、該画像画素データ信号の処理を制御するために所定のタイミング間隔でタイミング制御信号を提供するタイミング手段を備え、該所定のタイミング間隔のそれぞれの間に、該画像画素データ信号がDCTモジュールに送られ、該DCT出力信号が該DCTモジュールから該エントロピー符号器モジュールに直接転送され、そして該圧縮画像出力データ信号が該エントロピー符号器モジュールによって生成されるように設計され、これにより、正常動作中は該画像画素データ信号は、VLSI 回路構造体全体にわたって十分にパイプライン構造にされた方法で処理される、 VLSI回路構造体。２．前記DCTモジュールは、入力された前記画像画素データ信号を受け取りこれにDCT計算を行ってDCTデータ信号を生成するDCTセクションと、該DCTデータ信号をスケーリングする量子化セクションと、該DCTデータ信号を再配列して前記DCT 出力信号を生成する再配列ロジックセクションとを含む、請求項１に記載のVLSI 回路構造体。３．前記エントロピー符号器モジュールは、ゼロランレングス符号器と、カテゴリー選択回路と、除去ロジックと、ハフマン符号器と、データパッカとを含み、該ゼロランレングス符号器は前記DCT画像出力信号を受け取り、該カテゴリー選択回路に送られる符号化データ信号セットを生成するように設計され、該カテゴリー選択回路は該符号化データ信号を受け取り、カテゴリー信号を生成し、該符号化データ信号および該カテゴリー信号を該除去ロジックに送るように設計され、該除去ロジックは該符号化データ信号および該カテゴリー信号の冗長部分を除去し、該除去処理された信号を該ハフマン符号器に送るように設計され、該ハフマン符号器は該除去処理された符号化データと該カテゴリー信号とを対応するハフマンコードに置き換え、該ハフマンコードを該データパッカに出力するように設計され、該データパッカは該ハフマンコードを受け取り、前記圧縮画像データ信号を生成するように設計される、請求項１に記載のVLSI回路構造体。４．前記ハフマン符号器は線形パイプライン方式で接続され、それぞれが内部にハフマンコードのサブセットを格納する複数のランダムアクセスメモリモジュールを含む、請求項３に記載のVLSI回路構造体。５．前記ランダムアクセスメモリモジュールはランレングス、カテゴリー対を用いてアドレスされる、請求項４に記載のVLSI回路構造体。６．画像を圧縮するVLSI回路構造体であって、 (a)画像データを変更し、これにより変更された画像データストリームを生成する画像変更手段であって、画像データに二次元DCTを実行しこれによりDCT画像データストリームを生成し、該画像変更手段と該符号化手段との間で動作を同期させるためのバッファとして作用しないジグザグ再配列ロジックを有するDCT手段を含む画像変更手段と、 (b)該変更された画像データストリームを該画像変更手段から直接受け取ることが可能な速度で該変更された画像データストリームをエントロピー符号化する符号化手段と、 (c)少なくとも該DCT手段および該符号化手段にわたってデータの処理を制御するために所定のタイミング間隔でタイミング制御信号を提供するタイミング制御手段であって、該再配列ロジックはバッファとして作用せずに再配列することによって該タイミング制御信号に応答する、タイミング制御手段と、を備えたVLSI回路構造体。７．前記符号器手段はゼロランレングス符号器と、カテゴリー選択回路と、除去ロジックと、ハフマン符号器と、データパッカとを含み、該ゼロランレングス符号器は前記DCT画像出力信号を受け取り、該カテゴリー選択回路に送られる符号化データ信号セットを生成するように設計され、該カテゴリー選択回路は該符号化データ信号を受け取り、カテゴリー信号を生成し、該符号化データ信号および該カテゴリー信号を該除去ロジックに送るように設計され、該除去ロジックは該符号化データ信号および該カテゴリー信号の冗長部分を除去し、該除去処理された信号を該ハフマン符号器に送るように設計され、該ハフマン符号器は該除去処理された符号化データと該カテゴリー信号とを対応するハフマンコードに置き換え、該ハフマンコードを該データパッカに出力するように設計され、該データパッカは該ハフマンコードを受け取り、前記圧縮両像データ信号を生成するように設計される、請求項６に記載のVLSI回路構造体。８．画像を圧縮するVLSI回路構造体であって、 (a)画像データを変更し、これにより変更された画像データストリームを生成する画像変更手段であって、画像データに二次元DCTを実行しこれによりDCT画像データストリームを生成し、該画像変更手段と該符号化手段との間で動作を同期させるためのバッファとして作用しないジグザグ再配列ロジックを有するDCT手段を含む画像変更手段と、 (b)該画像変更手段と十分にパイプライン構造にされ得る速度で該変更された画像データストリームをエントロピー符号化する符号化手段と、 (c)少なくとも該DCT手段および該符号化手段にわたってデータの処理を制御するために所定のタイミング間隔でタイミング制御信号を提供するタイミング制御手段であって、該再配列ロジックはバッファとして作用せずに再配列することによって該タイミング制御信号に応答する、タイミング制御手段と、を備えたVLSI回路構造体。