JP4800571B2 - 損失の無い方法でディジタル画像を符号化するための装置および方法 - Google Patents

Description

【技術分野】
【０００１】
本発明は、画像処理および圧縮に関する。特に、本発明は周波数領域のビデオ画像および音声情報の損失の無い符号化に関する。
【背景技術】
【０００２】
ディジタル画像処理は、ディジタル信号処理の一般的な専門分野において、重要な位置を有する。人間の視覚認知の重要性は、ディジタル画像処理の技術および科学において、著しい関心および進展を促進させた。フィルムまたは映画を投影するために使用されるビデオ信号のようなビデオ信号の送受信の分野において、種々の改良が画像圧縮技術になされつつある。現在のおよび提案されたビデオシステムの多くは、ディジタル符号化技術を利用する。この分野の観点は、画像符号化、画像復元および画像特徴選択を含む。画像符号化は、効率的な方法でディジタル通信の画像を送信するための試みを表し、同時に、必要とされる帯域幅をできるだけ最小にするように数ビットを使用し、ある制限内で歪みを維持する。画像復元は物体の真の画像を再生するための努力をあらわす。通信チャネル上に送信される符号化された画像は種々の要因により歪みを生じるかもしれない。質が低下する原因は、もともと物体から画像を創出する際に生じていたかもしれない。特徴選択は、画像のある属性の選択に言及する。そのような属性は、より広い文脈において、認識、分類および決定において必要かもしれない。
【０００３】
ディジタル映画のようなビデオのディジタル符号化は、改良された画像圧縮技術から利益を得る領域である。ディジタル画像圧縮は、一般的に、2つのカテゴリに分類されるかもしれない。すなわち、損失の無い方法と損失のある方法である。損失の無い画像は、いかなる情報の損失も無しに再生される。損失のある方法は、以下を含む：圧縮比、圧縮アルゴリズムの質、およびアルゴリズムの実施に応じて多少の情報の回復できない損失。一般に、費用効率が高いディジタル映画手法のために要望される圧縮比を得るために損失のある圧縮手法が考慮される。ディジタル映画の品質レベルを得るために、圧縮手法は、視覚的に損失の無いレベルの性能を提供しなければならない。従って、圧縮処理の結果として情報の数学的な損失があるけれども、この損失によって生じた画像歪みは通常の画像観察下で視聴者に感知できないようでなければならない。
【０００４】
既存のディジタル画像圧縮技術は、ほかの応用のために開発されてきた、すなわち、テレビシステムのために開発されてきた。そのような技術は、意図したアプリケーションに対して設計上の妥協を適当なものとしたが映画プレゼンテーションに必要な品質要件に適合しない。
【０００５】
ディジタル映画圧縮技術は、映画ファンが以前経験した視覚の質を提供しなければならない。理想的には、ディジタル映画の視覚品質は、高品質の公開版フィルムの品質を超えようと試みなければならない。同時に、この圧縮技術は高符号化効率を実用的にさせなければならない。本願明細書において定義されるように、コーディング効率はある質的レベルを満たすために圧縮された画像品質に必要なビットレートに言及する。さらに、システムおよび符号化技術は、異なるフォーマットに対応するように内蔵の柔軟性を有さなければならず、費用効率が高くなければならない。すなわち、小さなサイズで効率的なデコーダまたはエンコーダ処理でなければならない。
【０００６】
入手可能な多くの圧縮技術は、有意水準の圧縮を提供するが、結果として，ビデオ信号の品質の劣化を生じる。典型的に、圧縮された情報を転送するための技術は、圧縮された情報が一定のビットレートで転送されることを必要とする。
【０００７】
ビデオ信号に対して所望のレベルの品質を維持しながら、有意水準の圧縮を提供することができる１つの圧縮技術は、符号化された離散コサイン変換（ＤＣＴ）係数データの順応して大きさに合わせて作られたブロックおよびサブブロックを利用する。この技術は、以下において、順応ブロックサイズ離散コサイン変換（ＡＢＳＤＣＴ）方法と呼ばれるであろう。この技術は、この発明の譲受人に譲渡され、参照することにより、本願明細書に組み込まれる米国特許番号第5,021、891号、（発明の名称：「順応ブロックサイズ画像圧縮方法およびシステム」）に開示される。DCT技術は、また、この発明の譲受人に譲渡され参照することにより本願明細書に組み込まれる米国特許番号第 5,107、345号（発明の名称：「順応ブロックサイズ圧縮方法およびシステム」）にも開示される。さらに、微分四部木と組み合わせたＡＢＳＤＣＴ技術も、この発明の譲受人に譲渡され、参照することにより、本願明細書に組み込まれる、米国特許番号第5,452,104号（発明の名称：「順応ブロックサイズ画像圧縮方法およびシステム」）に開示されている。これらの特許において開示されるシステムは、「フレーム内」符号化と呼ばれるものを利用し、画像データの各フレームはその他のフレームの内容に関係無く符号化される。 ABSDCT技術を用いて、なし遂げられるデータレートは、画質の識別可能な劣化のない約15億ビット／秒からおおよご5000万ビット／秒まで、低減してもよい。
【０００８】
ABSDCT技術は、白黒かカラー画像を圧縮するかまたは画像を表す信号を圧縮するために使用してもよい。カラー入力信号は、YIQフォーマットであってもよく、Ｙは輝度または光度サンプルであり、ＩおよびＱは、各４：４：４または代替フォーマットに対して、クロミナンスまたはカラーサンプルである。YUV,YCbCrまたはRGBフォーマットのような他の周知のフォーマットも、使用してもよい。色に対する目の低空間の感度のため、大部分の調査は、色成分の副サンプルが水平および垂直方向に４だけ合理的であることを示した。したがって、ビデオ信号は4つの輝度サンプルおよび2つのクロミナンス・サンプルによって表されることができる。
【０００９】
ABSDCTを用いて、ビデオ信号は一般に処理のため、ピクセルのブロックに分割されるであろう。各々のブロックに対して、輝度およびクロミナンス成分は、ブロックサイズ割当てエレメントまたはブロックインターリーバーに渡される。例えば、１６×１６（ピクセル）ブロックは、ブロックインターリーバーに渡してもよい。ブロックインターリーバーは各１６×１６ブロック内で画像サンプルを順序付けるかまたは組織化して離散コサイン変換（ＤＣＴ）解析のためにデータのブロックおよび合成副ブロックを生成する。DCTオペレータは、時間および空間のサンプル信号を同じ信号の周波数表示に変換する1つの方法である。周波数表示に変換することによって、DCT技術は、量子化器が画像の周波数分布特性を利用するように設計することができるように、非常の高レベルの圧縮を可能にすることを示してきた。好適実施形態において、１つの１６×１６ＤＣＴは第１の順序づけに適用され、４つの８×８ＤＣＴは第２の順序づけに適用され、１６の４×４ＤＣＴは、第３の順序付けに適用され、および６４の２×２ＤＣＴは第４の順序付けに適用される。
【００１０】
ＤＣＴ操作は、ビデオソースに固有の空間冗長度を低減する。ＤＣＴが実行された後、殆どのビデオ信号エネルギーは、２乃至３のＤＣＴ係数に集中する傾向がある。さらなる変換、微分四部木変換（ＤＱＴ）は、ＤＣＴ係数の中で冗長度を低減するために使用してもよい。
【００１１】
１６×１６のブロックおよび各副ブロックに対して、ＤＣＴ係数値および（ＤＱＴが使用されるなら）ＤＱＴ値が解析され、ブロックまたは副ブロックを符号化するのに必要なビット数を決定する。次に、符号化するために最少数のビットを必要とする副ブロックの組合せが選択され、画像セグメントを表す。例えば、2つの８×８副ブロック、６つの ４×４副ブロックおよび8つの２×２副ブロックは、画像セグメントを表すために選択してもよい。
【００１２】
次に、選択されたブロックまたは副ブロックの組合せは適切に順番に１６×１６のブロックに配列される。次に、ＤＣＴ／ＤＱＴ係数値は、送信の準備のために、周波数重みづけされ、量子化され、（可変長符号化）のような符号化をしてもよい。上記したＡＢＳＤＣＴ技術は、著しくよく実行するけれども、それはコンピュータを必要とするほど強力である。
【００１３】
さらに、上述したＡＢＳＤＣＴの使用は視覚的に損失が無いけれども、時には、データが符号化される正確な方法でデータを再生することが望ましい。例えば、マスタリングおよび永久保存の目的は、正確にもとの状態に再生することができるようにデータを圧縮する必要がある。
【００１４】
典型的に損失の無い画像のための圧縮システムは、予測子から構成され、予測子は符号化される現在のピクセルの値を推定する。残りのピクセルは実際のピクセルと予測されるピクセルとの間の差分として得られる。次に、残りのピクセルはエントロピー符号化され記憶されまたは送信される。予測はピクセルの相関を除去するので、残りのピクセルは特徴のある両面のある指数（ラプラシアン）分布を有した低減されたダイナミックレンジを有する。それゆえに、圧縮を有する。残りの圧縮量は、予測および次のエントロピー符号化方法に依存する。大部分の共通して使う予測方法は、差分ＰＣＭ（DPCM）および適応ＤＰＣＭ（ＡＤＰＣＭ）のようなその変形である。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
ペルに基づく予測を伴う問題は、残差がまだ高エネルギーを有するということである。それは、少数の隣接したピクセルだけが予測方法において使われるという事実による。したがって、ペルに基づく予測スキームの符号化効率を改良する余地がある。
【課題を解決するための手段】
【００１６】
本発明の実施例は、圧縮を達成するために、損失の無い方法でディジタル画像およびビデオデータを圧縮するためのシステムを記載する。システムは、ハイブリッドである。このことは、損失のある方法で前記データを圧縮する一部と損失の無い態様で残差データを圧縮する一部とを有することを意味する。損失のある部分に対して、システムは適応ブロックサイズ離散コサイン変換（ＡＢＳＤＣＴ）アルゴリズムを使用する。ＡＢＳＤＣＴシステムは、高い表示品位および圧縮比を生じる前記データを圧縮する。残像は、オリジナルと、ＡＢＳＤＣＴシステムから解凍されたものとの間の差分として得られる。この残差は、ゴロンブ−ライス(Golomb-Rice)符号化アルゴリズムを用いて損失無く符号化される。 視覚的に基づいた適応ブロックサイズおよびＤＣＴ係数の量子化により、残差は非常に低いエネルギーを有し、従って、全体に損失の無い圧縮比を生じる。
【００１７】
ＡＢＳＤＣＴシステムは、映画の品質において、高い圧縮比を得る。ＡＢＳＤＣＴシステムはブロックに基づくので、ＡＢＳＤＣＴシステムはいかなるペルに基づくスキームよりも非常によいピクセル相関を除去する。したがって、ＡＢＳＤＣＴシステムは本願明細書において記載される損失の無いシステムにおける予測として使用される。この予測子と連動して、損失の無い符号化システムが加えられ、ハイブリッドの損失の無い圧縮システムを形成する。留意すべきは、システムは、動画像同様に静止画像を圧縮することができるという点である。静止画像なら、ＡＢＳＤＣＴ圧縮データおよびエントロピー符号化された残差データのみが圧縮された出力として使用される。運動順序のために、フレーム内圧縮を使用するかまたはフレーム間圧縮を使用するかの決定がなされる。例えば、ｆ（ｔ）が時刻ｔにおける画像フレームを表すなら、Ｆ（ｔ）およびＦ（ｔ＋Δｔ）は、それぞれ時刻ｔおよびｔ＋Δｔにおける画像フレームのＤＣＴを示す。Δtが2つの連続的なフレーム間の時間間隔と対応する点に注意する必要がある。
【００１８】
この発明は、データが符号化された正確な方法でデータを再生することを可能にするデータを圧縮するための装置および方法に具現化される。実施形態は、フレーム内符号化、フレーム間符号化または、それら２つのハイブリッドを実行するシステムを含む。このシステムは、離散コサイン変換係数データの順応した大きさに合わせて作られたブロックおよび副ブロックを利用する品質に基づいたシステムである。1つのブロックのピクセルデータは、エンコーダに対する入力である。エンコーダは、ブロックサイズ割当て（ＢＳＡ）構成要素を含み、ブロック割当て構成要素は処理のためにピクセルの入力ブロックを分割する。ブロックサイズ割当ては、入力ブロックおよびさらに再分割されたブロックの分散に基づく。一般に、ブロックおよび副ブロックの平均値が異なる所定の範囲に入るなら、より大きい分散を伴うエリアは、より小さなブロックに再分割され、より小さな分散を伴うエリアは再分割されない。従って、最初に、ブロックの分散閾値は、その平均値に応じて公称値から変更され、次に、ブロックの分散はこの閾値と比較され、そして、分散が閾値より大きい場合、そのブロックは再分割される。
【００１９】
ブロックサイズ割当ては変換構成要素に供給され、変換構成要素はピクセルデータを周波数領域データに変換する。この変換は、ブロックサイズ割当てを介して選択されたブロックおよび副ブロックのみに実行される。ＡＣ構成要素の場合、量子化および連続化を介してその変換データにスケーリング処理をする。変換データの量子化は、コントラスト、係数カウント、レート歪み、ブロックサイズ割当ての密度及び／または過去スケールファクタに対して調節するスケールファクタのような、画像品質測定基準に基づいて量子化される。ジグザグスキャンのような連続化は同じ値の最も長い可能なランレングスを作ることに基づく。次に、データのストリームは送信に備えて、可変長符号化器により符号化される。コーディングはハフマン・コーディングであってもよい、または、ゴロンブ−ライス符号化のような指数分布に基づいてもよい。
【００２０】
ＡＢＳＤＣＴのようなハイブリッド圧縮システムの使用は、ピクセルまたはＤＣＴ値の良好な予測子のように動作する。それゆえ、ＡＢＳＤＣＴは、ペルに基づく予測を使用しているシステムより高い損失の無い圧縮比を生じる。損失のある部分は、ディジタル映画品質結果を供給する。すなわち、視覚的に損失の無いファイルに圧縮結果を供給する。損失の無い部分の場合、ハフマンコードと異なり、ゴロンブ−ライス符号化はいかなる先験的符号発生を必要としない。それゆえ、ゴロンブ−ライス符号化は、ハフマン符号化の場合に記憶される拡張コードブックを必要としない。これは、チップの有効スペースの効率的な使用を生じる。それゆえに、チップ・サイズは、ハードウエア実施において低減される。さらに、ゴロンブーライス符号化は、ハフマン符号化より実施するのにより簡単である。また、ＤＣＴ係数または残りのピクセルは必然的に指数分布を有するので、ゴロンブーライス符号化は、ハフマン符号化よりも高い符号化効率を 得る。さらに、圧縮システムの損失のある部分がブロック再分割において視覚的に重要な情報を使用するので、コンテクストモデリングは残差符号化において固有である。これは、残差符号化のためにコンテクストデータを集めるのに、余分な記憶レジスタが必要ないという点で、重要である。また、運動推定が使われないので、システムは実施するのに非常に簡単である。
【００２１】
画像情報を表す信号を損失が無いように圧縮し符号化するための装置および方法が請求される。画像情報を表す信号は、圧縮され、画像の圧縮されたバージョンを作る。画像の圧縮されたバージョンは量子化され、それにより、画像の損失のあるバージョンを作る。画像の圧縮されたバージョンは、また、順番に並べられ、画像の順番に並べられた量子化された圧縮されたバージョンを作る。このバージョンは、次に、解凍され、オリジナル画像と解凍されたバージョンとの間の差分が決定され、それにより画像の残差バージョンを作る。画像の損失のあるバージョンおよび画像の残差バージョンは、別個にまたは結合されて別に出力してもよく、その場合、画像の解凍された損失のあるバージョンと、画像の残差バージョンとの組合せは実質的にオリジナル画像と同じである。
【００２２】
画像情報を表す信号を損失無く圧縮し、符号化する方法が、請求される。損失のある圧縮されたデータファイルおよび残りの圧縮されたデータファイルが発生される。損失のある圧縮されたデータファイルおよび残りの圧縮されたデータファイルが結合されると、実質的にオリジナルデータファイルと同一であり損失の無いデータファイルが作られる。
【００２３】
したがって、効率的に損失の無い圧縮を提供するための装置および方法を提供することが、実施形態の１つの観点である。
【００２４】
マスタリングおよびアーカイブの目的の助けとなる方法で、損失無く、ディジタル画像情報およびオーディオ情報を圧縮することは実施形態の他の観点である。
【００２５】
フレーム間に基づいて、損失の無い圧縮システムを提供することは実施形態の他の観点である。
【００２６】
フレーム内に基づいて損失の無い圧縮システムを提供することは実施形態の他の観点である。
【発明を実施するための最良の形態】
【００２７】
ディジタル信号のディジタル伝送を容易にして、対応する利益を享受するために、一般的にある形態の信号圧縮を採用することが必要である。結果として生じる画像の高い圧縮を実現する一方、画像の高品質が維持されることもまた、重要である。さらに、コンパクトなハードウエア実施のための計算効率が望まれる。この計算効率は多くのアプリケーションにおいて重要である。
【００２８】
本発明の一実施形態を詳細に説明する前に、本発明は、そのアプリケーションにおいて、構成の詳細におよび以下の記載で述べるまたは、図で図解される部品の配列に限定されないことが理解されるべきである。本発明は他の実施形態を実施することができ、種々の方法で実行される。また、ここで使用される言葉遣いおよび専門用語は、記載の目的のためであり、制限と見なされるべきではない。
【００２９】
一実施形態の一観点において採用される画像圧縮は、この発明の譲受人に譲渡され、参照することによりここに組み込まれる、１９９９年１１月８日に出願されたシリアル番号第０９／４３６、０８５の同時係属米国特許出願（発明の名称：「コントラスト感応分散に基づく適応ブロックサイズ画像圧縮」）に開示されるような離散コサイン変換（ＤＣＴ）に基づく。ＤＣＴを利用した画像圧縮および解凍システムは、この発明の譲受人に譲渡され、参照することによりここに組み込まれる、２０００年、１月２８日に出願されたシリアル番号第０９／４９４、１９２号の同時係属米国特許出願（発明の名称：「品質に基づく画像圧縮」）に記載されている。一般に、ディジタル領域において処理される画像は、Ｎ×Ｎのサイズの重畳しないブロックの配列に分割されたピクセルデータから成る。二次元のＤＣＴを、各ブロック上で実行してもよい。二次元のＤＣＴは、以下の関係によって定義される：
【数１】

【００３０】
但し、
【数２】

【００３１】
およびｘ（ｍ，ｎ）はＮ×Ｍブロック内のロケーション（ｍ，ｎ）におけるピクセルでありＸ（ｋ，ｌ）は対応するＤＣＴ係数である。
【００３２】
ピクセル値が０以上であるので、ＤＣＴ成分X（0、0）は常に正で、通常最も多くのエネルギーを有する。実際、代表的な画像の場合、大部分の変換エネルギーは、成分（0、0）周辺に集中する。このエネルギー圧縮特性は、ＤＣＴ特性をかくも魅力的な圧縮方法にしているところのものである。
【００３３】
画像圧縮技術は、コントラスト適応符号化を利用して、さらなるビットレートの低減を得る。大部分の自然の画像は、相対的にゆっくりと変化する平らな領域、および物体境界および高コントラストテクスチャのような人通りの多い場所から構成される。コントラスト適応符号化スキームは、より多くのビットを人通りの多い場所に割当てより少ないビットをより少ない人通りの多い場所に割当てることにより、この要因を利用する。
【００３４】
コントラスト適応方法は、フレーム間符号化（時空間的処理）の代わりに、フレーム内符号化（空間処理）を利用する。フレーム間符号化は、本質的に、より多くの複雑の処理回路に加えて複数のフレームバッファを必要とする。多くのアプリケーションにおいて、複雑さを低減することは、実際の実施のために必要である。フレーム間符号化は、また時空間的符号化スキームの機能が衰えて、その動作が悪化した情況で有効である。例えば、毎秒２４コマの映画は、機械的シャッターによる積分時間が相対的に短いので、このカテゴリに入れることができる。短い積分時間は、より高い度合いの時間的エリアシングを可能にする。高速に移動すると完結的になるので、フレームとフレームの相関関係の仮定がこわれる。フレーム内符号化はまた、５０ＨＺおよび６０ＨＺの電力線周波数が含まれる時に、標準化するのがより容易である。テレビ放送は、現在５０Ｈｚか６０Ｈｚで信号を送る。ディジタル手法である、フレーム内スキームの使用は５０Ｈｚおよび６０Ｈｚの両方に適合する。あるいは、空間分解能に対してフレーレートをトレードオフすることにより毎秒２４コマの映画にさえも適用できる。
【００３５】
画像処理の目的のために、重畳しないブロックの配列に分割されるピクセルデータにＤＣＴ動作が実行される。ブロックサイズはＮ×Ｎのサイズであるとして本願明細書において論じられるけれども、種々のブロックサイズを用いても良いことが想像される点に留意すべきである。例えば、Ｎ×Ｍのブロックサイズは、ＭがＮより大きいまたは未満であって、ＮおよびＭの両方が整数である場合に、利用してもよい。他の重要な観点は、ブロックが、Ｎ／ｉｘＮ／ｉ、Ｎ／ｉｘＮ／ｊ、Ｎ／ｉｘＭ／ｊ（但し、ｉおよびｊは整数）等のような少なくとも１つのレベルの副ブロックに分割可能である。さらに、本願明細書において議論される例示ブロックサイズは、ＤＣＴ係数の対応するブロックおよび副ブロックを有する１６×１６のピクセルブロックである。偶数または奇数の両方の整数値、例えば９×９のような種々他の整数を使用しても良いことがさらに想像される。
【００３６】
図１および図２は構成可能なシリアライザーの概念を組み込んだ画像処理システム１００を図解する。画像処理システム１００は受信したビデオ信号を圧縮するエンコーダ１０４を含む。圧縮信号は、伝送路または物理的な媒体１０８を使用して送られ、デコーダ１１２によって受信される。デコーダ１１２は、受信した符号化されたデータを画像サンプルに復号し、次に、それを表示してもよい。
【００３７】
一般に、画像は処理のためにピクセルのブロックに分割される。イメージは、加工度のための画素のブロックに分割される。カラー信号は、ＲＧＢ−ＹＣ１Ｃ２変換器１１６を使用して、ＲＧＢ空間からＹＣ１Ｃ２空間に変換してもよい。この場合、Ｙは輝度成分、または光度成分であり、Ｃ１およびＣ２はクロミナンス成分または色成分である。色に対する眼の空間感度が低いので、多くのシステムは水平方向および垂直方向にＣ１成分およびＣ２成分を４だけサブサンプルする。しかしながら、サブサンプリングは必要でない。４：４：４フォーマットとして知られる、完全分解能はディジタル映画をカバーするものと言われているようないくつかのアプリケーションにおいて非常に有効または必要かもしれない。２つの可能なＹＣ１Ｃ２表示はＹＩＱ表示およびＹＵＶ表示であり、両方は技術的によく知られている。また、ＹＣｂＣｒとして知られているＹＵＶ表示の変化を採用することも可能である。これを、さらに、奇数成分と偶数成分に分解してもよい。したがって、実施の形態において、表示Ｙ−偶数、Ｙ−奇数、Ｃｂ−偶数、Ｃｂ−奇数、Ｃｒ−偶数、Ｃｒ−奇数が使用される。
【００３８】
好適実施形態において、偶数および奇数のＹ、ＣＢ、およびＣｒ成分の各々はサブサンプリング無しに処理される。このように、１６×１６ブロックのピクセルの６つの成分の各々の入力はエンコーダ１０４に供給される。図示するために、Ｙ偶数成分のためのエンコーダ１０４が図解されている。同様のエンコーダが、Ｙ-奇数成分および偶数および奇数のＣｂおよびＣｒ成分のために使用される。エンコーダ１０４は、ブロックサイズ割当て構成要素１２０を含み、ブロックサイズ割当て構成要素１２０はビデオ圧縮の準備のために、ブロックサイズ割当てを実行する。ブロックサイズ割当て構成要素１２０は、ブロック内の画像の知覚特性に基づいて１６×１６のブロックのブロック分解を決定する。ブロックサイズ割当ては、各１６×１６のブロックを、１６×１６ブロック内の行動に応じて、四部木態様で８×８、４×４、および２×２のようなより小さなブロックにさらに分割する。ブロックサイズ割当て構成要素１２０は、長さが１ビットと２１ビットとの間にあるＰＱＲデータと呼ばれる、四部木データを発生する。従って、ブロックサイズ割当てが、１６×１６ブロックサイズを分割すると決定するなら、ＰＱＲデータのＲビットが設定され、４つの分割された８×８ブロックに対応するＱデータの４つのさらなるビットが続く。ブロックサイズ割当てが、８×８ブロックのいずれかを分割することを決定するなら、さらに分割された８×８ブロックの各々に対してＰデータのさらなるビットが追加される。
【００３９】
図３を参照すると、ブロックサイズ割当て構成要素１２０の動作の詳細を示すフロー図が提供される。ブロックの分散が、ブロックをさらに分割するという決定の測定基準として使われる。ステップ２０２から始まって、１６×１６ブロックのピクセルが読まれる。ステップ２０４において、１６×１６のブロックの分散が計算される。
【００４０】
分散は、次のように計算される：
【数３】

【００４１】
但し、Ｎ＝１６であり、ｘｉｊはＮ×Ｎブロック内のｉ行ｊ列のピクセルである。ステップ２０６において、閾値Ｔ１６の分散が変更され新しい閾値Ｔ’１６が与えられ、ブロックの平均値が２つの所定値間にあるなら、そのブロック分散は新しい閾値Ｔ’１６と比較される。
【００４２】
分散１６が閾値Ｔ１６より大きくなければ、ステップ２０８において、１６×１６ブロックの開始アドレスが一時記憶装置に書き込まれ、ＰＱＲデータのＲビットは０に設定され、１６×１６ブロックの再分割されないことを示す。次に、アルゴリズムは次の１６×１６ブロックのピクセルを読む。分散ｖ１６が閾値Ｔ１６より大きければ、ステップ２１０において、ＰＱＲデータのＲビットが１に設定され、１６×１６ブロックが４つの８か×８ブロックに再分割されることを示す。
【００４３】
４つの８×８ブロック、すなわちｉ＝１：４は、ステップ２１２に示すように、さらなる再分割のために順次考慮される。各８×８ブロックに対して、分散、ｖ８ｉがステップ２１４において、計算される。ステップ２１６において、最初に、分散閾値Ｔ８が変更され、新しい閾値Ｔ’８が与えられ、ブロックの値が２つの所定値間にあれば、ブロック分散はこの新しい閾値と比較される。
【００４４】
ステップ２１８において、分散ｖ８ｉが閾値Ｔ８より大きくなければ、８×８ブロックの開始アドレスは一時記憶装置に書き込まれ、対応するＱビット、Ｑｉは０に設定される。次に、次の８×８ブロックが処理される。ステップ２２０において、分散ｖ８ｉが閾値Ｔ８より大きければ、対応するＱビット、Ｑiは１に設定され、８×８ブロックが４つの４×４ブロックに再分割されることを示す。
【００４５】
４つの４×４ブロックｊｉ＝１：４は、ステップ２２２に示すように、さらなる再分割のために、順次考慮される。各４×４ブロックに対して、分散、ｖ４ｉｊはステップ２２４において、計算される。ステップ２２６において、最初に、分散閾値Ｔ４が変更されて、新しい閾値Ｔ’４が与えられ、ブロックの平均値が２つの所定間であれば、ブロック分散はこの新しい閾値と比較される。
【００４６】
分散ｖ４ｉｊが閾値Ｔ４より大きくなければ、ステップ２２８において、４×４ブロックのアドレスが書き込まれ、対応するＰビット、Ｐは０に設定される。次に、次の４×４ブロックが処理される。分散ｖ４ｉｊが閾値Ｔ４より大きければ、ステップ２３０において、対応するＰビット、Ｐｉｊは１に設定され、４×４ブロックは４つの２×２ブロックに再分割されることを示す。さらに、４つの２×２ブロックのアドレスは一時記憶装置に書き込まれる。
【００４７】
閾値Ｔ１６、Ｔ８およびＴ４は所定の定数であってよい。これは、つらい決断として知られる。あるいは、適応的意思決定または柔軟な意思決定を実施してもよい。例えば、柔軟な意志決定は２×２ブロックの平均ピクセル値に応じて分散のための閾値を変化させる（但しＮは８、４、または２の値を取り得る）。従って、平均ピクセル値の関数を閾値として用いてもよい。
【００４８】
説明のために以下の例を考察する。Ｙ成分のための所定の分散閾値を、それぞれ１６×１６ブロック、８×８ブロック、および４×４ブロックの場合に、５０、１１００、および８８０とする。言い換えれば、Ｔ１６＝５０、Ｔ８＝１１００、およびＴ４＝８８０とする。平均値の範囲を８０および１００とする。１６×１６ブロックの計算された分散を６０と仮定する。６０はＴ１６より大きいので、平均値９０は８０と１００との間にあり、１６×１６ブロックは４つの８×８の副ブロックに再分割される。８×８ブロックの計算された分散が、１１８０、９３５、９８０、および１２１０であると仮定する。８×８ブロックのうちの２つはＴ８を越える分散を有するので、これらの２つのブロックはさらに再分割され、合計８つの４×４の副ブロックを生成する。最後に、8つの４×４ブロックの分散が６２０、６３０、６７０、６１０、５９０、５２５、および６９０であり、対応する平均値が９０、１２０、１１０、１１５であると仮定する。最初の４×４ブロックの平均値は範囲（８０、１００）に入るので、閾値は、８８０未満であるＴ’４＝２００に下がるであろう。従って、この４×４ブロックは７番目の４×４ブロックと同様に再分割される。
【００４９】
同様の手続を用いて、輝度成分Ｙ−奇数および色成分ＣｂおよびＣｒに対してブロックサイズを割当てる点に留意する必要がある。色成分は、水平方向、垂直方向、またはその両方において、大幅に低減してもよい。
【００５０】
さらに、ブロックサイズ割当てがトップダウン手法として記述されたけれども、最大のブロック（この例では１６×１６）が最初に評価され、その代わりにボトムアップ手法を用いても良いことに留意する必要がある。ボトムアップ手法は、最初に最も小さいブロック（この例では、２×２）を評価するであろう。
【００５１】
図1に戻ると、ＰＱＲデータは選択されたブロックのアドレスとともに、ＤＣＴ構成要素１２４に供給される。ＤＣＴ構成要素１２４はＰＱＲデータを用いて、選択されたブロックに関して適当なサイズの離散コサイン変換を実行する。選択されたブロックだけがＤＣＴ処理を行う必要がある。
【００５２】
画像処理システム１００はまた、ＤＣＴのＤＣ係数の中で冗長度を低減するためにＤＱＴ構成要素１２８から成る。ＤＣ係数は、各ＤＣＴブロックの左上隅にある。ＤＣ係数は、一般に、ＡＣ係数に比べて大きい。サイズにおける不一致は、有効な可変長コーダーを設計することを困難にさせる。従って、ＤＣ係数の中で冗長度を低減することは利点がある。
【００５３】
ＤＱＴ構成要素１２８はＤＣ係数に２−Ｄ ＤＣＴｓを実行し、一度に２×２の単位で行なう。４×４ブロック内で、２×２ブロックから始めて、４つのＤＣ係数に関して２−Ｄ ＤＣＴが実行される。この２×２ＤＣＴは微分四部木変換、または４つのＤＣ係数のＤＱＴと呼ばれる。次に、８×８ブロック内の３つの隣接するＤＣ係数とともにＤＱＴのＤＣ係数を用いて次のレベルＤＱＴを計算する。最後に、１６×１６ブロック内の４つの８×８ブロックのＤＣ係数を用いてＤＱＴを計算する。従って、１６×１６ブロックにおいて、１つのＤＣ係数があり、残りはＤＣＴ及びＤＱＴに対応するＡＣ係数である。
【００５４】
変換係数（ＤＣＴおよびＤＱＴの両方）は量子化のために量子化器に供給される。好適実施形態において、ＤＣＴ係数は、周波数重み付けするマスク（ＦＷＭｓ）および量子化スケール因子を用いて量子化される。ＦＷＭは、入力ＤＣＴ係数のブロックと同じ次元の周波数重みのテーブルである。周波数重みは、異なるＤＣＴ係数に異なる重みを印加する。重みは、人間の視覚または光学システムがより敏感である周波数内容を有する入力サンプルを強調するように設計され、そして、視覚または光学システムがより敏感でない周波数内容をされている。重みは、また見える距離等のような因子に基づいて設計してもよい。
【００５５】
重みは、経験によるデータに基づいて選択される。８×８ＤＣＴ係数のための重み付けマスクを設計するための方法は、ＩＳＯ／ＩＥＣ ＪＴＣ１ ＣＤ １０９１８「連続諧調静止画像のディジタル圧縮および符号化−パート１：要件およびガイドライン」、国際標準化機構１９９４、これは参照することにより本願明細書に組み込まれる。一般に、2つのＦＭＷは、１つが輝度成分のためのそして１つがクロミナンス成分のために設計される。ブロックサイズ２×２、４×４のためのＦＷＭテーブルは大幅に減らすことにより得られ、１６×１６のためのＦＷＭテーブルは、８×８ブロックのためのＦＷＭテーブルの補間により得られる。スケールファクタは、量子化された係数の質およびビットレートを制御する。
【００５６】
従って、各ＤＣＴ係数は以下の関係式に従って量子化される。
【数４】

【００５７】
但し、ＤＣＴ（ｉ，ｊ）は入力ＤＣＴ係数であり、ｆｗｍ（ｉ，ｊ）は周波数重み付けするマスクであり、ｑはスケールファクタであり、およびＤＣＴｑ（ｉ，ｊ）は量子化された係数である。DCT係数の符号に応じて、大括弧内の最初の項は端数のない形に切り上げるかまたは端数が切り捨てられることに留意する必要がある。ＤＱＴ係数は、また、適切な重み付けマスクを使用して量子化される。しかしながら、複数のテーブルまたはマスクを使用することができ、Ｙ成分，Ｃｂ成分、およびＣｒ成分の各々に印加することができる。
【００５８】
次に、ＡＣ値がＤＣ値から分離され１３０、別個に処理される。ＤＣ構成要素に対して、各スライスの最初のＤＣ成分値が符号化される。従って、各スライスの各次のＤＣ成分値は、自分自身と自分より先行するＤＣ成分値との差分として表され、符号化される１３４。損失の無い符号化の場合、各スライスの初期ＤＣ成分値と前記差分は図６および図８に対して記載したように、ゴロンブ−ライスを用いて符号化される１３８。連続するＤＣ成分値間の差分のためにゴロンブ−ライス符号化を使用することは、ＤＣ成分値の差が２辺のある指数分布を有する傾向があるという点で利点がある。次にデータは、一時的にバッファ１４２を用いて記憶され、次に、送信チャネル１０８を介してデコーダ１１２に転送または送信される。
【００５９】
図８はＤＣ成分値を符号化するプロセスを図解する。このプロセスは等価的に静止画、（これらに限定されるわけではないが、映画または高品質テレビジョンのような）ビデオ画像、およびオーディオに適用できる。データ８０４の所定のスライスに対して、スライスの第１のＤＣ成分値が検索される８０８。次に、第1のＤＣ成分値が符号化される８１２。ＡＣ成分値と異なって、ＤＣ成分値は、量子化される必要はない。一実施形態において、１６×１６ブロックのための単一ＤＣ値は、ブロックサイズの割当てが停止しているにもかかわらず、使用される。８×８または４×４、またはブロックサイズ割当てにより定義されるいずれかの可変ブロックサイズのようないかなる固定のサイズのブロックも使用できると予想される。次に、所定のスライスの第２または次の、ＤＣ成分値が検索される８１６。次に第２のＤＣ成分値が第1のＤＣ成分値と比較され、その差分すなわち残差が符号化される８２０。従って、第２のＤＣ成分値は、自分自身と第１の値との間の差分として表すしか必要としない。このプロセスは、スライスの各ＤＣ成分値に対して繰り返される。このように、問合せ８２４はスライス（最後のブロックそれゆえ、最後のＤＣ値）の終わりに到達したかどうかに関してなされる。そうでなければ８２８、スライスの次のＤＣ値が検索され８１６、プロセスは繰返される。そうであれば、８３２、次のスライスが検索され８０４、このプロセスは、フレームの全てのスライス、およびファイルの全てのフレームが処理されるまで繰返される。
【００６０】
ＤＣ成分値の損失の無い符号化の目的は、低分散を有する傾向がある残差値を生成することである。DCTを使用する際に、ＤＣ係数成分値は、最大の画素エネルギーを与える。それゆえ、ＤＣ成分値を量子化しないことによって、残差の分散は、低減される。
【００６１】
ＡＣ要素の場合、データのブロックおよび周波数重み付けマスクは次に、量子化器１４６またはスケールファクターエレメントにより倍率がかけられる。ＤＣＴ係数の量子化は、大多数のＤＣＴ係数をゼロまで低減し、その結果圧縮が生じる。好適実施形態において、平均ビットレートに対応する32のスケールファクタがある。ＭＰＥＧ２のような他の圧縮方法と異なり、平均ビットレートは目標のビットレートおよびバッファステータスの代わりに処理される画像の品質に基づいて制御される。
【００６２】
さらに圧縮を増大させるために、量子化されたＡＣ係数はシリアライザ１５０に供給される。シリアライザ１５０は量子化された係数のブロックを走査し、順番に並べられたストリームの量子化された係数を生成する。ジグザグ走査、カラム走査または行走査を採用してもよい。ジグザグ以外のパターン同様、多数の異なるジクザグ走査パターンを選択してもよい。好適な技術は、ジクザグのスキャンのための８×８ブロックサイズを採用する。量子化された係数のジクザグのスキャンは、ゼロ値の大きいランに遭遇する機会を改良する。このゼロのランは、本質的に減少する確率を有し、ハフマン符号を使用して、効率的に符号化してもよい。
【００６３】
順番に並べられ、量子化されたＡＣ係数のストリームは、可変長コーダーに供給される。ＡＣ成分値は、ハフマン符号またはゴロンブ−ライス符号化のいずれかを用いて符号化してもよい。ＤＣ成分値の場合、ゴロンブ−ライス符号化が利用される。ランレングスコーダーは、係数をゼロの係数と非ゼロの係数に分けるが、詳細は図６に対して記載される。一実施形態において、ゴロンブ−ライス符号化が利用される。ゴロンブ−ライス符号化は指数分布を有する負でない整数を符号化する際に効率的である。ゴロンブ符号を用いることにより、指数的に分布される変数に対してより短いレングスコードを供給する際の圧縮のためにより最適である。
【００６４】
ゴロンブ符号化ランレングスにおいて、ゴロンブ符号は負でない整数ｍによりパラメータ化される。例えば、パラメータｍを与えられると、正の整数ｎのゴロンブ符号化は、単項式符号のｎ／ｍの商により表されその後に変更されたバイナリコードにより表される剰余が続く。この剰余は、剰余が
【数５】

【００６５】
以下ならば、
【数６】

【００６６】
ビット長であり、そうでなければ
【数７】

【００６７】
ビット長である。ゴロンブ−ライス符号化は、パラメータｍがｍ＝２ｋとして表される場合のゴロンブ符号化の特別な場合である。そのような場合、ｎ／ｍの商は整数ｎのバイナリ表示をｋビットだけ右にシフトすることにより得られ、ｎ／ｍの残りはｎの最小のｋビットにより表される。従って、ゴロンブ−ライス符号は２つの連結である。ゴロンブ−ライス符号化は、
【数８】

【００６８】
により与えられるニ辺の幾何学的な（指数関数）分布を有した正および負の整数を符号化するために使用することができる。
【００６９】
（１）において、αはｘの確率の減少を特徴づけるパラメータであり、ｃは正規化定数である。Ｐα（ｘ）は単調であるので、整数値の系列は、
【数９】

【００７０】
を満足することがわかる。
【００７１】
図４Ａ、４Ｂ、４Ｃおよび５Ａ、５Ｂ、５Ｃに図解するように、量子化された係数マトリクスにおけるゼロランおよび振幅は、指数分布を有する。これらの図に図解される分布は、実像からのデータに基づく。図４Ａは、相対周波数に対するゼロランレングスのＹ成分分布４００を図解する。同様に、図４Ｂおよび４Ｃは、それぞれ相対周波数４１０および４２０に対するゼロランレングスのＣｂおよびＣｒ成分分布を図解する。図５Ａは、相対周波数に対する振幅サイズのＹ成分分布５００を図解する。同様に、図５ｂおよび５ｃはそれぞれ、相対周波数に対する振幅サイズのＣｂ成分分布およびＣｒ成分分布を図解する。図５Ａ、５Ｂ、および５Ｃにおいて、プロットは、ＤＣＴ係数のサイズの分布を表すことに留意する必要がある。各サイズは、係数値のレンジを表す。例えば、４のサイズ値は、レンジ｛−１５，−１４、・・・−８，８，・・・，１４，１５｝、合計１６の値を有する。同様に、１０のサイズ値は、レンジ｛−１０２３、−１０２２，・・・，−５１２，５１２，・・・１０２２，１０２３｝｝、合計１０２４の値を有する。ランレングスと振幅サイズの両方が指数分布を有することは図４Ａ、４Ｂ、４Ｃ、５Ａ、５Ｂおよび５Ｃからわかる。振幅の実際の分布は、以下の式（３）に適合するように示すことができる：
【数１０】

【００７２】
（３）において、Ｘｋ，ｌはそれぞれ、垂直次元および水平次元における周波数ｋおよびｌに対応するＤＣＴ係数を表し、平均値μｘは
【数１１】

【００７３】
を表し、分散
【数１２】

【００７４】
は、
【数１３】

【００７５】
を表す。したがって、記載した方法で、ゴロンブ−ライス符号化を使用することはＤＣＴｓにおいてデータを処理する際に、より最適である。
【００７６】
以下は、画像データの圧縮に対して記載されるけれども、実施形態は、等価的にオーディオデータを圧縮する実施形態に適用可能である。画像データを圧縮する際に、例えば、画像信号またはビデオ信号は、線形のまたはログ符号化されたピクセル値を有したＲＧＢ成分、またはＹＩＱ成分またはＹＣｂＣｒ成分であってもよい。
【００７７】
図６はゼロ係数および非ゼロ係数のプロセス６００を図解する。ＤＣＴマトリクスがスキャンされると、ゼロ係数および非ゼロ係数が別個に処理され、分離される６０４。ゼロデータの場合、ゼロランのレングスが決定される６０８。ランレングスは正の整数であることに留意する必要がある。例えば、ランレングスがｎであるとわかると、ゴロンブパラメータｍが決定される６１２。実施形態において、ゴロンブパラメータは、ランレングスの関数として決定される。他の実施の形態において、ゴロンブパラメータ（ｍ）は以下の式（４）により決定される。
【数１４】

【００７８】
情況に応じて、ランレングスの長さおよび関連するゴロンブパラメータはカウンタまたはレジスタによりカウントされる６１６。ｎのラベルがつけられたゼロのランレングスを符号化するために、商が符号化される６２０。一実施形態において、商はゼロのランレングスの関数およびゴロンブパラメータとして決定される。他の実施の形態において、商（Ｑ）は、以下の式（５）により決定される。
【数１５】

【００７９】
一実施形態において、商Ｑは実施例において、商Qは単項コードで符号化される。これはＱ＋１ビットを必要とする。次に、剰余が符号化される６２４。一実施形態において、剰余はランレングスおよび商の関数として符号化される。他の実施の形態において、剰余（Ｒ）は、以下の式（６）を用いて決定される。
【数１６】

【００８０】
他の実施形態において、剰余Ｒはｍビットバイナリコードで符号化される。その後、商Ｑおよび剰余Ｒが決定され、ＱおよびＲに対する符号が連結され６２８、ｎのラベルが付けられたランレングスのための全体のコードを表す。
【００８１】
非ゼロ係数もゴロンブ−ライスを用いて符号化される。係数振幅は正または負でありえるので、サインビットを用いる必要があり、与えられた振幅の絶対値を符号化する必要がある。非ゼロ係数の振幅がｘであると仮定すると、振幅の絶対値およびサインの関数として表しても良い。したがって、振幅は以下の式（７）を用いてｙとして表すことができる。
【数１７】

【００８２】
従って、非ゼロ係数の値はカウンタまたはレジスタにより最適にカウントされる６３２。次に、振幅がゼロより大きいかまたは等しいかが決定される。そうであるなら、与えられた値の２倍の値として符号化される６４０。そうでない場合には、絶対値の２倍の値より１少ない値として符号化される６４４。他のマッピングスキームを使用してもよいことが予期される。キーポイントは、値の符号を区別する余分なビットが必要ないということである。
【００８３】
式（７）により表される振幅を符号化することにより、ｘの正の値が偶数の整数となり、負の値が奇数の整数となる。さらに、このマッピングは（２）のｘの確率割当てを保存する。式（７）で図示したように、符号化の利点は、正の数および負の数を表すために符号ビットを用いて回避することを可能にする。マッピングが成された後、ｙはゼロランに対して成されたと同様の方法で符号化される。全ての係数が現在のブロックにおいて走査されるまで、手続は続けられる。
【００８４】
この発明の実施形態は、式（１）乃至（７）の関数として係数およびランレングスの値を決定することであるけれども、式（１）
乃至（７）そのものを使用する必要はない。画像データおよびオーディオデータのより効率的な圧縮を可能にすることは、ゴロンブ−ライス符号化およびＤＣＴ係数の指数分布の利用である。
【００８５】
符号化の後のゼロランは、ゼロラン振幅と区別できないので、固定長の特別な前につけるコードを用いて最初のゼロランの発生をマークすることが必要かもしれない。振幅が非ゼロになった後では、ブロック内がすべてゼロになることはよくあることである。そのような場合、ゴロンブ−ライスコードよりもエンドオブブロック（ＥＯＢ）コードと呼ばれるコードを使用することはより効率的かもしれない。ＥＯＢコードは、また一方、情況に応じて特定の固定長コードである。
【００８６】
式（１）または（３）によれば、ＤＣＴ係数マトリクス内の振幅またはランレングスの確率分布はα又はλによりパラメータ化される。言外の意味は、特定のＤＣＴ係数ブロックが生じるという情況で符号化効率が改良されるかもしれないということである。従って、関心の質を符号化するために、適当なゴロンブーライスパラメータを使用してもよい。一実施形態において、それぞれの累積値およびそのような値が生じる対応する回数を計算するために、各ランレングスおよび振幅サイズ値に対してカウンタまたはレジスタが使用される。例えば、累積値を記憶するためのレジスタおよび蓄積されるエレメントの数が、それぞれ、ＲｒｌおよびＮｒｌであるなら、以下の式（６）をライス−ゴロンブパラメータとして用いて、ランレングスを符号化してもよい。
【数１８】

【００８７】
同様の手続を、振幅に対して使用してもよい。
【００８８】
残差ピクセルは、最初に、ＡＢＳＤＣＴデコーダを用いて圧縮されたデータを解凍し、次に、それをオリジナルデータから減算することにより発生される。残差ダイナミックレンジが小さければ小さいほど、圧縮は高くなる。圧縮はブロックベースなので、残差もブロックベースで発生される。残差ピクセルは両面のある指数分布であって、通常ゼロに中心がある指数分布を有することはよく知られた事実である。ゴロンブ−ライスコードはそのようなデータに対してより最適であるので、ゴロンブーライス符号化手続きを用いて残差データを圧縮する。しかしながら、符号化すべきランレングスが無いので、特別のコードは必要としない。さらに、ＥＯＢコードの必要がない。従って、圧縮されたデータは2つの成分から成る。一方は、損失のある圧縮器からの成分であり、他方は、損失の無い圧縮器からの成分である。
【００８９】
動作系列を符号化するとき、一時的な相関性を利用する便宜も得ることができる。一時的な相関性を完全に利用するために、ピクセル置換は最初に動作により推定され、次に、残差ピクセルを得るために動作補償予測が実行される。ABSDCTは順応性のあるブロックサイズ符号化を実行するので、ブロックサイズ情報は、動作による置換の手段として代替的に使用してもよい。さらに簡単にするために、場面変更検出は使用しない。その代わり、系列内の各フレームに対して、最初にイントラフレーム圧縮されたデータが得られる。次に、現在のフレームＤＣＴおよび以前のフレームＤＣＴとの間の差分がブロック単位で発生される。これは、参照することにより本願明細書に組み込まれる、２００１年６月７日に出願された米国特許出願シリアル番号第０９／８７７，５７８にさらに詳細に記載されている。DCT領域のこれらの残差は、ハフマン符号化手続きおよびゴロンブ−ライス符号化手続きの両方を用いて符号化される。従って、最終の圧縮された出力はフレームあたり最小のビット数を使用する圧縮された出力に対応する。
【００９０】
損失の無い圧縮アルゴリズムは、損失の無い部分を取り除くことにより、再度目的を持たせ、一方のコードを他方のコードに変換するのに好適であるハイブリッドスキームである。従って、ＡＢＳＤＣＴを用いることは、空間領域内のピクセル相関を最大化し、予測スキームにおいて使用された残差ピクセルよりも低い分散を有する残差ピクセルを生じる。全体的なシステムの損失のある部分によって、ユーザは、フレーム間処理の助けを求める必要が無くして、分布目的のために必要な品質およびデータレートを得ることができる。これはディジタル映画アプリケーションのために配布されるプログラムにおいて、特に重要である。何故なら、圧縮された部材の損失のある部分は、配布の際により高いレベルの品質を必要とするからである。
【００９１】
図９はハイブリッドの損失の無い符号化装置を図解する。図１０はそのような装置上で動作してもよいプロセスを図解する。オリジナルディジタル情報９０４は記憶装置上に常駐し、または送信される。図９のエレメントの多くは、図１および図２に対してより詳細に記載されている。データのフレームは、ブロックサイズ割当てエレメント９１２、ＤＣＴ／ＤＱＴ変換エレメント９１６および量子化器９２０で構成される圧縮器９０８に送られる。 DCT /DQTがデータ上で実行された後、そのデータは周波数領域に変換される。1つの出力９２２において、そのデータは量子化器９２０により量子化され、出力９２４に転送される、これは、記憶装置および／またはスイッチングで構成してもよい。上述した処理のすべては、フレーム内ベースである。上記した処理の全ては、フレーム内に基づく。
【００９２】
量子化器の出力はまた解凍器９２８に転送される。解凍器９２８は圧縮器のプロセスを元に戻し、BSAにより定義されたPQRデータの知識と共に、逆量子化器９３２およびＩＤＱＴ／ＩＤＣＴ９３６を通過する。解凍器９４０の結果は減算器９４４に供給され、そこで、オリジナルと比較される。減算器９４４は、各ブロックに対して未圧縮ピクセルおよび圧縮されたおよび解凍されたピクセルとの間の差分とした残差画像を計算する差分器のような、種々のエレメントであってよい。さらに、差分器は、条件的なフレーム間符号化のために各ブロックに対してＤＣＴ領域内の残差を得るようにしてもよい。解凍されたデータとオリジナルデータとの間の比較の結果９４８がピクセル残差ファイルである。すなわち、結果９４８は、圧縮されたおよび解凍されたデータにより経験された損失を示している。従って、オリジナルデータは結果と組み合わされた出力９２２に等しい。次に、結果９４８は順番に並べられ、ハフマンおよび／またはゴロンブ−ライス符号器９５６に送られ、第２出力９６０として供給される。ハフマンおよび／またはゴロンブ−ライスエンコーダ９５６は、ゴロンブ−ライス符号化を使用している残差画素を符号化する一種のエントロピー・エンコーダであってもよい。意思決定は、各々のフレームのための最小のビットに基づいて、フレーム内かフレーム間かを使用するべきかどうかなされる。残差のゴロンブーライス符号化の使用は、システムのより高い全体的な圧縮比に導く。
【００９３】
従って、損失の無いフレーム間出力は、損失のある高品質の画像ファイル（９２２またはＡ）および残りのファイル（９６０またはＣ）の組合せまたはハイブリッドである。
【００９４】
フレーム間符号化も利用してもよい。量子化器の出力は、ＢＳＡの知識と共に、記憶装置９６４に転送される。１フレーム分のデータを集めると、減算器９６６は記憶したフレームを次のフレーム９６８と比較する。その差分はＤＣＴ残差９７０を生じる。この残差は次に順番に並べられ、および／またはゴロンブ−ライス符号化され９７４、第３出力データセット９７６を出力９２４に供給する。従って、BおよびCのフレーム間の損失の無いファイルは、コンパイルされる。従って、組合せ（Ａ＋ＣまたはＢ＋Ｃ）のいずれかをサイズの考察に基づいて選択してもよい。さらに、純粋なフレーム内出力は、編集目的のために望ましいかもしれない。
【００９５】
図１に戻ると、エンコーダ１０４により発生された圧縮された画像信号は一時的にバッファ１４２を用いて記憶してもよく、その次に、送信チャネル１０８を用いてデコーダ１１２に送信してもよい。送信チャネル１０８は磁気のまたは光学の記憶装置のような物理的な媒体であってもよく、または、有線または無線の輸送処理または装置であってもよい。ブロックサイズ割当て情報を含むＰＱＲデータもデコーダ１１２（図２）に供給される。デコーダ１１２はバッファ１６４および可変長デコーダ１６８を含む。可変長デコーダ１６８は、ランレングス値および非ゼロ値をデコードする。可変長デコーダ１６８は同様に動作するが、図６で記載した方法と反対の方法で動作する。
【００９６】
可変長デコーダ１６８の出力は、採用される走査スキームに従って係数を順序づける逆シリアライザ１７２に供給される。例えば、ジクザグ走査、垂直走査、および水平走査の混合が使用されるなら、逆シリアライザ１７２は、採用された走査のタイプの知識を用いて、その係数を再順序付けするであろう。逆シリアライザ１７２は、ＰＱＲデータを受信し、復号係数ブロックへの係数の適切な順序付けを支援する。
【００９７】
復号ブロックは、量子化器スケールファクタおよび周波数重み付けマスクの使用により処理を元に戻すために、逆量子化器１７４に供給される。
【００９８】
微分四部木変換が適用されたなら、次に、係数ブロックはＩＤＱＴエレメント１８６に供給され、その後にＩＤＣＴエレメント１９０が続く。そうでなければ、係数ブロックは、直接ＩＤＣＴエレメント１９０に供給される。ＩＤＱＴエレメントおよびＩＤＣＴエレメント１９０は、係数を逆変換し、ピクセルデータのブロックを生成する。従って、ピクセルデータは、補間され、ＲＧＢフォームに変換されなければならないかもしれない、そして、次に、将来の表示のために記憶される。
【００９９】
図７はゴロンブ−ライス符号化のための装置を図解する。図７の装置は、望ましくは、図６に対して記載されたプロセスを実施する。決定器７０４はランレングスおよびゴロンブパラメータ（ｍ）を決定する。情況に応じて、各ランレングスおよび振幅サイズ値に対してカウンタまたはレジスタ７０８が使用され、それぞれの累積値およびそのような値が生じる対応する回数を計算する。エンコーダ７１２は、ランレングスおよびゴロンブパラメータの関数として商（Ｑ）を符号化する。エンコーダ７１２は、また、ランレングス、ゴロンブパラメータおよび商の関数とし、剰余（Ｒ）を符号化する。他の実施形態において、エンコーダ７１２は、非ゼロデータ値および非ゼロデータ値の符号の関数として非ゼロデータを符号化する。連結器７１６を用いてＱ値をＲ値と連結する。
【０１００】
例として、種々の実例となる論理ブロック、フローチャート、および本願明細書に開示した実施形態に関連して記載したステップは、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジック、例えばレジスタおよびＦＩＦＯのようなディスクリートハードウエアコンポーネント、一組のファームウエア命令を実行するプロセッサ、いかなる一般的なプログラマブルソフトウエアおよびプロセッサ、またはそれらのいずれかの組合せを用いて実施、または実行してもよい。プロセッサは、有利にはマイクロプロセッサであってよいが、他の形態では、プロセッサ、いかなる一般的なプロセッサ、コントローラ、マイクロコントローラまたステートマシンであってよい。ソフトウェアは、RAMメモリー、フラッシュメモリ、ROMメモリー、レジスタ、ハードディスク、リムーバブル・ディスク、CD−ＲＯＭ、ＤＶＤ−ＲＯＭまたは技術的に知られている他のいずれかの形態の記憶媒体に常駐することができる。
【０１０１】
好適実施形態の上述の記述は、技術に熟達したいかなる人もがこの発明を製作し、または使用することができることを可能にする。これらの実施例に対する種々の変更は、当業者には容易に、明白であり、本願明細書において定義される一般的な原理は発明の能力を用いずに他の実施形態に適用してもよい。従って、本発明は本願明細書において示される実施形態に限定されることを意図したものではなく、本願明細書において開示される原理および新規な特徴に一致する最も広い範囲が許容されるべきである。
【０１０２】
本発明の他の特徴および利点は以下のクレームに記載される。
【図面の簡単な説明】
【０１０３】
【図１】図１は、画像圧縮および処理システムのエンコーダ部分のブロック図である。
【図２】図２は、画像圧縮および処理システムのデコーダ部分のブロック図である。
【図３】図３は、分散ベースのブロックサイズ割当てに関係している処理ステップを例示するフローチャートである。
【図４Ａ】図４Ａは、DCT係数マトリクスのY成分ランレングスの指数分布を図解する。
【図４Ｂ】図４Ｂは、DCT係数マトリクスのＣｂ成分ランレングスの指数分布を図解する。
【図４Ｃ】図４Ｃは、DCT係数マトリクスのＣｒ成分ランレングスの指数分布を図解する。
【５Ａ】図５Ａは、Ｙ成分の振幅サイズの指数分布またはＤＣＴ係数マトリクスにおけるＹ成分の振幅サイズの指数分布を図解する。
【図５Ｂ】図５Ｂは、Ｃｂ成分の振幅サイズの指数分布またはＤＣＴ係数マトリクスのＣｂ成分の振幅サイズの指数分布を図解する。
【図５Ｃ】図５Ｃは、Ｃｒ成分の振幅サイズの指数分布またはDCT係数マトリクスにおけるＣｒ成分の振幅サイズの指数分布を図解する。
【図６】図６は、ゴロンブ−ライス符号化プロセスを図解する。
【図７】図７は、ゴロンブ−ライス符号化のための装置を図解する。
【図８】図８は、ＤＣ成分値を符号化するプロセスを図解する。
【図９】図９は、損失の無い圧縮のための装置を図解する。
【図１０】図１０は、ハイブリッドの損失の無い圧縮の方法を図解する。

Claims (25)

1. 下記を具備する、各フレームがオリジナル画像を含む、複数のフレームを備えたビデオデータを符号化する方法：
   前記複数のフレーム内の各フレームの前記オリジナル画像に関連する損失のある圧縮されたデータファイルを発生することであって、損失のある圧縮されたデータファイルを発生することは、各オリジナル画像をピクセルのブロックに適応的にブロックサイジングすることと、ＤＣ係数とＡＣ係数を取得するためにピクセルのブロックに変換処理を実行することと、前記ＤＣ係数を量子化することなく前記ＡＣ係数を量子化することとを含む；
   前記複数のフレーム内の各フレームの前記オリジナル画像に関連する残差圧縮データファイルを発生することであって、各残差圧縮データファイルの前記発生は、それぞれ各オリジナル画像を適応的にブロックサイジングすることにより以前に発生されたデータを使用する；
   各損失のある圧縮されたデータファイルを各それぞれの残差圧縮データファイルと結合し、損失の無いデータファイルを作成する、前記損失の無いデータファイルは、複数の画像を生成するために使用することができ、各画像は、前記複数のフレーム内の各フレームのオリジナル画像と実質的に同一である。
2. 各損失のある圧縮されたデータファイルおよび各残差圧縮データファイルは、フレーム内に基づいて発生される、請求項１に記載の方法。
3. 各残差圧縮データファイルは、フレーム間に基づいて発生される、請求項１に記載の方法。
4. 各損失のある圧縮データファイルまたは各残差圧縮データファイルを発生することは、ディスクリートコサイン変換（ＤＣＴ）技術とディスクリート四部木変換（ＤＱＴ）技術の組み合わせを利用する、請求項１に記載の方法。
5. 各残差圧縮データファイルを発生することはGolomb-Rice符号化技術を利用する、請求項１に記載の方法。
6. 前記複数のフレーム内の各フレームの前記オリジナル画像に関連する各残差圧縮データファイルを発生するためにフレーム内またはフレーム間圧縮を使用するかどうかを決定することをさらに具備する、請求項１の方法。
7. 下記を具備する、各フレームがオリジナル画像を含む複数のフレームを備えたビデオデータを符号化する装置：
   前記複数のフレーム内の各フレームの前記オリジナル画像に関連する損失のある圧縮されたデータファイルを発生する手段であって、前記損失のある圧縮されたデータファイルを発生する手段は、各オリジナル画像をピクセルのブロックに適応的にブロックサイジングする手段、ＤＣ係数とＡＣ係数を取得するためにピクセルのブロックに変換処理を実行する手段と、前記ＤＣ係数を逆量子化することなく前記ＡＣ係数を逆量子化する手段を含む、手段と；
   前記複数のフレーム内の各フレームの前記オリジナル画像に関連する残差の圧縮されたデータファイルを発生する手段であって、前記各残差圧縮データファイルの発生は、それぞれ各オリジナル画像を適応的にブロックサイジングすることにより以前に発生されたデータを使用する、手段；および
   各損失のある圧縮されたデータファイルと、各それぞれの残差圧縮データファイルを結合し、損失の無いデータファイルを作成する手段であって、前記損失の無いデータファイルは複数の画像を生成するために使用することができ、各画像は前記複数のフレーム内の各フレームの前記オリジナル画像と実質的に同一である、手段。
8. 各損失のある圧縮されたデータファイルを発生する手段および各残差の圧縮されたデータファイルを発生する手段は、フレーム内に基づいて発生される、請求項７に記載の装置。
9. 各残差圧縮データファイルはフレーム間に基づいて発生される、請求項７に記載の装置。
10. 前記各損失のある圧縮データファイルまたは各残差圧縮データファイルを発生する手段は、ディスクリートコサイン変換（ＤＣＴ）技術およびディスクリート四部木変換（ＤＱＴ）技術の組み合わせを利用する、請求項７に記載の装置。
11. 前記各残差圧縮データファイルを発生する手段は、Golomb-Riceコーディング技術を利用する、請求項７に記載の装置。
12. 前記複数のフレーム内の各フレームの前記オリジナル画像に関連する各残差圧縮データファイルを発生するためにイントラフレームまたはインターフレーム圧縮を使用するかどうかを決定する手段をさらに具備した、請求項７の装置。
13. 下記を具備する、各クレームがオリジナル画像を含む複数のフレームを備えたビデオデータを符号化する方法：
    各オリジナル画像を表す信号を圧縮し、それにより、各オリジナル画像の圧縮されたバージョンを作成することであって、前記圧縮は、各オリジナル画像を適応的にブロックサイジングして各オリジナル画像のピクセルのブロックに変換処理を実行し、各オリジナル画像の各圧縮されたバージョンのＤＣ係数およびＡＣ係数を取得することにより発生されたデータを使用する；
    各オリジナル画像の各圧縮されたバージョンのＤＣ係数を量子化することなく各オリジナル画像の各圧縮されたバージョンの前記ＡＣ係数を量子化し、それにより各オリジナル画像の損失のあるバージョンを作成する；
    各オリジナル画像の各圧縮されたバージョンを解凍し、各圧縮されたバージョンの解凍された画像を作成することであって、前記解凍は、各オリジナル画像を適応的にブロックサイジングすることにより発生されるデータを使用する；
    各オリジナル画像と各それぞれの解凍された画像との間の差分を決定し、それにより、各オリジナル画像に関連する残差データを作成する；および
    各オリジナル画像の各損失のあるバージョンと各オリジナル画像に関連する残差データを出力することであって、各オリジナル画像の各損失のあるバージョンと各オリジナル画像に関連する各残差データは複数の画像を作成するために使用することができ、各画像は前記複数のフレーム内の各フレームの前記オリジナル画像と実質的に同じである。
14. 各圧縮はフレーム内に基づく、請求項１３に記載の方法。
15. 圧縮は、ディスクリートコサイン変換（ＤＣＴ）技術およびディスクリート四部木（ＤＱＴ）変換技術を利用する、請求項１３記載の方法。
16. 下記を具備する、各フレームがオリジナル画像を含む複数のフレームを備えたビデオデータを処理する装置：
    各オリジナル画像を表すデータにディスクリートコサイン変換（ＤＣＴｓ）およびディスクリート四部木変換（ＤＱＴｓ）を実行し、それによりＤＣ係数およびＡＣ係数を取得し各オリジナル画像の圧縮されたバージョンを作成するように構成された圧縮器エレメント、前記圧縮器エレメントは各オリジナル画像を適応的にブロックサイジングすることにより発生されるデータを使用する；
    前記圧縮器エレメントに接続され、各オリジナル画像の各圧縮されたバージョンの前記ＤＣ係数を量子化することなく各オリジナル画像の各圧縮されたバージョンの前記ＡＣ係数を量子化し、それにより各オリジナル画像の損失のあるバージョンを作成するように構成された量子化器エレメント；
    各オリジナル画像の前記圧縮されたバージョンに対して逆ＤＣＴｓ（ＩＤＣＴｓ）および逆ＤＱＴｓ（ＩＤＱＴｓ）を実行し、各圧縮されたバージョンの解凍された画像を作成するように構成された解凍器エレメントであって、前記解凍器エレメントは、各オリジナル画像を適応的にブロックサイジングすることにより発生されたデータを使用する；
    各オリジナル画像と各それぞれの解凍された画像との間の差分を決定し、それにより各オリジナル画像に関連する残差データを作成するように構成された決定器エレメント；
    各オリジナル画像の前記損失のあるバージョンと、各オリジナル画像に関連する残差データとを結合し、複数の画像を作成するように構成された結合器エレメントであって、各画像は前記複数のフレーム内の各フレームの前記オリジナル画像と実質的に同じである。
17. 下記を具備する、各フレームがオリジナル画像を含む複数のフレームを備えたビデオデータを符号化するためにコンピューターにより実行可能なコードを記憶するコンピューター読み取り可能媒体：
    コンピューターに、前記複数のフレーム内の各フレームの前記オリジナル画像に関連する損失のある圧縮されたデータファイルを発生させるコードであって、前記コンピューターに前記損失のある圧縮されたデータファイルを発生させるためのコードは、前記コンピューターに各オリジナル画像をピクセルのブロックに適応的にブロックサイズさせ、前記ピクセルのブロックに変換処理を実行させ、ＤＣ係数とＡＣ係数を取得させ、前記ＤＣ係数を量子化させることなく前記ＡＣ係数を量子化させるためのコードを備える；
    コンピューターに、前記複数のフレーム内の各フレームの前記オリジナル画像に関連する残差圧縮データファイルを発生させるコードであって、前記各残差圧縮データファイルの発生はそれぞれ各オリジナル画像を適応的にブロックサイジングすることにより以前に発生されたデータを使用する；
    コンピューターに各損失のある圧縮されたデータファイルと各それぞれの残差圧縮データファイルと結合させ、損失の無いデータファイルを作成させるコードであって、前記損失の無いデータファイルは、複数の画像を生成するために使用することができ、各画像は、前記複数のフレーム内の各フレームの前記オリジナル画像に実質的に同一である。
18. 各損失のある圧縮されたデータファイルと各残差圧縮データファイルはフレーム内に基づいて発生される、請求項１７に記載のコンピューター読み取り可能媒体。
19. 各残差圧縮データファイルはインターフレームに基づいて発生される、請求項１７に記載のコンピューター読み取り可能媒体。
20. 前記コンピューターに各損失のある圧縮データファイルまたは各残差圧縮データファイルを発生させるコードは、ディスクリートコサイン変換（ＤＣＴ）技術とディスクリート四部木変換（ＤＱＴ）技術の組み合わせを利用する、請求項１７に記載のコンピューター読み取り可能媒体。
21. 前記コンピューターに各残差圧縮データファイルを発生させるコードは、Golomb-Riceコーディング技術を利用する、請求項１７に記載のコンピューター読み取り可能媒体。
22. コンピューターに前記複数のフレーム内の各フレームの前記オリジナル画像に関連する各残差圧縮データファイルを発生するためにフレーム内またはフレーム間圧縮を使用するかどうかを決定させるコードをさらに具備する、請求項１７に記載のコンピューター読み取り可能媒体。
23. 下記を具備する、各フレームがオリジナル画像を含む複数のフレームを備えたビデオデータを符号化するためにコンピューターにより実行可能なコードを記憶するコンピューター読み取り可能媒体：
    コンピューターに各オリジナル画像を表すデータを圧縮させ、それにより各オリジナル画像の圧縮されたバージョンを作成させるコードであって、前記圧縮は、各オリジナル画像の各圧縮されたバージョンのＤＣ係数およびＡＣ係数を取得するために各オリジナル画像のピクセルのブロックに変換処理を実行するために各オリジナル画像をブロックサイジングすることにより発生されたデータを使用する；
    コンピューターに、各オリジナル画像の各圧縮されたバージョンの前記ＤＣ係数を量子化することなく、各オリジナル画像の各圧縮されたバージョンの前記ＡＣ係数を量子化させ、それにより各オリジナル画像の損失のあるバージョンを作成させるコード；
    コンピューターに各オリジナル画像の各圧縮されたバージョンを解凍させ、各圧縮されたバージョンの解凍された画像を作成させるコードであって、前記解凍は各オリジナル画像を適応的にブロックサイジングすることにより発生されたデータを使用する；
    コンピューターに各オリジナル画像と各それぞれの解凍された画像との間の差分を決定させ、それにより各オリジナル画像に関連する残差データを作成させるコード；
    コンピューターに各オリジナル画像の各損失のあるバージョンと各オリジナル画像に関連する各残差データを出力させるコードであって、各オリジナル画像の各損失のあるバージョンおよび各オリジナル画像に関連する各残差データは複数の画像を作成するために使用することができ、各画像は、前記複数のフレーム内の各フレームの前記オリジナル画像と実質的に同じである。
24. 各圧縮はフレーム内に基づく、請求項２３に記載のコンピューター読み取り可能媒体。
25. 前記コンピューターに圧縮させるコードは、ディスクリートコサイン変換（ＤＣＴ）技術とディスクリート四部木変換（ＤＱＴ）技術の組み合わせを利用する、請求項２３のコンピューター読み取り可能媒体。

Images