JP5107495B2 - 品質ベースのイメージ圧縮 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はイメージ処理に関し、特にコード化されたディスクリートな余弦変換係数データの適応した寸法にされたブロックおよびサブブロックを使用するイメージ信号の品質ベースの圧縮方式に関する。
【０００２】
【従来の技術】
“フィルム”または“映画”の投影に使用されるようなビデオ信号の送信および受信の分野では、イメージ圧縮技術に対して種々の改良が行われている。多数の現在の提案されたビデオシステムはデジタルコード化技術を使用する。デジタルコード化は、それぞれ深刻にイメージ品質を劣化するマルチパスフェーディングおよびジャミングまたは信号干渉等の欠陥に対抗する通信リンクの堅牢性を与える。さらに、デジタル技術は、信号暗号化技術の使用を容易にし、それらは政府および多数の新たに開発された市場の放送応用で有効であることが発見され、またはそこで必要とされている。
【０００３】
高解像度ビデオは改良されたイメージ圧縮技術から利点を得ている分野である。最初に提案されたとき、高解像度ビデオの無線伝送（または有線または光ファイバ送信）は過大な帯域幅が必要であるために実用的ではないと思われた。設計されている典型的な無線または他の伝送システムは容易に十分な帯域幅を提供しなかった。しかしながら、デジタルビデオ信号の圧縮は、合理的な帯域幅を使用する伝送を可能にするレベルまで実現されることが認識されている。信号のデジタル伝送に結合されたこのような信号圧縮レベルにより、ビデオシステムはさらに望ましい有効な帯域幅を占有しながら、低いパワーと、チャンネル欠陥に対する大きな免疫性で伝送することが可能である。
【０００４】
利用可能な多数の圧縮技術は大きなレベルの圧縮を提供するが、ビデオ信号の品質の劣化を招く。典型的に、圧縮された情報を転送する技術は圧縮された情報が一定のビットレートで転送されることを必要とする。
【０００５】
大きな圧縮レベルを与えることができる１つの圧縮技術は、ビデオ信号の所望レベルの品質を維持しながら、コード化されたディスクリートな余弦変換（ＤＣＴ）係数データの適応した寸法にされたブロックおよびサブブロックを使用する。この技術を以下、適応ブロックサイズディスクリート余弦変換（ＡＢＳＤＣＴ）方法と呼ぶ。この技術は米国特許第5,021,891 号明細書（発明の名称“Adaptive Block Size Image Compression Method And System ”）に記載され、本出願人に譲渡されここで参考文献とされる。ＤＣＴ技術はまた米国特許第5,107,345 号明細書（発明の名称“Adaptive Block Size Image Compression Method And System ”）に記載され、本出願人に譲渡されここで参考文献とされる。さらに、微分カッドツリー（differential quadtree ）変換技術と組合わせたＡＢＳＤＣＴ技術の使用は米国特許第5,452,104 号明細書（発明の名称“Adaptive Block Size Image Compression Method And System ”）に記載され、これも本出願人に譲渡され、ここで参考文献とされる。これらの米国特許明細書に記載されたシステムは“フレーム内”コード化と呼ばれる技術を使用し、ここではイメージデータの各フレームは任意の他のフレームの内容と関係なくコード化される。ＡＢＳＤＣＴ技術を使用して、実現可能なデータレートは識別できるイメージ品質の劣化なしに毎秒約１５億ビットから毎秒約５０００万ビットまで減少される。
【０００６】
ＡＢＳＤＣＴ技術は黒色および白色またはカラーイメージまたはイメージを表す信号を圧縮するために使用されることができる。カラー入力信号はＹＩＱフォーマットであり、Ｙは輝度または明度、サンプルであり、ＩおよびＱは画素の各４×４ブロックのクロミナンスまたはカラー、サンプルである。ＹＵＶ、ＹＣ_b Ｃ_y またはＲＧＢフォーマットのような他の既知のフォーマットも使用されてよい。目からカラーへの低い空間感度のために、水平および垂直方向の４つの要素によるカラー成分のサブサンプルが合理的であることをほとんどの研究は示している。したがって、ビデオ信号は４つの輝度成分と２つのクロミナンス成分により表されることができる。
【０００７】
ＡＢＳＤＣＴを使用して、ビデオ信号は処理のための画素ブロックに通常区分される。各ブロックでは、輝度およびクロミナンス成分はブロックインターリーバに送られる。例えば、１６×１６（画素）ブロックがブロックインターリーバへ与えられてもよく、このブロックインターリーバはディスクリートな余弦変換（ＤＣＴ）解析用のデータのブロックおよび複合サブブロックを生成するために各１６×１６ブロック内でイメージサンプルを順序付けまたは組織化する。ＤＣＴオペレータは時間および空間的にサンプルされた信号を同一の信号の周波数表示に変換する１方法である。周波数表示への変換によって、量子化装置がイメージの周波数分散特性を使用するように設計されることができるので、ＤＣＴ技術は非常に高レベルの圧縮を可能にすることが示されている。好ましい実施形態では、１つの１６×１６ＤＣＴは第１の順序に適用され、４つの８×８ＤＣＴは第２の順序に適用され、１６の４×４ＤＣＴは第３の順序に適用され、６４の２×２ＤＣＴは第４の順序に適用される。
【０００８】
【発明が解決しようとする課題】
ＤＣＴ動作はビデオソースに固有の空間的冗長度を減少する。ＤＣＴが行われた後、ビデオ信号エネルギの大部分は幾つかのＤＣＴ係数に集中される傾向がある。付加的な変換である微分カッド（quad）ツリー変換（ＤＱＴ）はＤＣＴ係数間の冗長度を減少するために使用されてもよい。
【０００９】
１６×１６ブロックおよび各サブブロックでは、ＤＣＴ係数値と（ＤＱＴが使用されるならば）ＤＱＴ値はブロックまたはサブブロックをコード化するのに必要なビット数を決定するために解析される。その後、最少数のコード化のためのビットを必要とするブロックまたはサブブロックの組合わせがイメージセグメントを表すために選択される。例えば２つの８×８サブブロックと、６つの４×４サブブロックと、８つの２×２サブブロックはイメージセグメントを表すために選択されることができる。
【００１０】
選択されたブロックまたはサブブロックの組合わせは１６×１６ブロック中に適切な順序で整列される。ＤＣＴ／ＤＱＴ係数値はその後、送信の準備のために周波数加重、量子化、（可変長コード化等の）コード化の処理を受ける。前述のＡＢＳＤＣＴ技術は非常に良好に実行するが、計算上面倒である。したがって技術のコンパクトなハードウェア実行は困難である。
【００１１】
ハードウェア実行をより効率的にする別の技術はある利点を与える。幾つかのシステムはディスクリートな余弦変換（ＤＣＴ）係数データの適応した寸法にされたブロックおよびサブブロックを使用する。ＤＣＴベースのシステムの部分は圧縮パラメータとしての品質を使用するが、データの他の部分は品質ベースの計量値の使用とは反対にコード化レートに基づいている。このようなコード化レートベースのパラメータの１例はコントラストベースの適応ブロックサイズイメージ圧縮アルゴリズムの量子化ステップ選択である。
【００１２】
【課題を解決するための手段】
本発明は、ディスクリートな余弦変換係数データの適応した寸法にされたブロックおよびサブブロックと品質ベースの量子化スケール係数を使用する品質ベースのイメージ圧縮システムおよび方法である。画素データのブロックはエンコーダへ入力される。エンコーダは処理するため画素の入力ブロックを区分するブロックサイズ割当（ＢＳＡ）素子を具備する。ブロックサイズ割当は入力ブロックおよびさらに細分割されたブロックの分散に基づいている。通常、ブロックとサブブロック平均値が異なる予め定められた範囲に入るならば、大きい分散のある区域はさらに小さいブロックに細分割され、小さい分散のある区域は細分割されない。したがって、最初にブロックの分散しきい値はその平均値に基づいてその公称値から修正され、その後、ブロックの分散はしきい値と比較され、分散がしきい値よりも大きいならば、ブロックは細分割される。
【００１３】
ブロックサイズ割当は変換素子に与えられ、変換素子は画素データを周波数ドメインデータに変換する。この変換はブロックサイズ割当により選択されたブロックとサブブロックでのみ実行される。その後、変換データは量子化および直列化によってスケーリング処理をされる。変換データの量子化は、コントラスト、係数カウント、レート歪み、ブロックサイズ割当の密度および／または過去のスケール係数に関して調節するスケール係数のようなイメージ品質計量値に基づいて量子化される。ジグザグ走査もまたデータ流を生成するためにデータを直列化するために使用されてもよい。データ流は送信を行うために可変長のコーダによりコード化されることができる。コード化されたデータは伝送チャンネルによってデコーダへ送信され、ここで画素データが表示を行うために再構成される。
【００１４】
本発明の特徴および利点は、品質ベースのイメージ圧縮システムを提供することである。
【００１５】
本発明の別の特徴および利点は、フレーム毎のベースでビットレートを管理することによりフレキシブルなイメージ品質制御を可能にすることである。
【００１６】
本発明の別の特徴および利点は、ブロック毎のベースでビットレートを管理することによりフレキシブルなイメージ品質制御を可能にすることである。
【００１７】
本発明の別の特徴および利点は、品質イメージ圧縮と、モーションのバーストのようなアクティビティが付随するデータのビットレート制御を維持することである。
【００１８】
本発明の別の特徴および利点は、イメージ品質を測定するために信号対雑音比パラメータを使用することである。
【００１９】
本発明の別の特徴および利点は、イメージのコントラストに関して調節する量子化スケール係数を使用することである。
【００２０】
本発明の別の特徴および利点は、イメージを有するＤＣＴブロックのＡＣ係数カウントに関して調節する量子化スケール係数を使用することである。
【００２１】
本発明の別の特徴および利点は、歪みおよびフレーム間のビットレートに関して調節する量子化スケール係数を使用することである。
【００２２】
本発明の別の特徴および利点は、過去の量子化スケール係数に関して調節する量子化スケール係数を使用することである。
【００２３】
【発明の実施の形態】
本発明の特徴および利点は、図面を伴った以下の詳細な説明からさらに明白になるであろう。同じ参照符号は全体を通して対応している。
デジタル信号のデジタル伝送を容易にし、対応する利点を得るために、通常、幾つかの形態の信号圧縮を使用する必要がある。結果的なイメージで高い圧縮を実現するために、高品質イメージが維持されることも重要である。さらに、コンピュータ処理効率はコンパクトなハードウェア構造に対して所望され、これは多くの応用で重要である。
【００２４】
本発明はイメージ品質と、イメージ圧縮の実行におけるコンピュータ処理の効率との両者を考慮するイメージ圧縮の品質ベースシステムまたは装置および方法を提供する。ターゲットビットレートを維持する目標に基づいた本当に価値のあるレートシステムのビットレートを制御することは品質イメージを維持する目的を妨害する。その代わりに、本発明は品質に基づいたレート制御方法を開発する。品質ベースのイメージ圧縮システムはブロックレベルまたはフレームレベルである。ブロックレベルのシステムは通常、ブロックレベルのシステムが特定のブロックを識別するためにさらに多くのオーバーヘッドビットを使用するので、フレームレベル制御よりも多数のフレーム当りのコード化されたビットを使用する。
【００２５】
本発明の１実施形態を詳細に説明する前に、本発明は以下の説明あるいは図面で説明されているコンポーネントの構造および配置の詳細についてその応用で限定されないことを理解すべきである。本発明は他の実施形態で可能であり、種々の方法で実行される。またここで使用されている専門語および用語は説明のためのものであり、本発明を限定するものではない。
【００２６】
本発明のイメージ圧縮は、本出願人の出願であり、ここで参考文献とされている米国特許第09/436,085号明細書（発明の名称“Contrast Sensitive Variance Based Adaptive Block Size DCT Image Compression ”、1999年11月8 日）に記載されているように、ディスクリートな余弦変換（ＤＣＴ）技術に基づいている。通常、デジタルドメインで処理されるイメージは大きさがＮ×Ｎのオーバーラップしないブロックのアレイに分割される画素データからなる。二次元のＤＣＴは各ブロックで実行されてもよい。二次元のＤＣＴは以下の関係式により規定される。
【数１】

【００２７】
ｘ（ｍ，ｎ）はＮ×Ｍブロック内の位置（ｍ，ｎ）の画素であり、
Ｘ（ｋ，ｌ）は対応するＤＣＴ係数である。
【００２８】
画素値は負ではないので、ＤＣＴ成分Ｘ（０，０）は常に正であり、通常最高のエネルギを有する。実際に、典型的なイメージでは、ほとんどの変換エネルギはほぼ成分Ｘ（０，０）に集中する。このエネルギの圧縮特性はＤＣＴ技術をこのように魅力的な圧縮方法にするものである。
【００２９】
イメージ圧縮技術はさらにビットレートの減少を実現するためにコントラスト適合コード化を使用する。ほとんどの自然イメージは比較的ゆっくり変化する平坦な領域と、オブジェクト境界等のビジー領域と高コントラストテクスチャからなることが観察されている。コントラスト適合コード化方式は多くのビットをビジー領域へ割当て、少数のビットをビジー程度の少ない領域に割当てることによりこのファクタの利点を使用する。
【００３０】
前述の米国特許第09/436,085号明細書で説明されているように、コントラスト適合コード化はまたブロック効果を減少するのにも有効である。ブロック効果はイメージのビジー領域で知覚可能性が高い。しかしながら、さらに小さいサイズのＤＣＴが使用されるとき、ブロック効果が減少されることが知られている。ブロック効果は画素当りのビット性能を受けるが２×２ＤＣＴが使用されるとき可視的に見えなくなる。
【００３１】
さらに、コントラスト適合方法はフレーム間コード化（時空的処理）の代わりにフレーム内コード化（空間的処理）を使用する。フレーム間コード化は本来、さらに複雑な処理回路に加えて多数のフレームバッファを必要とする。多くの応用では、複雑さの減少が実際の構造で必要とされる。フレーム内コード化はまた時空的コード化方式が崩壊し、良好に機能しない状態で便利である。例えば機械的シャッタによる積分時間は比較的短いから毎秒２４フレームの映画がこのカテゴリに入る。短い積分時間がさらに高い程度の時間的なエイリアスを可能にする。フレーム対フレームの相関についての仮定は、迅速な動きでは急な動作になるので崩壊する。フレーム内コード化は５０Ｈｚと６０Ｈｚの両者の電力線周波数が含まれるとき標準化が容易でもある。現在テレビジョンは５０Ｈｚまたは６０Ｈｚで信号を送信する。デジタル方法であるフレーム内方式の使用は、フレームレート対空間解像度を妥協することによって、５０Ｈｚと６０Ｈｚの両者の動作または毎秒２４フレームの映画に適用することができる。
【００３２】
イメージ処理の目的では、ＤＣＴ動作はオーバーラップしないブロックのアレイに分割される画素データについて実行される。ブロックサイズはここでは大きさがＮ×Ｍとして説明されているが、種々のブロックサイズが使用されてもよいことが想定されていることに注意する。例えばＮ×ＭブロックサイズはＮとＭの両者が整数であり、ＭはＮよりも大きいか小さいかいずれかが使用されることができる。別の重要な特徴は、Ｎ／ｉｘＮ／ｉ、Ｎ／ｉｘＮ／ｊ、Ｎ／ｉｘＭ／ｊのように少なくとも１つのサブブロックのレベルに分割可能であり、ここでｉとｊは整数である。さらに例示的なブロックサイズはここで説明するように、ＤＣＴ係数の対応するブロックとサブブロックを有する１６×１６画素ブロックである。例えば９×９のように偶数または奇数の両者の整数等の種々の他の整数が使用されてもよいことがさらに想定される。
【００３３】
図１および図２は本発明の品質ベースの圧縮システムを含むイメージ処理システム100 を示している。イメージ処理システム100 は受信されたビデオ信号を圧縮するエンコーダ104 を具備している。圧縮された信号は伝送チャンネル108 を使用して送信され、デコーダ112 によって受信される。デコーダ112 は受信された信号をイメージサンプルに復号し、これはその後、表示される。
【００３４】
通常、イメージは処理のために画素のブロックに分割される。カラー信号はＲＧＢからＹＣ₁ Ｃ₂ への変換器116 を使用して、ＲＧＢスペースからＹＣ₁ Ｃ₂ スペースへ変換され、ここでＹは輝度または明度の成分であり、Ｃ₁ とＣ₂ はクロミナンスまたはカラー成分である。カラーに対する眼の空間的感度が低いために、多数のシステムは水平および垂直方向で４のファクタだけＣ₁ とＣ₂ 成分をサブサンプルする。しかしながらサブサンプルは必要ではない。４：４：４フォーマットとして知られている十分な解像度イメージは“デジタルシネマ”のカバーリングで呼ばれている幾つかの応用で非常に便利であり、あるいは必要とされている。２つの可能なＹＣ₁ Ｃ₂ 表示はＹＩＱ表示とＹＵＶ表示であり、その両者は共に技術でよく知られている。ＹＣｂＣｒとして知られているＹＵＶ表示のバリエーションを使用することも可能である。
【００３５】
好ましい実施形態では、各Ｙ、Ｃｂ、Ｃｒ成分はサブサンプルせずに処理される。したがって、画素の１６×１６ブロックの各成分の入力はエンコーダ104 へ与えられる。例示の目的で、Ｙ成分のエンコーダ104 が示されている。類似のエンコーダはＣｂとＣｒ成分に対して使用される。エンコーダ104 はビデオ圧縮を行うためブロックサイズ割当を実行するブロックサイズ割当素子120 を具備する。ブロックサイズ割当素子120 はブロックの知覚的なイメージ特性に基づいて１６×１６ブロックのブロック分解を決定する。ブロックサイズ割当は各１６×１６ブロックを１６×１６ブロック内のアクティビティに基づいてカッドツリー方法でさらに小さいブロックに細分割する。ブロックサイズ割当素子120 はＰＱＲデータと呼ばれるカッドツリーデータを生成し、その長さは１と２１ビットの間である。したがってブロックサイズ割当によって、１６×１６ブロックが分割されるべきであることが決定されたならば、ＰＱＲデータのＲビットが設定され、それに４つの分割された８×８ブロックに対応するＱデータの４つの付加的なビットが後続する。ブロックサイズ割当が任意の８×８ブロックが細分割されることを決定したならば、細分割された各８×８ブロックのＰデータの４つの付加的なビットが付加される。
【００３６】
図３を参照すると、ブロックサイズ割当素子120 の動作の詳細を示したフロー図が与えられている。ブロックの分散はブロックを細分割する決定における計量値として使用される。ステップ202 で開始して、画素の１６×１６ブロックが読み取られる。ステップ204 で、１６×１６ブロックの分散Ｖ１６が計算される。分散は以下のように計算される。
【数２】

【００３７】
ここでＮ＝１６であり、ｘ_ijはＮ×Ｎブロック内のｉ番目の行のｊ番目の列の画素である。ステップ206 で、ブロックの平均値が２つの予め定められた値の間であるならば、最初に分散しきい値Ｔ１６は新しいしきい値Ｔ' １６を与えるように変更され、その後ブロック分散はこの新しいしきい値Ｔ' １６に対して比較される。
【００３８】
分散Ｖ１６がしきい値Ｔ１６より大きくない場合には、ステップ208 で１６×１６ブロックの開始アドレスは一時的な記憶装置へ書き込まれ、ＰＱＲデータのＲビットは１６×１６ブロックが細分割されないことを示すために０に設定される。その後、アルゴリズムは画素の次の１６×１６ブロックを読取る。分散Ｖ１６がしきい値Ｔ１６よりも大きいならば、ステップ210 でＰＱＲデータのＲビットは１６×１６ブロックが４つの８×８ブロックに細分割されることを示すために１に設定される。
【００３９】
４つの８×８ブロック、ｉ＝１：４はステップ212 で示されているようにさらに細分割されるように逐次的に考慮される。各８×８ブロックでは、分散Ｖ８_i がステップ214 で計算される。ステップ216 で、ブロックの平均値が２つの予め定められた値の間であるならば、最初に分散しきい値Ｔ８は新しいしきい値Ｔ' ８を与えるように変更され、その後ブロック分散は新しいしきい値Ｔ' ８に対して比較される。
【００４０】
分散Ｖ８_i がしきい値Ｔ８より大きくないならば、ステップ218 で８×８ブロックの開始アドレスは一時的な記憶装置へ書き込まれ、対応するＱビット、Ｑ_i は０に設定される。その後、次の８×８ブロックが処理される。分散Ｖ８_i がしきい値Ｔ８よりも大きいならば、ステップ220 で対応するＱビット、Ｑ_i は８×８ブロックが４つの４×４ブロックに細分割されることを示すために１に設定される。
【００４１】
４つの４×４ブロック、ｊ_i ＝１：４はステップ222 で示されているようにさらに細分割されるように逐次的に考慮される。各４×４ブロックでは、分散Ｖ４_ijがステップ224 で計算される。ステップ226 で、ブロックの平均値が２つの予め定められた値の間であるならば、最初に分散しきい値Ｔ４は新しいしきい値Ｔ' ４を与えるように変更され、その後ブロック分散はこの新しいしきい値に比較される。
【００４２】
分散Ｖ４_ijがしきい値Ｔ４より大きくないならば、ステップ228 で４×４ブロックのアドレスが書き込まれ、対応するＰビット、Ｐ_ijは０に設定される。次の４×４ブロックがその後、処理される。分散Ｖ４_ijがしきい値Ｔ４よりも大きいならば、ステップ230 で対応するＰビット、Ｐ_ijは４×４ブロックが４つの２×２ブロックに細分割されることを示すために１に設定される。さらに、４つの２×２ブロックのアドレスは一時的な記憶装置に書き込まれる。
【００４３】
しきい値Ｔ１６、Ｔ８、Ｔ４は予め定められた定数である。これはハード決定として知られている。その代わりに、適合またはソフト決定が実行されてもよい。例えばソフト決定は２Ｎ×２Ｎブロックの平均画素値に基づいて分散のしきい値を変化し、ここでＮは８、４または２である。平均画素値の関数はしきい値として使用されてもよい。
【００４４】
例示の目的で、以下の例を考慮する。１６×１６、８×８、４×４ブロックに対するＹ成分の予め定められた分散しきい値をそれぞれ５０、１１００、８８０とする。換言すると、Ｔ１６＝５０、Ｔ８＝１１００、Ｔ４＝８８０である。平均値の範囲を８０および１００とする。１６×１６ブロックの計算された分散が６０であると仮定する。６０はＴ１６よりも大きいので、平均値９０は８０と１００の間であり、１６×１６ブロックは４つの８×８のサブブロックに細分割される。８×８ブロックの計算された分散が１１８０、９３５、９８０、１２１０であると仮定する。８×８ブロックの２つはＴ８を超える分散を有するので、これらの２つのブロックは全部で８つの４×４サブブロックを生成するためにさらに細分割される。最後に、８つの４×４ブロックの分散が６２０、６３０、６７０、５９０、５２５、９３０、６９０であり、対応する平均値が９０、１２０、１１０、１１５であると仮定する。第１の４×４ブロックの平均値が範囲（８０，１００）に入るので、そのしきい値は８８０よりも小さいＴ' ４＝２００まで下げられる。そこでこの４×４ブロックは７つの４×４ブロックと同様に細分割される。結果的なブロックサイズ割当が図４のＡに示されている。対応するカッドツリー分解は図４のＢに示されている。さらにこのブロックサイズ割当により生成されたＰＱＲデータは図４のＣに示されている。
【００４５】
類似の処理手順はカラー成分Ｃ₁ 、Ｃ₂ に対してブロックサイズを割り当てるために使用されることに注意する。カラー成分は水平、垂直またはその両者でデシメートされてもよい。
【００４６】
さらに、ブロックサイズ割当は最大のブロック（本発明の例では１６×１６）が最初に評価されるトップダウン方法として説明されているが、ボトムアップ方法が代わりに使用されてもよいことに注意する。ボトムアップ方法は最小のブロック（本発明の例では２×２）を最初に評価する。
【００４７】
図１に戻ると、ＰＱＲデータは選択されたブロックのアドレスと共にＤＣＴ素子124 へ与えられる。ＤＣＴ素子124 は選択されたブロックで適切なサイズのディスクリートな余弦変換を実行するためにＰＱＲデータを使用する。選択されたブロックだけがＤＣＴ処理を受ける必要がある。
【００４８】
イメージ処理システム100 はＤＣＴのＤＣ係数中の冗長を減少するためにＤＱＴ素子128 を随意的に含んでいる。ＤＣ係数は各ＤＣＴブロックの左上のコーナーで遭遇する。ＤＣ係数は通常主としてＡＣ係数と比較される。サイズの差異は効率的な可変長コーダの設計を困難にする。したがって、ＤＣ係数中の冗長を減少することは有効である。
【００４９】
ＤＱＴ素子128 は時間において２×２で取ったＤＣ係数で２−Ｄ ＤＣＴを実行する。４×４ブロック内の２×２ブロックで開始すると、２−Ｄ ＤＣＴは４つのＤＣ係数について実行される。この２×２ ＤＣＴは４つのＤＣ係数の微分カッドツリー変換またはＤＱＴと呼ばれる。次にＤＱＴのＤＣ係数は、８×８ブロック内の３つの近傍ＤＣ係数と共に次のレベルのＤＱＴを計算するために使用される。最後に、１６×１６ブロック内の４つの８×８ブロックのＤＣ係数はＤＱＴを計算するために使用される。したがって、１６×１６ブロックでは、１つの真のＤＣ係数が存在し、残りはＤＣＴとＤＱＴに対応するＡＣ係数である。
【００５０】
変換係数（ＤＣＴとＤＱＴの両者）は量子化するため量子化装置に与えられる。好ましい実施形態ではＤＣＴ係数は周波数加重されたマスク（ＦＷＭ）と量子化スケール係数を使用して量子化される。ＦＷＭは入力ＤＣＴ係数のブロックと同一ディメンションの周波数加重の表である。周波数加重は異なる加重を異なるＤＣＴ係数へ提供する。加重は人間の視覚系または光学系がさらに敏感である周波数内容を有する入力サンプルを強調し、視覚系または光学系の感度が低い周波数内容を有するサンプルをデエンファシスするように設計されている。加重は観察距離等の要因に基づいて設計されてもよい。
【００５１】
加重は実験的データに基づいて選択される。８×８ ＤＣＴ係数に対する加重マスクを設計する方法は、ここで参考文献とされるＩＳＯ／ＩＥＣ ＪＴＣ１ ＣＤ １０９１８（“名称“Digital compression and encoding of continuous-tone still images−part 1 :Requirements and guidelines ”、International Standards Organization、1994年）に記載されている。通常、２つのＦＷＭが設計され、一方は輝度成分に対するものであり、一方はクロミナンス成分に対するものである。ブロックサイズ２×２と４×４に対するＦＷＭ表はデシメーションにより得られ、１６×１６は８×８ブロックの表の補間により得られる。スケール係数は品質と量子化された係数のビットレートを制御する。
【００５２】
したがって、各ＤＣＴ係数は以下の関係式にしたがって量子化される。
【数３】

【００５３】
ここでＤＣＴ（ｉ，ｊ）は入力されたＤＣＴ係数であり、ｆｗｍ（ｉ，ｊ）は周波数加重マスクであり、ｑはスケール係数であり、ＤＣＴｑ（ｉ，ｊ）は量子化された係数である。ＤＣＴ係数の符号に基づいて、中括弧内の第１の項は端数を切上げられるか切り捨てられることに注意する必要がある。ＤＱＴ係数も適切な加重マスクを使用して量子化される。しかしながら、多数の表またはマスクが使用され、各Ｙ、Ｃｂ、Ｃｒ成分に適用されることができる。
【００５４】
画素データのブロックと周波数加重マスクはその後、量子化スケール係数エレメントによりスケールされる。好ましい実施形態では平均ビットレートに対応して３２のスケール係数が存在する。ＭＰＥＧ２のような他の圧縮方法と異なって、平均ビットレートはターゲットビットレートおよびバッファ状態の代わりに、処理されたイメージ品質に基づいて制御される。好ましい実施形態では特定の量子化スケールエレメントはセレクタ130 により予め選択される。本発明は量子化スケールエレメントが予め選択されることを必要としないことに注意すべきである。
【００５５】
１ブロックベースの実施形態では、量子化スケール係数はコントラスト（132 ）に基づいている。人間の視覚系は低いコントラスト領域よりも高いコントラスト領域に対して感度があることが認められている。コントラストに基づいた量子化スケール係数はビットレートと量子化スケール係数との予め定められた関係を使用する。１実施形態では、ＢＳＡ関数はコントラストに基づいてＭ×Ｎブロックをサブブロックに分割し、それによって細分割が高コントラストのブロックで多く行われ、低コントラストのブロックで行われる細分割は少ない。本発明は分散の平方根と平均強度の比率としてコントラストを定量化する。特に量子化スケール係数は以下の関係式により与えられるようにＢＳＡにしたがって選択される。
【数４】

【００５６】
ここで、Ｒ_i はブロックのｉ番目のタイプのビット数であり、σ² _i はブロックのｉ番目のタイプの分散であり、ｐ_i はブロックサイズ割当関数から得られたブロックのｉ番目のタイプの割合である。量子化スケール係数はビットレートと量子化スケール係数との予め定められた関係を使用して決定される。
【００５７】
ビットレートと量子化スケール係数との関係は図５に示されている。ビットレートと量子化スケール係数との関係は、１画素を記述するのに必要な平均ビット数を決定するためにイメージのグループを評価することにより予め決定される。示されているように、量子化スケール係数は画素当りの平均ビット数が減少すると増加する。したがって、特別なスケール係数Ｑは対応する値Ｒ_i で選択されてもよい。
【００５８】
別のブロックベースの実施形態では、量子化装置のスケール係数はＤＣＴ（136 ）の係数カウントに基づいて選択される。典型的に、係数カウントシステムおよび方法はオーバーヘッドのブロック当り１ビットを必要とする。量子化スケール係数方法300 は図６に示されている。ブロックサイズ割当後、データのＮ×Ｎブロックを構成するデータのスライスはステップ304 で選択される。好ましい実施形態では、データのスライスは画素データの１６行×１６列のブロックを有する。図３を参照して説明されているように、ＤＣＴは308 でデータのブロックについて行われ、さらにサブブロックが指定される。各データブロックのしきい値は312 で決定される。しきい値はプロセスの任意の段階で決定されてもよい。好ましい実施形態では、しきい値は実験的に予め決定される。その後、大きさにおいて予め定められたしきい値を超えるＡＣ係数の数は316 により以下の関係式により決定される。
【数５】

【００５９】
ここでＴはしきい値であり、Ｘ（ｋ，ｌ）はＮ×Ｎブロック内の位置（ｋ，ｌ）におけるＤＣＴ係数を表しており、Ｍはしきい値を超えるＤＣＴのＮ×Ｎブロック内のＡＣ係数の数である。スケール係数はその後、しきい値Ｔを超えるＡＣ係数の数にしたがって320 で割当てられる。
【００６０】
スライス内の第１のデータブロックが評価されてスケール係数を割当てられた後、スライス内の次のＮ×Ｎデータのブロックがステップ324 で選択される。スケール係数はステップ328 でインクリメントとされ、別のＤＣＴがステップ332 で実行される。平均二乗誤差（ＭＳＥ）はステップ336 で古いＤＣＴと新しいＤＣＴとの間で決定される。スケール係数はその後ステップ340 でデクリメントされ、別のＤＣＴがステップ344 で実行される。平均二乗誤差（ＭＳＥ）は348 で再度古いＤＣＴと新しいＤＣＴとの間で決定される。２つの平均二乗誤差は比較され、低い平均二乗誤差に関連する量子化ファクタはステップ352 でデータのブロックに割り当てられる。その後、サイクルはステップ356 でスライス内の各データブロックで反復される。量子化装置がスライス内の各データブロックに対して割り当てられた後、次のデータのスライスが選択され、ステップ360 でサイクルが継続する。
【００６１】
量子化スケール係数を決定する別のブロックベースの実施形態はレート歪み134 に基づいた量子化スケーラであり、図７、８で400 で示されている。一般的に、レート歪み量子化装置は係数カウント量子化装置と類似の方法で動作するが、スケール係数がいくつ吟味されるかに基づいてさらに多くのオーバーヘッドビットを必要とする。ブロックサイズ割当後、Ｎ×Ｎのデータブロックを有するデータスライスはステップ404 で選択される。好ましい実施形態では、データのスライスは１６行×１６列の画素データのブロックを有する。図３を参照にして説明されたように、ＤＣＴはステップ408 でデータブロックについて実行され、さらにサブブロックが指示される。各データブロックに対するしきい値はステップ412 で任意のプロセス段で再度決定される。平均歪みＤおよび画素レート当りの平均ビットＲもステップ416 で決定される。その後、係数カウント方法に関して説明するような関係を使用して、大きさにおいて予め定められたしきい値（Ｍ）を超えるＡＣ係数の数がステップ420 で決定される。その後、しきい値Ｔを超えるＡＣ係数にしたがってスケール係数が424 で割当てられる。
【００６２】
スライス内の第１のデータブロックが評価され、スケール係数を割当てられた後、スライス内の次のＮ×Ｎデータブロックがステップ428 で選択される。スケール係数はステップ432 で先のブロックのスケール係数からインクリメントされ、別のＤＣＴがステップ436 で実行される。ＭＳＥは440 で古いＤＣＴと新しいＤＣＴの間で決定される（ステップ440 ）。ステップ440 のＭＳＥレートに関連する量子化スケール係数に対応する平均歪みＤと画素当りの平均ビットレートＲがステップ444 で決定される。
【００６３】
スケール係数はその後、ステップ448 で先のブロックのスケール係数からデクリメントされる。平均二乗誤差（ＭＳＥ）はステップ456 で古いＤＣＴと新しいＤＣＴとの間で決定される。ステップ456 のＭＳＥレートに関連する量子化スケール係数に対応する平均歪みＤと画素当たりの平均ビットレートＲがその後ステップ460 で決定される。２つの平均歪みレートＤの差と、画素当たりの２つのビットレートＲの差が464 で決定される。その後、２つのスケール係数は画素レートの変化と、平均歪みレートの変化の比を次式によって取ることによりステップ468 で決定される。
スケール係数＝｜ΔＲ_i ／ΔＤ_i ｜
最大の絶対値で生じるスケール係数は現在のブロックに対してステップ472 で選択される。その後、サイクルはステップ476 でスライス内の各データブロックに対して反復する。量子化装置がスライス内の各データブロックに対して割当てられた後、次のデータのスライスが選択され、サイクルはステップ480 のように継続する。
【００６４】
量子化装置のスケール係数もフレーム毎を基礎として選択される。しかしながらフレームベースのレート制御は通常前述のブロックベースのレート制御よりも低い平均ビットレートで行われる。さらに、フレームベースのレート制御はビット転送がブロック対ブロックベースとは反対にフレーム対フレームベースで生じるので、さらにバッファの使用を必要とする。
【００６５】
フレーム毎の量子化装置の実施形態では、量子化スケール係数は種々のブロックサイズの割当（ＢＳＡ）の密度に基づいてもよい（図１、ブロック144 ）。イメージのフレーム全体に対する量子化スケール係数はイメージの視覚的品質に関連する計量に基づいて決定される。視覚的品質は所定のフレームに対する１６×１６ブロックの数と８×８ブロックの数を決定することによって推論される。即ち、所定のフレームが１６×１６ブロックよりも多くの８×８ブロックを有するならば、イメージはさらに複雑であるように見える。したがって、より複雑なイメージは品質を維持するためにさらに微細な量子化を通常必要とする。反対に、所定のフレームが８×８ブロックよりも多くの１６×１６ブロックを有するならば、イメージは複雑でないように見える。したがって、低い量子スケール係数が使用されても、視覚的品質を維持する。したがって、各フレームでは、ＢＳＡアルゴリズムが実行され、スケール係数は次式に基づいている。
【数６】

【００６６】
ここでｎ₁₆は１フレーム中の１６×１６ブロックの数を表し、ｎ₈ は１フレーム中の８×８ブロックの数を表し、Ｌはしきい値を超える比を表している。好ましい実施形態では、しきい値は実験的に予め定められる。スケール係数はその後、値Ｌと所定のフレームに対する８×８ブロックの数に基づいて選択される。
【００６７】
その代わりに、フレームベースの量子化スケール係数は先のフレームの量子化フレームファクタに基づいてもよい（148 ）。この実施形態では、現在のフレームは先のフレームのスケール係数、即ち先のフレーム＋１のスケール係数インデックスに対応するスケール係数と、先のフレーム−１のスケール係数インデックスに対応するスケール係数を使用して圧縮される。現在のフレームの圧縮中、実際のスケール係数は前述のフレーム毎の視覚的品質方法に関して説明したようにＢＳＡ情報から決定される。現在のフレームの実際のスケール係数に最も近いスケール係数に対応する圧縮された出力が決定され、その対応するスケール係数と共に使用される。即ち、
ｑ（ｓ_n-1 −１）＝ｑ_n ならば、ｑ（ｓ_n-1 −１）
ｑ（ｓ_n ）＝
そうでなければ、ｑ（ｓ_n-1 ＋１）
ここで、ｑ（ｓ_n-1 ）は先のフレームのスケール係数のインデックスを表し、ｑ（ｓ_n-1 ＋１）は先のフレームを１だけ超える候補インデックスのスケール係数を表し、ｑ（ｓ_n-1 −１）は先のフレームより１だけ下の候補インデックスのスケール係数を表し、ｑ_n は現在のフレームの実際のスケール係数を表している。
【００６８】
図１および２に戻ると、量子化係数はジグザグ走査シリアライザ152 に与えられている。シリアライザ152 は量子化された係数の直列化流を発生するためにジグザグ方法で量子化係数のブロックを走査する。多数の異なるジグザグ走査パターンおよび、ジグザグ以外のパターンも選択されてもよい。好ましい技術はジグザグ走査で８×８ブロックサイズを使用するが他のサイズが使用されてもよい。
【００６９】
ジグザグ走査シリアライザ152 は量子化装置132 、136 、140 、144 または148 の前または後のいずれに置かれてもよいことに注意する。実質上の結果は通常同一である。
【００７０】
いずれにせよ、量子化係数流は可変長コーダ156 へ与えられる。可変長コーダ156 はゼロのランレングスコード化を使用し、それにハフマンコード化が後続する。この技術は前述の米国特許第5,021,891 号、第5,107,345 号、第5,452,104 号明細書に詳細に説明され、要約されている。ランレングスコーダは量子化係数を取り、ゼロをゼロではない係数から分離する。ゼロ値はランレングス値と呼ばれ、ハフマンコード化される。ゼロではない値は別々にハフマンコード化される。
【００７１】
量子化係数の修正されたハフマンコード化も可能であり、好ましい実施形態で使用される。ここでジグザグ走査後、ランレングスコーダは各８×８ブロック内のランレングス／サイズペアを決定する。これらのランレングス／サイズペアはハフマンコード化される。
【００７２】
ハフマンコードはイメージの測定されたまたは論理的統計から設計される。最も自然のイメージはフラットまたは比較的ゆっくりと変化する領域と、オブジェクト境界および高コントラストテクスチャのようなビジー領域からなることが観察されている。ＤＣＴ等の周波数ドメイン変換を有するハフマンコーダはビジー領域に割当てるビットを多くし、フラット領域に割当てるビットを少なくすることによりこれらの特性を使用する。通常、ハフマンコーダはランレングスおよびゼロではない値をコード化するために検索表を使用する。多数の表が一般に使用され、３つの表が本発明では好ましいが、１または２の表も所望ならば使用されることができる。
【００７３】
エンコーダ104 により発生される圧縮されたイメージ信号はバッファ160 を使用して一時的に記憶され、その後、伝送チャンネル108 を使用してデコーダ112 へ送信される。ブロックサイズ割当情報を含んでいるＰＱＲデータもまたデコーダ112 へ与えられる。デコーダ112 はバッファ164 と、ランレングス値およびゼロではない値をデコードする可変長デコーダ168 を具備している。
【００７４】
可変長デコーダ168 の出力は、使用される走査方式にしたがって係数を順序付けする逆ジグザグ走査シリアライザ172 に与えられる。この逆ジグザグ走査シリアライザ172 は係数を複雑な係数ブロックに適切に順序付けすることを容易にするためにＰＱＲデータを受信する。
【００７５】
複雑なブロックは、量子化スケール係数と周波数加重マスクを使用するので、処理を戻すためにエンコーダ104 で使用される量子化装置に対応してセクレタ174 を使用して逆量子化装置176 、178 、180 、182 または184 に与えられる。
【００７６】
係数ブロックはその後、微分カッドツリー変換が適用されたならば、ＩＤＱＴ素子186 に与えられ、それにＩＤＣＴ素子190 が後続する。そうでなければ、係数ブロックは直接ＩＤＣＴ素子190 へ与えられる。ＩＤＱＴ素子186 とＩＤＣＴ素子190 は画素データのブロックを生成するために係数を逆変換する。画素データは補間され、ＲＧＢ形態に変換され、その後、将来表示するために記憶されなければならない。
【００７７】
したがって、画素分散に基づいてブロックサイズ割当を実行するイメージ圧縮のためのシステムおよび方法が提供される。分散ベースのブロックサイズ割当は幾つかの利点を提供する。ディスクリートな余弦変換はブロックサイズの決定後に実行されるので、効率のよい計算が実現される。計算上厄介な変換は選択されたブロックだけで実行される必要がある。さらに、ブロック選択プロセスは画素値の分散が数学的に計算が簡単であるので効率的である。さらに分散ベースのブロックサイズ割当の別の利点は知覚的ベースで行われることである。画素分散はブロックのアクティビティの尺度であり、エッジ、テキスチャ等の存在の指示を与える。これは画素値の平均等の尺度よりも非常に良好なブロックの詳細を捕捉する傾向がある。したがって、本発明の分散ベースの方式はより小さいブロックをより多くのエッジを有する領域に割当て、大きいブロックをよりフラットな領域に割当てる。結果として、すぐれた品質が再構成されたイメージで実現される。
【００７８】
別の重要な利点は、ブロックサイズ割当がビットレートにかかわりなく幾つかの量子化スケール係数に関して行われ、イメージ品質の制御において正確さと明瞭さを可能にする。品質ベースの量子化スケール係数を可能にすることにより、イメージ圧縮は非常に価値のあるビットレートである。これはイメージ圧縮システムが丁度顕著な可視度のしきい値を超える全ての領域の詳細を維持することを可能にする。さらに分散ベースのイメージ圧縮はムービングピクチャエキスパートグループ（ＭＰＥＧ）圧縮技術のような方法とは異なりイメージ品質の顕著な劣化を与えない。これは特にデジタル映画の領域のような応用で重要である。
【００７９】
高い需要のデジタルビデオにより、著作権侵害は深刻な脅威である。デジタル電子透かしは著作権の侵害と、収入の損失を防止するための重要な要求である。電子透かしが知覚的に重要であるイメージの区域で行われるとき、分散ベースのブロックサイズ割当は電子透かしで使用するのに自然な候補である。
【００８０】
好ましい実施形態の前述の説明は当業者が本発明を実行または使用することを可能にするために行われた。これらの実施形態に対する種々の変形は当業者に容易に明白であり、ここで限定されている一般原理は発明力を使用せずに他の実施形態に応用されてもよい。したがって、本発明はここで示されている実施形態に限定されず、ここで説明された原理および優秀な特徴と一貫した最も広い技術的範囲に従うことを意図する。
【００８１】
本発明の他の特徴および利点は特許請求の範囲で記載されている。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］画素データを含むデジタルイメージの圧縮方法において、
画素データのブロックを読取り、
画素のブロックを画素データのサブブロックに分割するためにブロックサイズ割当を生成し、
画素データのサブブロックを対応する周波数ドメイン表示に変換し、
周波数ドメイン表示をデータ流にスケールする動作を含み、スケール動作はイメージの品質に相関する品質計量値に基づいている圧縮方法。
［２］スケール動作は、周波数加重されたマスクを画素データの前記サブブロックに与える動作をさらに含み、それによって周波数加重されたマスクは人間の視覚系の感度が高いほうのイメージ部分へエンファシスを与え、人間の視覚系の感度が低いほうのイメージ部分へは少ないエンファシスを与える、［１］記載の方法。
［３］スケール動作は、イメージの品質に基づいて画素データのサブブロックを量子化する動作をさらに含んでいる、［１］記載の方法。
［４］品質計量は信号対雑音比である、［１］記載の方法。
［５］変換動作はディスクリートな余弦変換を行う、［１］記載の方法。
［６］変換動作はディスクリートな余弦変換とそれに後続する微分カッドツリー変換を行う、［１］記載の方法。
［７］スケール動作は、ブロック単位をベースとして、［５］記載の方法。
［８］スケール動作は、画素データのサブブロックのコントラストに基づいている、［７］記載の方法。
［９］スケール動作は、大きさにおいて予め定められたしきい値を超えるサブブロック内のＡＣ係数の数に基づいている、［７］記載の方法。
［１０］スケール動作は、サブブロックの平均二乗誤差に基づいている、［７］記載の方法。
［１１］スケール動作は、フレーム単位をベースとしている、［５］記載の方法。
［１２］スケール動作は、フレーム当りのブロックサイズ割当の数およびサイズに基づいている、［１１］記載の方法。
［１３］スケール動作は、先のフレームのスケール係数に基づいている、［１１］記載の方法。
［１４］生成する動作は、
画素データの前記ブロックの画素値の分散を決定し、
前記分散をしきい値と比較し、
比較動作の結果に基づいて前記ブロックを細分割する決定を行い、
前記決定が前記ブロックを細分割することであるならば、予め定められた基準が満たされるまで、決定、比較、および各サブブロックを生成する動作を反復し、
ブロックサイズ割当として、さらに細分割されない各ブロックまたはサブブロックを指示する動作をさらに含んでいる、［１］記載の方法。
［１５］決定を行うステップは、分散がしきい値よりも大きい場合には、ブロックの細分割を要求する、［１４］記載の方法。
［１６］しきい値は予め決定されている、［１５］記載の方法。
［１７］しきい値は評価されるブロックまたはサブブロックの画素値の平均の関数である、［１５］記載の方法。
［１８］しきい値は細分割の各レベルに対して変化する、［１５］記載の方法。
［１９］決定、比較、および生成のステップがもはや反復されないように予め定められた基準が画素データの予め選択された最小ブロックサイズに基づいている、［１４］記載の方法。
［２０］係数データをデータ流にスケールする動作はさらに係数データのジグザグ走査を含んでいる、［１］記載の方法。
［２１］ジグザグ走査の動作は８×８画素ブロックサイズを使用して行われる、［２０］記載の方法。
［２２］スケール動作は、送信を行うためにデータ流を直列化されたデータ流にコード化する動作をさらに含んでいる、［１］記載の方法。
［２３］コード化動作は、ハフマンコード化を含んでいる、［２２］記載の方法。
［２４］ハフマンコード化はランレングスおよびゼロではない値をコード化するために多数の検索表を使用する、［２３］記載の方法。
［２５］３つの検索表が存在する、［２４］記載の方法。
［２６］生成動作はイメージの知覚特性に基づいている、［１］記載のシステム。
［２７］画素データを圧縮する品質ベースのイメージ圧縮システムにおいて、
画素のブロックを画素データのサブブロックに分割するブロックサイズ割当手段と、
画素データのサブブロックを対応する周波数ドメイン表示に変換する変換手段と、
周波数ドメイン表示をデータ流にスケールするスケール手段とを具備し、スケール手段はイメージの品質に相関する品質計量に基づいているシステム。
［２８］スケール手段は、画素データの前記サブブロックへの周波数加重されたマスク手段をさらに具備し、それによって周波数加重されたマスクは人間の視覚系の感度がより高いイメージ部分に対してはエンファシスを与え、人間の視覚系の感度がより低いイメージ部分へは少ないエンファシスを与える、［２７］記載のシステム。
［２９］スケール手段は、イメージの品質に基づいて画素データのサブブロックを量子化する量子化装置をさらに具備している、［２７］記載のシステム。
［３０］品質計量は、信号対雑音比である、［２７］記載のシステム。
［３１］変換手段は、ディスクリートな余弦変換を行う、［２７］記載のシステム。
［３２］変換手段はディスクリートな余弦変換とそれに後続する微分カッドツリー変換を行う、［２７］記載のシステム。
［３３］スケール手段は、ブロック単位をベースとしてデータをスケールする、［３１］記載のシステム。
［３４］スケール手段は、画素データのサブブロックのコントラストに基づいている、［３３］記載のシステム。
［３５］スケール手段は、大きさにおいて予め定められたしきい値を超えるサブブロック内のＡＣ係数の数に基づいている、［３３］記載のシステム。
［３６］スケール手段は、サブブロックの平均二乗誤差に基づいている、［３３］記載のシステム。
［３７］スケール手段は、フレーム単位をベースとしている、［３１］記載のシステム。
［３８］スケール手段は、フレーム当りのブロックサイズ割当の数およびサイズに基づいている、［３７］記載のシステム。
［３９］スケール手段は、先のフレームのスケール係数に基づいている、［３７］記載のシステム。
［４０］ブロックサイズ割当手段は、画素データのブロックに対する画素値の分散を決定し、分散をしきい値と比較し、比較の結果に基づいてブロックを細分割するか否かの決定を行い、前記決定が前記ブロックを細分割することであるならば、予め定められた基準が満たされるまで、分散の決定、しきい値との比較、細分割されたブロックのそれぞれに対する細分割を行うか否かの決定を反復し、ブロックサイズ割当として、さらに細分割されない各ブロックまたはサブブロックを指示する、［２７］記載のシステム。
［４１］細分割の決定は分散がしきい値よりも大きい場合には、ブロックが細分割されることを要求する、［４０］記載のシステム。
［４２］しきい値は、予め定められている、［４１］記載のシステム。
［４３］しきい値は評価されるブロックまたはサブブロックの画素値の平均の関数である、［４１］記載のシステム。
［４４］しきい値は細分割の各レベルに対して変化する、［４１］記載のシステム。
［４５］もはや細分割しないように予め定められた基準は、画素データの予め選択された最小ブロックサイズに基づいている、［４０］記載のシステム。
［４６］スケールは、さらに係数データのジグザグスキャナを含んでいる、［２７］記載のシステム。
［４７］ジグザグスキャナはジグザグスキャナのための８×８画素ブロックサイズを使用する、［４６］記載のシステム。
［４８］スケール手段は、送信を行うためにデータ流を直列化されたデータ流にコード化するコーダをさらに具備している、［４７］記載のシステム。
［４９］コーダは、ハフマンコーダである、［４８］記載のシステム。
［５０］ハフマンコーダは、ランレングスおよびゼロではない値をコード化するために多数の検索表を使用する、［４９］記載のシステム。
［５１］３つの検索表が存在する、［５０］記載のシステム。
［５２］生成手段はイメージの知覚特性に基づいている、［２７］記載のシステム。
［５３］画素データを含むデジタルイメージの圧縮方法において、
画素データのブロックを読取り、
画素のブロックを画素データのサブブロックに分割するためにブロックサイズ割当を生成し、
画素データのサブブロックを対応する周波数ドメイン表示に変換し、
周波数ドメイン表示をデータ流にスケールする動作を含み、スケール動作はイメージの品質に相関する品質計量値に基づいており、スケール動作はさらに、周波数加重されたマスクを画素データの前記サブブロックに与える動作を含み、それによって周波数加重されたマスクは人間の視覚系の感度がより高いイメージ部分に対してエンファシスを与え、人間の視覚系の感度がより低いイメージ部分へは少ないエンファシスを与え、スケール動作はイメージの品質に基づいて画素データのサブブロックを量子化する動作をさらに含んでいる方法。
［５４］品質計量値は信号対雑音比である、［５３］記載の方法。
［５５］変換動作は、ディスクリートな余弦変換を行う、［５３］記載の方法。
［５６］変換動作は、ディスクリートな余弦変換とそれに後続する差カッドツリー変換を行う、［５３］記載の方法。
［５７］スケール動作は、ブロック単位をベースとしている、［５３］記載の方法。
［５８］スケール動作は、画素データのサブブロックのコントラストに基づいている、［５７］記載の方法。
［５９］スケール動作は、大きさにおいて予め定められたしきい値を超えるサブブロック内のＡＣ係数の数に基づいている、［５７］記載の方法。
［６０］スケール動作は、サブブロックの平均二乗誤差に基づいている、［５７］記載の方法。
［６１］スケール動作は、フレーム単位をベースとしている、［５５］記載の方法。
［６２］スケール動作は、フレーム当りのブロックサイズ割当の数およびサイズに基づいている、［６１］記載の方法。
［６３］スケール動作は、先のフレームのスケール係数に基づいている、［６１］記載の方法。
［６４］画素データを圧縮する品質ベースのイメージ圧縮システムにおいて、
画素のブロックを画素データのサブブロックに分割するブロックサイズ割当手段と、
画素データのサブブロックを対応する周波数ドメイン表示に変換する変換手段と、
周波数ドメイン表示をデータ流にスケールするスケール手段とを具備し、スケール手段はイメージの品質に相関する品質計量値に基づいており、スケール手段は、画素データの前記サブブロックへの周波数加重されたマスク手段をさらに具備し、それによって周波数加重されたマスクは人間の視覚系の感度がより高いイメージ部分へエンファシスを与え、人間の視覚系の感度がより低いイメージ部分へは少ないエンファシスを与え、スケール手段はイメージの品質に基づいて画素データのサブブロックを量子化する量子化装置をさらに具備しているシステム。
［６５］品質計量値は、信号対雑音比である、［６４］記載のシステム。
［６６］変換手段は、ディスクリートな余弦変換を行う、［６４］記載のシステム。
［６７］変換手段は、ディスクリートな余弦変換とそれに後続する差カッドツリー変換を行う、［６４］記載のシステム。
［６８］スケール手段は、ブロック単位をベースとしてデータをスケールする、［６７］記載のシステム。
［６９］スケール手段は、画素データのサブブロックのコントラストに基づいている、［６７］記載のシステム。
［７０］スケール手段は、大きさにおいて予め定められたしきい値を超えるサブブロック内のＡＣ係数の数に基づいている、［６７］記載のシステム。
［７１］スケール手段は、サブブロックの平均二乗誤差に基づいている、［６７］記載のシステム。
［７２］スケール手段は、フレーム単位をベースとしている、［６７］記載のシステム。
［７３］スケール手段は、フレーム当りのブロックサイズ割当の数およびサイズに基づいている、［７０］記載のシステム。
【図面の簡単な説明】
【図１】 本発明の分散ベースのブロックサイズ割当システムおよび方法を実行する品質ベースのイメージ処理システムのエンコーダ部分のブロック図。
【図２】 本発明の分散ベースのブロックサイズ割当システムおよび方法を実行する品質ベースのイメージ処理システムのデコーダ部分のブロック図。
【図３】 分散ベースのブロックサイズ割当に含まれる処理ステップを示したフロー図。
【図４】 例示的なブロックサイズ割当、対応するカッドツリー分解、対応するＰＱＲデータを示した図。
【図５】 量子化装置のスケール係数対画素レート当りの平均ビットの関係を示したグラフ。
【図６】 ＤＣＴブロックのＡＣ係数カウントに基づいた量子化装置のスケール係数のフローチャート。
【図７】 レート歪みに基づいた量子化装置のスケール係数のフローチャート。
【図８】 図７のレート歪みに基づいた量子化装置のスケール係数に続くフローチャート。

Claims (21)

1. 画素データを含むデジタルイメージの圧縮方法において、
   画素データのブロックを読取り、
   画素のブロックを画素データのサブブロックに分割するためにブロックサイズ割当を生成し、
   画素データのサブブロックを対応する周波数ドメイン表示に変換し、
   フレーム当りのブロックサイズ割当の数およびサイズに基づいてフレーム単位に周波数ドメイン表示をデータ流にスケールする動作を含み、スケール動作はデジタルイメージの視覚的品質に相関する品質計量値に基づいており、
   前記変換の動作はディスクリートな余弦変換を行う、圧縮方法。
2. スケール動作は、周波数加重されたマスクを画素データの前記サブブロックに与える動作をさらに含み、それによって周波数加重されたマスクは人間の視覚系の感度が高いほうのデジタルイメージ部分へエンファシスを与え、人間の視覚系の感度が低いほうのデジタルイメージ部分へは少ないエンファシスを与える請求項１記載の方法。
3. スケール動作は、デジタルイメージの品質に基づいて画素データのサブブロックを量子化する動作をさらに含んでいる請求項１または２記載の方法。
4. デジタルイメージの品質は信号対雑音比を使用して測定される請求項１乃至３のいずれか１項記載の方法。
5. 変換動作はディスクリートな余弦変換とそれに後続する微分カッドツリー変換を行う請求項１乃至４のいずれか１項記載の方法。
6. 生成する動作は、
   画素データの前記ブロックの画素値の分散を決定し、
   前記分散をしきい値と比較し、
   比較動作の結果に基づいて前記ブロックを細分割する決定を行い、
   前記決定が前記ブロックを細分割することであるならば、予め定められた基準が満たされるまで、分散の決定、比較、および各サブブロックに対して細分割する決定の動作を反復し、
   ブロックサイズ割当として、さらに細分割されない各ブロックまたはサブブロックを指示する動作をさらに含んでいる請求項１乃至５のいずれか１項記載の方法。
7. 細分割する決定を行うステップは、分散がしきい値よりも大きい場合には、ブロックの細分割を要求する請求項６記載の方法。
8. しきい値は、予め決定されているか、評価されるブロックまたはサブブロックの画素値の平均の関数であるか、および細分割の各レベルに対して変化するかのうちの少なくとも一つである請求項７記載の方法。
9. 分散の決定、比較、および細分割する決定のステップがもはや反復されないように予め定められた基準が画素データの予め選択された最小ブロックサイズに基づいている請求項６または７乃至８のいずれか１項記載の方法。
10. スケール動作は、送信を行うためにデータ流を直列化されたデータ流にコード化する動作をさらに含んでいる請求項１乃至９のいずれか１項記載の方法。
11. 生成動作はデジタルイメージの知覚特性に基づいている請求項１乃至１０のいずれか１項記載の方法。
12. 画素データを圧縮する品質ベースのイメージ圧縮システムにおいて、
    画素のブロックを画素データのサブブロックに分割するブロックサイズ割当手段と、
    画素データのサブブロックを対応する周波数ドメイン表示に変換する変換手段と、
    フレーム当りのブロックサイズ割当の数およびサイズに基づいてフレーム単位に周波数ドメイン表示をデータ流にスケールするスケール手段とを具備し、スケール手段はイメージの視覚的品質に相関する品質計量値に基づいており、
    前記変換手段は、ディスクリートな余弦変換を行う、システム。
13. スケール手段は、画素データの前記サブブロックへの周波数加重されたマスク手段をさらに具備し、それによって周波数加重されたマスクは人間の視覚系の感度がより高いイメージ部分に対してはエンファシスを与え、人間の視覚系の感度がより低いイメージ部分へは少ないエンファシスを与える請求項１２記載のシステム。
14. イメージの品質は、信号対雑音比を使用して測定される請求項１２または１３記載のシステム。
15. 変換手段はディスクリートな余弦変換およびそれに後続する微分カッドツリー変換を行う請求項１２乃至１４のいずれか１項記載のシステム。
16. ブロックサイズ割当手段は、画素データのブロックに対する画素値の分散を決定し、分散をしきい値と比較し、比較の結果に基づいてブロックを細分割するか否かの決定を行うように構成され、前記決定が前記ブロックを細分割することであるならば、予め定められた基準が満たされるまで、分散の決定、しきい値との比較、細分割されたブロックのそれぞれに対する細分割を行うか否かの決定を反復し、ブロックサイズ割当として、さらに細分割されない各ブロックまたはサブブロックを指示する請求項１２乃至１５のいずれか１項記載のシステム。
17. 細分割の決定は分散がしきい値よりも大きい場合には、ブロックが細分割されることを要求する請求項１６記載のシステム。
18. しきい値は、予め定められているか、評価されるブロックまたはサブブロックの画素値の平均の関数であるか、および細分割の各レベルに対して変化するかのうちの少なくとも一つである請求項１７記載のシステム。
19. もはや細分割しないように予め定められた基準は、画素データの予め選択された最小ブロックサイズに基づいている請求項１６乃至１８のいずれか１項記載のシステム。
20. スケール手段は、送信を行うためにデータ流を直列化されたデータ流にコード化するコーダをさらに具備している請求項１２乃至１９のいずれか１項記載のシステム。
21. スケール手段はイメージの知覚特性に基づいている請求項１２乃至２０のいずれか１項記載のシステム。

Images