JP5301097B2 - ビデオ・コード変換のための変換ドメイン・サブ−サンプリング - Google Patents

Description

本特許出願は、米国特許仮出願第６０／５００，７７０号、２００３年９月４日出願、に優先権を主張し、本出願の譲受人に譲渡され、特に本明細書中に引用文献として取り込まれている。

本発明は、画像データを処理することに係り、より具体的には、所望の解像度の水準及び所望の品質の水準に基づいてデータを抽出した後で変換ドメイン中で画像データを処理する方法に関する。

一般的に、ディジタル情報は、事前に選択されたフォーマット又はエンコーダによる処理を使用して圧縮される。しかしながら、高品位テレビ（High Definition Television）（ＨＤＴＶ）、ディジタル多目的ディスク又はディジタル・ビデオ・ディスク（Digital Versatile Disc or Digital Video Disc）（ＤＶＤ）、高度テレビ・システム委員会（Advanced Television System Committee）（ＡＴＳＣ）、ディジタル・ビデオ放送（Digital Video Broadcast）（ＤＶＢ）、ディジタル衛星システム（Digital Satellite System）（ＤＳＳ）のような従来のディジタル消費者フォーマットは、種々の所望の解像度の水準、フレーム・レート及び／又はビット・レート、及び所望の品質の水準で動作する。同様に、非標準解像度は、移動装置によって使用されることができる。そこでは、解像度は、ユーザが規定する解像度のスクリーン・サイズに基づく。したがって、画像に関する複数の所望の解像度の水準及び所望の品質の水準に対する要求を満たすために、各種の技術が開発されなければならない。

それゆえ、品質を損なうことなくビデオの複数の等級（description）を発生することが可能な、より多目的なシステム、単純なシステム及び／又は効率的なシステムに対する必要性がある。
米国特許第５，０２１，８９１号明細書 米国特許第５，１０７，３４５号明細書 米国特許第５，４５２，１０４号明細書

［サマリー］
それゆえに、本明細書で開示された実施形態は、所望の解像度の水準及び所望の品質の水準に基づいてエンコードされたデータを抽出し、変換ドメイン中で抽出されたデータをサブ−サンプリングする電子装置のための方法を提供することによって上に述べられた必要性を扱い、それによって、品質を損なうことなくより大きな順応性を可能にする。

１つの実施形態では、サーバ若しくはワイアレス通信システム又は有線通信システムにおいて動作可能な基地送信機のような装置は、ビット・ストリームを受信し、１つ又はそれより多くの基準に基づいてビット・ストリームからデータを抽出し、そして抽出されたデータをサブ−サンプリングする（例えば、フィルタリングする及び削減する（decimating））方法を含む。サーバは、今後の送信のためにデータを記憶する若しくは移動端末又は固定端末のような１個又はそれより多くの接続された装置にデータを送信することのいずれかをできる。

１つの実施形態では、ワイアレス通信システム又は有線通信システムにおいて動作可能な移動端末又は固定端末のような装置は、ビット・ストリームを受信し、１つ又はそれより多くの基準に基づいてビット・ストリームからデータを抽出し、そして抽出されたデータをサブ−サンプリングする（例えば、フィルタリングする及び削減する）方法を含む。装置は、サブ−サンプリングされたデータの処理を終わらせ、ディスプレイ上に画像を表示することができる。

本発明の全ての利点及び範囲のより完全な評価は、添付された図面、明細書、及び特許請求の範囲から取得されることが可能である。

［発明の詳細な説明］
一般に、下記に説明される複数の実施形態は、抽出され、そして変換ドメイン中でサブサンプリングされようとしている圧縮されたビット・ストリームを与える。下記の記載において、具体的な詳細が、複数の実施形態の完全な理解を提供するために与えられる。しかしながら、複数の実施形態が、これらの特定の詳細なしで実行され得ることは、当業者によって理解される。例えば、回路は、不必要な詳細で実施形態を不明確にしないためにブロック図で示されることがある。別の事例において、周知の回路、構造及び技術が、実施形態を不明確にしないために詳細に示されることがある。

複数の実施形態は、フローチャート、フロー図、構造図、又はブロック図として図示される処理として記載されることができる。フローチャートが連続した処理として動作を記載することができるけれども、動作の多くは、並行して又は同時に実行されることが可能である。その上、動作の順序は、並べ替えられることができる。処理は、その動作が完了した時に終了される。処理は、方法、機能、手順、サブルーチン、サブプログラム、等に対応することができる。処理が機能に対応する場合、その終了は、呼び出し機能又は主機能に機能が戻ることに対応する。

さらに、本明細書中に開示されたように、用語“ビデオ（video）”は、マルチメディアの映像部分を呼び、用語“画像（image）”と互換的に使用される。記憶媒体は、データを記憶するための１個又はそれより多くの装置を表すことができ、読み出し専用メモリ（read only memory）（ＲＯＭ）、ランダム・アクセス・メモリ（random access memory）（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュ・メモリ装置及び／又は情報を記憶するための別の機械読み取り可能な媒体を含む。用語“機械読み取り可能な媒体（machine readable medium）”は、移動記憶装置又は固定式記憶装置、光記憶装置、ワイアレス・チャネル及び（複数の）命令及び／又はデータを記憶すること、を包含すること、又は搬送することが可能な各種のその他の媒体、を含むが、これらに限定されることはない。

入力ビデオ又は画像データ・ストリームは、一般的に複数の画像フレームから構成される。１つの画像フレームは、一般に複数のスライスに分割されることができ、１つのスライスは、複数のデータ・ブロックに分割されることができ、そして１つのデータ・ブロックは、画像の最小単位である複数の画素に分割されることができる。各画像フレームは、整数の数のスライスを備え、各画像スライスは、１６の連続したスキャン・ラインのセットに関する画像情報を表す。そのような場合には、各データ・ブロックは、画像のフレーム全体にわたる１６×１６画素ブロックに対応する。しかも、１つのフレームは、偶数スライスと奇数スライスに分割されることができ、これにより偶数ハーフ・フレーム及び奇数ハーフ・フレームを形成する。フレームは、同様に、本発明から逸脱しないで各種の事前に決められた大きさに分割されることができる。１つの実施形態では、ハーフ・フレームは、デコーダによって処理される圧縮されたデータ情報の基本的なパケットである。さらに、画像画素は、一般的に、赤、緑、及び青（ＲＧＢ）色成分システムで表されることができる。しかしながら、人間の目が輝度の変化により敏感であり、クロミナンス（chrominance）の変化に鈍感であるため、ＹＣｂＣｒ色空間が、画像画素を表すためにビデオ圧縮において一般的に使用される。ＹＣｂＣｒ色空間は、ＲＧＢ成分の線形変換であり、ここで、Ｙは、クロミナンス成分であり、そしてＣｂ及びＣｒは、色成分である。フレームが偶数／奇数フレームに分割されるならば、画像フレームは、Ｙ，Ｃｂ及びＣｒに対応する３個の偶数ハーフ・フレームと３個の奇数ハーフ・フレームがあるはずである。

上記の説明では、１つのスライスは、１６の連続したスキャン・ライン以外の連続したスキャン・ラインのセットを表すことが可能である。しかも、同数の色成分又は異なる数の色成分を有する異なる色空間が、本発明にしたがって画像画素を表すために使用されることができる。

その上、圧縮技術は、一般的に、各データ・ブロックのサイズが固定である、離散型余弦変換（Discrete Cosine Transform）（ＤＣＴ）に基づいている。あるいは、整数変換のような任意の可逆直交変換が、使用されることができる。画像信号の品質を維持しつつ著しい圧縮を提供することが可能な１つのダイナミック画像圧縮技術は、エンコードされたＤＣＴ係数データの適応できる大きさに分割されたブロック及びサブブロックを利用する。この技術は、以降、適応ブロック・サイズ離散型余弦変換（adaptive block size discrete cosine transform）（ＡＢＳＤＣＴ）と呼ばれる。この適応ブロック・サイズは、画像データ内部の情報のために存在する冗長性を活用するために選択される。本技術は、米国特許第５，０２１，８９１号、名称“適応ブロック・サイズ画像圧縮方法及びシステム（Adaptive Block Size Image Compression Method And System）”に開示されている。ＤＣＴ技術は、同様に、米国特許第５，１０７，３４５号、名称“適応ブロック・サイズ画像圧縮方法及びシステム（Adaptive Block Size Image Compression Method And System）”に開示され、そして、離散型カドツリー変換（Discrete Quadtree Transform）技術と組み合わせてのＡＢＳＤＣＴ技術の使用は、米国特許第５，４５２，１０４号、名称“適応ブロック・サイズ画像圧縮方法及びシステム（Adaptive Block Size Image Compression Method And System）”に説明されている。これらの特許に開示された複数のシステムは、フレーム内エンコーディングを利用する。そこでは、画像シーケンスの各フレームは、別のいずれかのフレームの内容に関係なしにエンコードされる。

図１Ａ及び図１Ｂは、適応ブロック・サイズ離散型余弦変換のために適応できる大きさに分割されたブロック及びサブブロックを示す。一般に、輝度成分及びクロミナンス成分の各々は、ブロック・インターリーバ（図示されず）に渡される。１６×１６ブロックが、ブロック・インターリーバに与えられる。ブロック・インターリーバは、ＤＣＴ解析のためにデータのブロック及び合成サブブロックを形成するために、１６×１６ブロックの内部の画像サンプルを順番に並べる。図１Ａは、一例を示し、そこでは、１個の１６×１６ＤＣＴは、１次配列（ordering）に適用され、４個の８×８ＤＣＴは、２次配列に適用され、１６個の４×４ＤＣＴは、３次配列に適用され、６４個の２×２ＤＣＴは、４次配列に適用される。ＤＣＴ操作は、画像ソース中に内在する空間冗長性を削減する。ＤＣＴが実行された後で、画像信号エネルギーの大部分は、数個のＤＣＴ係数に集中される傾向がある。

１６×１６ブロック及び各サブブロックに対して、変換された係数が解析されて、ブロック又はサブブロックをエンコードするために必要なビット数を決定する。それから、エンコードするために最小のビット数を必要とするブロック又はサブブロックの組み合わせが、画像セグメントを表すために選択される。図１Ｂは、一例を示し、そこでは、２個の８×８サブブロック、６個の４×４サブブロック、及び８個の２×２サブブロックが、画像セグメントを表すために選択される。選択されたブロック又はサブブロックの組み合わせは、それから順番に的確に配列される。ＤＣＴ係数の値は、その後、量子化及び可変長コーディングのようなさらなる処理を受けることがあるが、これらに限定されない。

説明の目的で、圧縮されたデータの複数の等級（description）又はレイヤを発生するための変換に基づいた圧縮システムは、ＡＢＳＤＣＴアルゴリズムを参照して説明される。しかしながら、本発明がＡＢＳＤＣＴの使用に限定されないことは、当業者に明らかであるはずである。例えば、ＤＣＴ，ハダマード変換（Hadamrd transform）および整数変換（Integer transform）のような、その他の数学的変換が、同様に使用されることができる。

一般に、ＡＢＳＤＣＴに基づいた圧縮は、最大１９２０×１０８０画像までのエンコーディングをサポートする。しかしながら、ＡＢＳＤＣＴアルゴリズムは、本質的にスケーリング可能であり、拡張されたビット幅を有するより高いビット深さを取り扱うことができる。しかも、これはブロックに基づいた圧縮であるので、４Ｋ×４Ｋを含む任意のサイズの画像を圧縮することも可能である。ＡＢＳＤＣＴのこの順応性が与えられると、システムは、視覚的に無損失の画像品質のために、例えば、４Ｋ×２Ｋ画像を圧縮する。ブロック方式のＤＣＴ係数の結果としてのビット・ストリームが、完全にデコードされる場合に、ＤＣ再生シーケンスを生成するはずである。このビット・ストリームは、より低解像度のシーケンスがクロッピングの簡単な操作を使用して抽出されることが可能なように、グループ化され、配列される。

より詳しくは、入力データは、完全なビット・ストリーム又は“マスタ・インベントリ（Master Inventory）”を生成するために一旦エンコードされることができる。マスタ・インベントリの内部は、複数の水準のインベントリがある。ここで、高水準インベントリは、１つ又はそれより多くのより低い水準のインベントリを具備できる。一般的に、最高水準のインベントリは、マスタ・インベントリであるはずである。同様に、各インベントリは、異なる目標のアプリケーションに対して要求を満たすことができる圧縮されたビット・ストリームを具備する。

開示された実施形態は、ディジタル画像表示の固有の特徴及び画素と変換ドメインにおけるそれらの関係を導き出す。これらの表示に適用された標準複数レートＤＳＰ技術とともに基本変換原理は、変換ドメインにおける画像データの必要とされる再サンプリングを提供する。費用のかかる理論的なアプローチに対してこのアプローチの複雑性における必要とされる削減は、本発明の第１の利点である。その上、本発明は、量子化行列に直接拡張されることが可能であり、再サンプリングの後で逆量子化操作を可能にする。これは、再サンプリングの前にデコードし、逆量子化する必要性を排除し、それゆえ、デコーダ／トランスコーダの複雑性を削減する。一般に、２つの態様が、含まれる：１）可変ブロック・サイズ変換行列の再サンプリング、及び２）標準逆変換操作を使用可能にするように再サンプリングの後の逆量子化、である。

より詳しくは、再サンプリングは、Ｎ点のシーケンスを再サンプリングすることを含み、任意の整数係数又は分数係数、（Ｉ／Ｄ）−有理数、によりサンプリング・レートを任意の倍数だけ増加させる（補間する）又は任意の倍数だけ減少させる（削減する（decimate））。ここで、Ｉ及びＤは、互いに素数であり、Ｉ倍だけ補間してＮＩ点のシーケンスの変換体を発生させ、その後、Ｄにより削減して（ＮＩ／Ｄ）点のシーケンスを得る。再サンプリングの後の可変ブロック・サイズ逆量子化は、量子化パラメータ及び量子化値の適切な変更を必要とする。上記の（１）において説明した再サンプリング・スキームは、再サンプリングされた量子化行列を発生させるために拡張されることが可能である。画像の再サンプリングにおいて使用されるスケーリング係数は、量子化行列を再サンプリングする際に使用される複数のフィルタを規定する。

変更された表は、エンコーダにおいて算出され、メタデータ（metadata）として送信される、又は（チャネル状態又はネットワーク状態若しくはＱｏＳによって決定される）必要とされるスケーリング係数に対して配信サーバにおいて算出されることが可能である、あるいは、（適切な再量子化のための再スケーリング行列のような）端末装置において規定されるある種のパラメータに基づいてデコーダによって導出されることが可能である。

図２は、画像処理システム２１００中の構成部品のブロック図である。画像処理システムは、１つ又はそれより多くの画像をエンコーディングしてビット・ストリーム２１１６を生成するため、及び少なくとも１つの受信センタ２１１８にビット・ストリーム２１１６を送信するための配信センタ２１０２を具備する。受信センタは、受信されたビット・ストリーム２１１６をデコーディングするため及び画像データを生成するための（電子移動装置又は電子固定装置であることができる）。

配信センタ２１０２は、コンテント・データベース２１０５、送信機２１１４、及びエンコード・プロセッサ２１０４（以降、“エンコーダ”と呼ぶ）を具備し、エンコーダ２１０４は、可変ブロック・コンバータ２１０６、ＤＣＴ論理回路、量子化器、及びビット・ストリーム２１１２を有する。エンコーダは、公知の画像圧縮技術を利用して、送信機２１１４を使用して送信される圧縮されたビット・ストリーム２１１６を発生する。種々の技術が、ビット・ストリーム発生器２１１２によって使用されることができ、受信センタ２１１８における効率的な抽出のために画像データをビット・ストリームに圧縮しそして配列する。下記に説明されるが、図３は、１つのそのようなビット・ストリームの配列を示す。

受信センタ２１１８は、トランシーバ２１２２、表示論理回路２１３２、メモリ２１２４、デコード・プロセッサ２１２０（以降、“デコーダ”と呼ばれる）を具備し、デコーダ２１２０は、ビット・ストリーム抽出器２１２５、サブ−サンプリング論理回路２１２６、及び逆量子化器／変換器２１２８を有する。一般に、圧縮されたビット・ストリーム２１１６は、トランシーバ２１２２で受信される。製作の選択に依存して、受信されたビット・ストリームは、後で処理するためにメモリ２１２４中にアーカイブされることができる。

１つの実施形態では、受信センタ２１１８は、ワイアレス通信システム（例えば、ＣＤＭＡ，ＯＦＤＭＡ，ＧＳＭ，ＷＣＤＭＡ，ＭＰＥＧシステム、等ワイアレス・システム）において動作可能な移動ディジタル端末のような、移動電子装置を表す。この実施形態では、ビット・ストリームは、一時的に記憶されることができ、基地局（図示されず）を介してその他の移動装置に再送信されることができる。

他の１つの実施形態では、受信センタ２１１８は、サーバとして設定された汎用用途コンピュータ又はラップトップのような電子装置を表す。この実施形態では、ビット・ストリームは、一時的に記憶されて、サーバにワイアレスで、又は非ワイアレスで接続されたその他の移動装置に送信される。

図３は、本発明の１実施形態にしたがって構成されたビット・ストリームの配列を図示する。ビット・ストリームは、エンコーダ２１０４によって形成され、配列される。図３は、サムネイル・インベントリを含み、これは、複数のブロックの複数の手段によって形成されるスケーリングされた（１／２５６）画像を圧縮することによって発生されることができる。このレイヤに対する目標ビット・レートは、毎秒１１２×６４×２４フレーム（frames per second）（ｆｐｓ）画像シーケンスに対して２００Ｋｂｐｓである。圧縮されたデータの複数のレイヤ（例えば、０−７）は、目的のアプリケーションの要求を満足するように発生される。一般に、レイヤは、品質水準（例えば、０−７）に関係付けられる。その後、必要なレイヤは、複数のレイヤから抽出される又は切り取られて、目的のアプリケーションに対する圧縮されたデータの特定の等級（description）を与える。代わりの実施形態では、実現可能な圧縮は、実現可能なインベントリを発生するために実行されることができる。目的のアプリケーションに対する特定のインベントリを発生させるために、ビット・ストリームは、実現可能な品質再生シーケンスにデコードされる。

図４は、本発明の１実施形態にしたがった受信センタ２１１８に関するタスクのフローチャート４３００を図示する。ブロック４３０２において、エンコードされ階層化にされたビット・ストリームが受信される。ブロック４３０４において、ビット・ストリームは、記憶される。ブロック４３０８において、所望の解像度が、１つ又はそれより多くの基準に基づいて決定される。受信センタの製作又はシステムのオペレータに応じて、複数の方法が、所望の解像度を決定するために使用されることができる。１つの実施形態では、受信機は、必要とされる複数の異なる解像度を決定するためのアルゴリズムを使用するサーバであることができる。例えば、ディジタル映画館は、１９２０×１０８０×２４の解像度を必要とし、高品位テレビ（ＨＤＴＶ）は、１９２０×１０８０×２４の解像度を必要とし、標準テレビ（ＳＤＴＶ）は、７２０×４８６×２４の解像度を必要とし、ディジタル衛星システム（ＤＳＳ）は、３５２×２４０×２４の解像度を必要とし、サムネイルは、１１２×６４×２４の解像度を必要として、異なる解像度及びビット・レートの圧縮されたビット・ストリームで動作する。その他のアプリケーションは、ディジタル多目的ディスク又はディジタル・ビデオ・ディスク（ＤＶＤ）、高度テレビ・システム委員会（ＡＴＳＣ）、ディジタル・ビデオ放送（ＤＶＢ）を含むが、これらに限定されない。他の１つの実施形態では、受信センタは、ディスプレイ・サイズに基づいた固定解像度を使用する移動端末、若しくは所望のディスプレイ・サイズは又はスクリーンの限定されたサイズに基づいて調節可能な解像度を使用する移動端末であることができる。所望の解像度を決定する際に、下記に説明されるように、所望の品質水準が、同様に使用されることがある。

ブロック４３１２において、所望の品質水準が、決定される。品質は、利用可能なリソース、所望の解像度、システム・リソースのような、１つ又はそれより多くの基準に基づくアルゴリズムを使用して決定される、又は事前に決定される。一般に、品質水準が低いほど、必要とされる要求ビットが少ない。例えば、高品質水準の高解像度は、ビット・ストリームから非常に多くのビットを抽出するように要求する。対照的に、より低い品質水準のより低い解像度は、ビット・ストリームから少ない数のビットを抽出するように要求する。異なる基準及びしきい値が、特定の時間において利用可能な品質の水準を決定するために使用されることができる。例えば、利用可能な送信バンド幅基準は、通信のために現在利用可能なバンド幅に基づくことができる。その他の基準は、システム・トラフィック、システムに接続されたユーザの数、又は受信センタに接続された装置の数に基づくことができる。

所望の解像度及び所望の品質を決定すると、ブロック４３１６において、適切なデータが、ビット・ストリーム２１１６から抽出されて、決定された解像度及び品質に基づいて１個又はそれより多くの抽出されたストリームを生成する。例えば、抽出されたストリームは、品質水準４のＤＳＳ解像度に基づくことができる。必要とされるＤＣ及びＡＣ係数は、その後、ＤＳＳ解像度及びレイヤ４までの関係する全てのビットに基づいたビット・ストリームから抽出される。必要なデータを抽出すると、複数の画素ブロックは、抽出されたデータを使用して再構成される。

ブロック４３２０において、ブロック抽出されたストリームは、変換ドメイン中でサブ−サンプリングされる。一般に、抽出されたストリームは、オリジナルの解像度である画像のブロック表示になる。サブ−サンプリング法を使用して、下記に説明されるように、変換されたドメインにおいて、画像は、所望の解像度を得るためにフィルタされ削減される。下記に説明される方法にしたがって、二進（dyadic）スケーリング又は非二進（non- dyadic）スケーリングは、エイリアシング（aliasing）を回避するように削減のために使用されることができる。その後で、調節された画像データは、逆量子化及び逆ＤＣＴのための公知の技術を使用して処理される。

ブロック４３２８及び４３３２において、データは、逆量子化及び逆ＤＣＴを介して処理されて、それぞれ所望の画像を生成する。ブロック４３３６において、所望の画像は、トランシーバ２１２２を使用して別の接続された装置に送信されることができる及び／又は表示論理回路２１３２を使用してディスプレイ上に表示されることができる。

図５は、本発明の１実施形態にしたがって変換されたドメイン中でサブ−サンプリングするために実行されたタスクの高レベル・フローチャート５４００を図示する。ブロック５４０２において、オリジナルの解像度で画像を表示する抽出されたデータは、フィルタされ、そしてブロック５４０４において、フィルタされたデータは、削減される。ＤＣＴ又は変換ドメイン解像度スケーリングは、周波数サブ−サンプリングを使用して実行される。画像のサブ−サンプリングは、画素ドメインにおいて又は周波数ドメインにおいて実行されることが可能である。サブ−サンプリングがフィルタリングすること及び削減の処理であるので、有理数（Ｉ／Ｄ）である任意の係数によりＮ点のＩ−Ｄシーケンスのサンプリング・レートを変更することに一般化されることが可能である。ここで、Ｉ及びＤは、相互に素数である。基本的に、Ｎ点のシーケンスは、係数Ｉによって補間されて、ＮＩ点シーケンスのＤＣＴを発生すし、そしてそれからＤにより削減されて、（ＮＩ／Ｄ）点シーケンスのＤＣＴを得る。これは、ＮがＤの倍数である（Ｎ＝ＭＤ）であることを必要とする。

オリジナルのシーケンスがｘ（ｎ）（ｎ＝０．．．ＭＤ−１）であるとすると、そのＤＣＴは、次式である：

これは、（概念的に）Ｉ個のＸのコピーを連結することにより、そして適切な補間フィルタＨ（ｋ）のＩＭＤ点ＤＣＴを掛け算することにより係数Ｉによって補間される：

結果は、それからＤにより削減されて、結果のＩＭ（＝ＮＩ／Ｄ）点ＤＣＴを発生する：

これは、この動作を実行するルーチンが（ｋ＝０．．．ＩＭ−１に対して）評価する表式である：

この操作の２Ｄ等価物は、周波数ドメイン・サブ−サンプリングを実現するために使用される。式１は、実施目的のために簡単な加算にさらに単純化されることが可能である。

フィルタＨ（ｋ）は、変形されたレメツ（Remez）低域フィルタである。透過帯域対停止帯域比１０：１を有するパークス−マクレラン（Parks-MacClellan）最適等リップルＦＩＲ低域フィルタが、使用された。これは、エイリアシングを回避するように十分な高周波数コンテントを未だ保持している平滑なロール・オフを提供した。このフィルタは、ＤＣＴ係数に量子化の効果を考慮して変形された。可変ブロック・サイズ量子化は、低次の高周波数成分に重みを再配分する。ブロック分解に関する判断は、コンテントのアクティビティに依存する。もし、フィルタがより早いロール・オフを有するのであれば、これらの限界周波数成分のあるものは、エイリアシングに起因する逆変換の後で、リンギング・アーチファクト（ringing artifact）を生じさせることを減衰させる。

非二進スケーリングに関して、ここではＩ及びＤが必ずしも素数である必要がない、補間されたものは、最も近い整数である

倍である。変換ドメイン係数は、エイリアシングを回避するためにフィルタ長に適合するように水増しされない。

このような汎用フィルタは、画像の歪みを最小にした。最適化は、ＭＭＳＥ技術に基づき、そして、データに依存するしきい値が導き出される。空間ドメイン再サンプリングされた画像を有するＰＳＮＲは、同様に最適化のために使用されるはずである。統計的に導き出されたウィナ・フィルタ（Wiener filter）も使用されることが可能である。

その上、再サンプリングされた変換ドメイン係数に関する逆量子化テーブルは、下記のように導き出されることができる：１）逆量子化行列は、変換ドメイン係数に対してと同様な手順を使用して補間され、そして削減される；２）真のＤＣ量子化値は、再サンプリング・スケーリング係数に等しい係数によりスケーリングされる；３）複数の中間のＤＣは、下位ブロックの再サンプリング・スケーリング係数によりスケーリングされる。

この技術は、スケーリングする前に画素ドメインにデコードする必要性を削除して、より低い解像度又はより高い解像度に直接コード変換する能力を提供する。その上、この技術は、デコーダに全体のテーブル・データでなくスケーリング係数を送ることで充分であり、送信バンド幅を節約する。デコーダは、新しい逆量子化テーブルを再構成することが可能である。別々のテーブルが同一のビット・ストリーム及びオリジナルの量子化テーブルから異なる出力解像度に対して導き出されることが可能であるので、これは、同様にスケーリングする能力に関係するオーバーヘッドも削減する。

複数の例として、方法及び装置は、同様に、携帯電話機、ＰＤＡ、携帯型コンピュータ、及びワイアレス接続システムを有しオーディオ・データ及びビデオ・データを受信するその他の装置のような、移動電子装置において実施されることができる。

本発明は、好ましい実施形態を参照して特別に示され、説明されてきているが、形式及び詳細な点における各種の変更が、特許請求の範囲に規定されたような本発明の範囲から逸脱しないで、本発明の中で行われ得ることは、当業者により理解される。すなわち、本発明に対する別の変更及び変形は、上記の明細書及び教示から当業者に明白である。それゆえ、本発明のある種の実施形態だけが、本明細書中で具体的に説明されてきているが、数多くの変更が、本発明の精神及び範囲から逸脱することなく本発明に行われ得ることは、明白である。

図１Ａは、適応ブロック・サイズ離散型余弦変換のために適応できる大きさにされたブロック及びサブ−ブロックを示す。 図１Ｂは、適応ブロック・サイズ離散型余弦変換のために適応できる大きさにされたブロック及びサブ−ブロックを示す。 図２は、本発明の１実施形態にしたがった画像処理システムの構成要素のブロック図である。 図３は、本発明の１実施形態にしたがったビット・ストリームのサンプル体系を図示する。 図４は、本発明の１実施形態にしたがった受信センタに関するタスクのフローチャートを図示する。 図５は、本発明の１実施形態にしたがった変換ドメイン中でサブ−サンプリングするために実行されたタスクの高レベル・フローチャートを図示する。

符号の説明

２１００…画像処理システム，２１０４…エンコード・プロセッサ，２１１６…ビット・ストリーム，２１２０…デコーダ，４３００…受信センタのタスクのフローチャート，５４００…サブ−サンプリングのためのタスクの高レベルフローチャート。

Claims (73)

1. 画像データを処理するための方法であって、該方法は下記を具備する：
   受信手段が、第１のスキームにしたがって階層化された、変換係数を有するビット・ストリームを受信すること；
   抽出手段が、所望の解像度水準に基づいて前記ビット・ストリームから前記所望の解像度水準に対応する少なくとも１つのレイヤの変換係数を抽出すること、または前記所望の解像度水準に基づいて決定される所望の画像品質水準に基づいて前記ビット・ストリームから前記所望の画像品質水準に対応する少なくとも１つのレイヤの変換係数を抽出すること；及び
   サブ−サンプリング手段が、前記所望の解像度水準を得るために前記ビット・ストリームの前記抽出された変換係数をサブ−サンプリングすること、
   ここにおいて、前記サブ−サンプリングすることは、第１のフィルタを適用することによって、前記ビット・ストリームの前記抽出された部分を前記所望解像度の水準に削減することを具備する。
2. 請求項１の方法、ここにおいて、前記抽出することは、複数の解像度水準から前記所望の解像度水準を選択することをさらに具備する。
3. 請求項２の方法、ここにおいて、前記選択することは、前記所望の画像品質水準に基づいて利用可能な最も高い解像度水準を決定することをさらに具備する。
4. 請求項２の方法、ここにおいて、前記選択することは、ＨＤＴＶ解像度、ＤＶＤ解像度、ＡＴＳＣ解像度、ＤＶＢ解像度、ＤＳＳ解像度、及びユーザが規定する解像度からなるグループから前記所望の解像度水準を選択することを具備する。
5. 請求項１の方法、ここにおいて、前記抽出することは、複数の利用可能な画像品質水準から前記所望の画像品質水準を選択することをさらに具備する。
6. 請求項５の方法、ここにおいて、前記選択することは、前記選択された画像品質水準に基づいて利用可能な最も高い解像度の水準を決定することをさらに具備する。
7. 請求項１の方法、ここにおいて、前記抽出することは、前記所望の解像度水準に基づいて利用可能な最も高い画像品質水準を決定することを具備する。
8. 請求項１の方法、ここにおいて、前記抽出することは、前記所望の解像度水準を決定することをさらに具備する。
9. 請求項８の方法、ここにおいて、前記決定することは、複数の利用可能な解像度水準から前記所望の解像度水準を選択することを具備する。
10. 請求項８の方法、ここにおいて、前記決定することは、複数の利用可能な画像品質水準から前記所望の画像品質水準を選択することを具備する。
11. 請求項８の方法、ここにおいて、前記決定することは、前記所望の画像品質水準に基づいて利用可能な最も高い解像度水準を計算することを具備する。
12. 請求項８の方法、ここにおいて、前記決定することは、ＨＤＴＶ解像度、ＤＶＤ解像度、ＡＴＳＣ解像度、ＤＶＢ解像度、ＤＳＳ解像度、及びユーザが規定する解像度からなるグループから前記所望の解像度水準を選択することを具備する。
13. 請求項１の方法、ここにおいて、前記抽出することは、０から７の範囲を有する画像品質水準から前記所望の画像品質水準を選択することをさらに具備する。
14. 請求項１の方法、ここにおいて、前記受信することは、事前に決められたスキームにしたがって階層化された前記ビット・ストリームを受信することを具備する。
15. 請求項１の方法、ここにおいて、前記受信することは、階層化されたスキームにしたがって構成された前記ビット・ストリームを受信することを具備する。
16. 請求項１に請求された方法であって、決定手段が、前記ビット・ストリームから前記所望の画像品質水準に対応する少なくとも１つのレイヤの変換係数を前記抽出することに先立って前記所望の解像度水準を決定することをさらに具備する。
17. 請求項１に請求された方法であって、今後の送信のために前記抽出された変換係数を記憶することをさらに具備する。
18. 画像データを処理するための装置であって、装置は下記を具備する：
    第１のスキームにしたがって階層化された、変換係数を有するビット・ストリームを受信するための手段；
    所望の解像度水準に基づいて前記ビット・ストリームから前記所望の解像度水準に対応する少なくとも１つのレイヤの変換係数を抽出する、または前記所望の解像度水準に基づいて決定される所望の画像品質水準に基づいて前記ビット・ストリームから前記所望の画像品質水準に対応する少なくとも１つのレイヤの変換係数を抽出するための手段；及び
    前記所望の解像度水準を得るために前記ビット・ストリームの前記抽出された変換係数をサブ−サンプリングするための手段、
    ここにおいて、前記サブ−サンプリングするための手段は、第１のフィルタを適用するための手段と、前記ビット・ストリームの前記抽出された変換係数を前記所望の解像度水準に削減するための手段とを具備する。
19. 請求項１８の装置、ここにおいて、前記抽出するための手段は、複数の解像度水準から前記所望の解像度水準を選択するための手段をさらに具備する。
20. 請求項１９の装置、ここにおいて、前記選択するための手段は、前記所望の画像品質の水準に基づいて利用可能な最も高い解像度の水準を決定するための手段をさらに具備する。
21. 請求項１９の装置、ここにおいて、前記選択するための手段は、ＨＤＴＶ解像度、ＤＶＤ解像度、ＡＴＳＣ解像度、ＤＶＢ解像度、ＤＳＳ解像度、及びユーザが規定する解像度からなるグループから前記所望の解像度水準を選択するための手段を具備する。
22. 請求項１８の装置、ここにおいて、前記抽出するための手段は、複数の利用可能な画像品質水準から前記所望の画像品質水準を選択するための手段をさらに具備する。
23. 請求項２２の装置、ここにおいて、前記選択するための手段は、前記選択された画像品質水準に基づいて利用可能な最も高い解像度の水準を決定するための手段をさらに具備する。
24. 請求項１８の装置、ここにおいて、前記抽出するための手段は、前記所望の解像度水準に基づいて利用可能な最も高い画像品質水準を決定するための手段を具備する。
25. 請求項１８の装置、ここにおいて、前記抽出するための手段は、前記所望の解像度水準を決定するための手段をさらに具備する。
26. 請求項２５の装置、ここにおいて、前記決定するための手段は、複数の利用可能な解像度水準から前記所望の解像度水準を選択することを具備する。
27. 請求項２５の装置、ここにおいて、前記決定するための手段は、複数の利用可能な画像品質水準から前記所望の画像品質水準を選択することを具備する。
28. 請求項２５の装置、ここにおいて、前記決定するための手段は、前記所望の画像品質水準に基づいて利用可能な最も高い解像度水準を計算するための手段を具備する。
29. 請求項２５の装置、ここにおいて、前記決定するための手段は、ＨＤＴＶ解像度、ＤＶＤ解像度、ＡＴＳＣ解像度、ＤＶＢ解像度、ＤＳＳ解像度、及びユーザが規定する解像度からなるグループから前記所望の解像度水準を選択するための手段を具備する。
30. 請求項１８の装置、ここにおいて、前記抽出するための手段は、０から７の範囲を有する画像品質水準から前記所望の画像品質水準を選択するための手段をさらに具備する。
31. 請求項１８の装置、ここにおいて、前記受信するための手段は、事前に決められたスキームにしたがって階層化された前記ビット・ストリームを受信するための手段を具備する。
32. 請求項１８の装置、ここにおいて、前記受信するための手段は、階層化されたスキームにしたがって構成された前記ビット・ストリームを受信するための手段を具備する。
33. 請求項１８に請求された装置であって、前記変換係数を抽出するための手段に先立って前記所望の解像度水準を決定するための手段をさらに具備する。
34. 請求項１８に請求された装置であって、今後の送信のために前記抽出された変換係数を記憶するための手段をさらに具備する。
35. 実行した場合に、画像データを処理するコンピュータ読み取り可能な記憶媒体であって、該コンピュータ読み取り可能な記憶媒体は下記を具備する；
    コンピュータが、第１のスキームにしたがって階層化された、変換係数を有するビット・ストリームを受信するための命令；
    コンピュータが、所望の解像度水準に基づいて前記ビット・ストリームから前記所望の解像度水準に対応する少なくとも１つのレイヤの変換係数を抽出する、または前記所望の解像度水準に基づいて決定される所望の画像品質水準に基づいて前記ビット・ストリームから前記所望の画像品質水準に対応する少なくとも１つのレイヤの変換係数を抽出するための命令；及び
    コンピュータが、前記所望の解像度水準を得るために前記ビット・ストリームの前記抽出された変換係数をサブ−サンプリングするための命令、
    ここにおいて、前記サブ−サンプリングするための命令は、第１のフィルタを適用することによって、ビット・ストリームの前記抽出された部分を前記所望の解像度水準に削減するための命令を具備する。
36. 請求項３５のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記抽出するための命令は、複数の解像度水準から前記所望の解像度水準を選択するための命令をさらに具備する。
37. 請求項３６のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記選択するための命令は、前記所望の品質の水準に基づいて利用可能な最も高い解像度の水準を決定するための命令をさらに具備する。
38. 請求項３６のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記選択するための命令は、ＨＤＴＶ解像度、ＤＶＤ解像度、ＡＴＳＣ解像度、ＤＶＢ解像度、ＤＳＳ解像度、及びユーザが規定する解像度からなるグループから前記所望の解像度の水準を選択するための命令を具備する。
39. 請求項３５のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記抽出するための命令は、複数の利用可能な画像品質水準から前記所望の画像品質水準を選択するための命令をさらに具備する。
40. 請求項３９のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記選択するための命令は、前記選択された画像品質水準に基づいて利用可能な最も高い解像度の水準を決定するための命令をさらに具備する。
41. 請求項３５のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記抽出するための命令は、前記所望の解像度水準に基づいて利用可能な最も高い画像品質の水準を決定するための命令を具備する。
42. 請求項３５のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記抽出するための命令は、前記所望の解像度水準を決定するための命令をさらに具備する。
43. 請求項４２のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記決定するための命令は、複数の利用可能な解像度水準から前記所望の解像度水準を選択することを具備する。
44. 請求項４２のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記決定するための命令は、複数の利用可能な画像品質水準から前記所望の画像品質水準を選択することを具備する。
45. 請求項４２のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記決定するための命令は、前記所望の画像品質水準に基づいて利用可能な最も高い解像度水準を計算するための命令を具備する。
46. 請求項４２のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記決定するための命令は、ＨＤＴＶ解像度、ＤＶＤ解像度、ＡＴＳＣ解像度、ＤＶＢ解像度、ＤＳＳ解像度、及びユーザが規定する解像度からなるグループから前記所望の解像度水準を選択するための命令を具備する。
47. 請求項３５のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記抽出するための命令は、０から７の範囲を有する前記所望の画像品質水準を選択するための命令をさらに具備する。
48. 請求項３５のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記受信するための命令は、事前に決められたスキームにしたがって階層化された前記ビット・ストリームを受信するための命令を具備する。
49. 請求項３５のコンピュータ読み取り可能な記憶媒体、ここにおいて、前記受信するための命令は、階層化されたスキームにしたがって構成された前記ビット・ストリームを受信するための命令を具備する。
50. 請求項３５に請求されたコンピュータ読み取り可能な記憶媒体であって、コンピュータが、前記ビット・ストリームから前記所望の画像品質水準に対応する少なくとも1つのレイヤの変換係数を抽出するための命令に先立って前記所望の解像度水準を決定するための命令をさらに具備する。
51. 請求項３５に請求されたコンピュータ読み取り可能な記憶媒体であって、コンピュータが、今後の送信のために前記抽出された変換係数を記憶するための命令をさらに具備する。
    をさらに具備する。
52. 画像データを処理するための装置であって、装置は下記を具備する：
    プロセッサ、前記プロセッサは、第１のスキームにしたがって階層化された、変換係数を有するビット・ストリームを受信し、前記プロセッサは、さらに所望の解像度水準に基づいて前記ビット・ストリームから前記所望の解像度水準に対応する少なくとも１つのレイヤの変換係数を抽出、または前記所望の解像度水準に基づいて決定される所望の画像品質水準に基づいて前記ビット・ストリームから前記所望の画像品質水準に対応する少なくとも１つのレイヤの変換係数を抽出し、及び前記所望の解像度水準を得るために前記ビット・ストリームの前記抽出された変換係数をサブ−サンプリングする、
    ここにおいて、前記サブ−サンプリングすることは、第１のフィルタを適用することによって、前記ビット・ストリームの前記抽出された部分を前記所望解像度の水準に削減することを具備する。
53. 請求項５２の装置、ここにおいて、前記ビット・ストリームは、事前に決められたスキームにしたがって階層化される。
54. 請求項５２の装置、ここにおいて、前記ビット・ストリームは、階層化されたスキームにしたがって構成される。
55. 請求項５２の装置、ここにおいて、前記所望の解像度水準は、ＨＤＴＶ解像度、ＤＶＤ解像度、ＡＴＳＣ解像度、ＤＶＢ解像度、ＤＳＳ解像度、及びユーザが規定する解像度からなるグループから選択される。
56. 請求項５２の装置、ここにおいて、前記所望の解像度水準は、複数の解像度水準から選択された解像度水準を具備する。
57. 請求項５６の装置、ここにおいて、前記複数の解像度水準の少なくとも１つの解像度水準は、前記所望の画像品質水準に基づく。
58. 請求項５２の装置、ここにおいて、前記所望の画像品質水準は、複数の画像品質水準から選択された画像品質水準を具備する。
59. 請求項５８の装置、ここにおいて、前記複数の画像品質水準の少なくとも１つの画像品質水準は、前記所望の解像度水準に基づく。
60. 請求項５２の装置、ここにおいて、前記プロセッサは、さらに前記ビット・ストリームから前記所望の画像品質水準に対応する少なくとも１つのレイヤの変換係数を抽出することに先立って前記所望の画像品質水準を決定する。
61. 請求項５２の装置、ここにおいて、前記プロセッサは、さらに前記所望の解像度水準を決定する。
62. 請求項６１の装置、ここにおいて、前記プロセッサは、さらに前記ビット・ストリームから前記所望の画像品質水準に対応する少なくとも１つのレイヤの変換係数を抽出することに先立って前記所望の解像度水準を決定する。
63. 請求項５２の装置、ここにおいて、前記所望の画像品質水準は、０から７の範囲を有する画像品質水準から選択された１つの水準を具備する。
64. 請求項５２の装置、ここにおいて、前記所望の解像度水準は、ＨＤＴＶ解像度、ＤＶＤ解像度、ＡＴＳＣ解像度、ＤＶＢ解像度、ＤＳＳ解像度、及びユーザが規定する解像度からなるグループから選択された１つの水準を具備する。
65. 請求項５２に請求された装置、ここにおいて、前記所望の解像度水準は、複数の解像度水準から選択された１つの水準を具備する。
66. 請求項５２に請求された装置であって、前記ビット・ストリームの前記抽出された変換係数を記憶するためのメモリを具備する。
67. 請求項５２に請求された装置であって、前記ビット・ストリームの前記抽出された変換係数を送信するための送信機を具備する。
68. 画像データを処理するためのシステムであって、システムは下記を具備する：
    エンコーダ、前記エンコーダは、第１のスキームに基づいて階層化された、変換係数を有するビット・ストリームを発生し、前記ビット・ストリームを送信する；
    デコーダ、前記デコーダは前記送信されたビット・ストリームを受信する、前記デコーダは、所望の解像度水準に基づいて前記ビット・ストリームから前記所望の解像度水準に対応する少なくとも１つのレイヤの変換係数を抽出する、または前記所望の解像度水準に基づいて決定される所望の画像品質水準に基づいて前記ビット・ストリームから前記所望の画像品質水準に対応する少なくとも１つのレイヤの変換係数を抽出し、前記ビット・ストリームの前記抽出された変換係数をサブ−サンプリングする、前記サブサンプリングすることは、第１のフィルタを適用することによって、前記ビット・ストリームの前記抽出された部分を前記所望の解像度水準に削減することを具備する。
69. 請求項６８に請求されたシステム、ここにおいて、前記第１のスキームは、階層化されたスキームを具備する。
70. 請求項６８のシステム、ここにおいて、前記所望の画像品質の水準は、０から７の範囲を有する画像品質水準から選択された１つの水準を具備する。
71. 請求項６８のシステム、前記所望の解像度水準は、ＨＤＴＶ解像度、ＤＶＤ解像度、ＡＴＳＣ解像度、ＤＶＢ解像度、ＤＳＳ解像度、及びユーザが規定する解像度からなるグループから選択される。
72. 請求項６８のシステム、ここにおいて、フィルタリングするためのフィルタ及び前記ビット・ストリームの前記抽出された変換係数を前記所望の解像度水準に削減するためのデシメータをさらに具備する。
73. 請求項６８に請求されたシステム、ここにおいて、前記所望の解像度水準は、複数の解像度水準から選択された１つの水準を具備する。

Images