JP4346114B2 - 複数の標準的な出力信号を提供するｍｐｅｇデコーダ - Google Patents

Description

本特許出願は、１９９７年３月１２日に出願された米国仮出願番号第60/040,517号の利益を請求する。
１９９７年３月１２日に出願された米国仮出願番号第60/040,517号の開示の全てを、明白に本明細書に参考として援用する。
発明の属する分野
本発明は、周波数領域が符号化された信号、例えばＭＰＥＧ−２の符号化された映像信号を受信し、復号化し、標準的な出力映像信号に変換するデコーダに関する。より具体的には、本発明は、符号化された高解像度映像信号を、使用者が選択した解像度を有する復号化された出力映像信号にフォーマットするデコーダに関する。
発明の背景
米国では、規格、すなわち高度テレビジョンシステム委員会（Advanced Television System Committee）（ＡＴＳＣ）規格が、高精細度テレビジョン（ＨＤＴＶ）信号のデジタル符号化を規定している。この規格の一部分は、国際標準化機構（ＩＳＯ）のムービングピクチャエキスパートグループ（Moving Picture Experts Group）（ＭＰＥＧ）によって提案された、ＭＰＥＧ−２規格と本質的に同じである。この規格は、“Information Technology - Generic Coding of Moving Pictures and Associated Audio, Recommendation H.626”, ISO/IEC 13818-2, IS, 11/94と題された国際規格（ＩＳ）刊行物に説明されている。この刊行物は、ＩＳＯから入手可能であり、そのＭＰＥＧ−２デジタル映像符号化規格についての教示を本明細書に参考として援用する。
ＭＰＥＧ−２規格とは、実際には幾つかの異なる規格である。ＭＰＥＧ−２では、幾つかの異なるプロファイルが規定されており、それぞれが符号化されたイメージの複雑さの異なるレベルに対応する。各プロファイルに関して異なるレベルが規定されており、各レベルは異なるイメージの解像度に対応する。ＭＰＥＧ−２規格の１つは、メインプロファイル、メインレベルとして公知であり、既存のテレビ規格（すなわち、ＮＴＳＣおよびＰＡＬ）に準拠する映像信号の符号化を意図している。別の規格は、メインプロファイル、ハイレベルとして知られており、高精細度テレビイメージの符号化を意図される。メインプロファイル、ハイレベル規格に従って符号化されたイメージは、１イメージフレームにつき１，１５２本のアクティブなラインと、１ラインにつき１，９２０個の画素とを有し得る。
一方、メインプロファイル、メインレベル規格は、１ラインにつき７２０画素および１フレームにつき５６７ラインの最大画像サイズを規定する。毎秒３０フレームのフレームレートでこの規格に従って符号化された信号は、７２０＊５６７＊３０すなわち毎秒１２，２４７，２００画素のデータレートを有する。対照的に、メインプロファイル、ハイレベル規格に従って符号化されたイメージは、１，１５２＊１，９２０＊３０すなわち毎秒６６，３５５，２００画素の最大データレートを有する。このデータレートは、メインプロファイル、メインレベル規格に従って符号化されたイメージデータのデータレートの５倍を超える。米国におけるＨＤＴＶの符号化に関する規格は、この規格の部分集合であり、１フレームにつき１，０８０ラインと、１ラインにつき１，９２０画素と、このフレームサイズに対しては、毎秒３０フレームの最大フレームレートとを有する。この規格用の最大データレートは、メインプロファイル、メインレベル規格用の最大データレートよりもさらに大きい。
ＭＰＥＧ−２規格は、データと制御情報との混合を含む複雑な構文（syntax）を規定する。この制御情報の幾つかは、この規格が網羅する幾つかの異なるフォーマットを有する信号を実現するために使用される。これらのフォーマットは、ラインごとに異なる数の絵素（画素）、フレームまたはフィールドごとに異なる数のライン、および１秒ごとに異なる数のフレームまたはフィールドを有するイメージを規定する。さらに、ＭＰＥＧ−２メインプロファイルの基本構文は、５つのレイヤ、すなわちシーケンスレイヤ、グループオブピクチャレイヤ、画像レイヤ、スライスレイヤ、およびマクロブロックレイヤにおけるイメージのシーケンスを示す、圧縮したＭＰＥＧ−２ビットストリームを規定する。これらのレイヤのそれぞれが、制御情報を用いて導入される。最後に、サイド情報としても知られるその他の制御情報（例えば、フレームタイプ、マクロブロックパターン、イメージ動きベクトル、係数ジグザグパターン、および逆量子化情報）を、符号化ビットストリーム全体に分散させる。
符号化された高解像度のメインプロファイル、ハイレベル画像の、低解像度のメインプロファイル、ハイレベル画像へのフォーマット変換、あるいはメインプロファイル、メインレベル画像へのフォーマット変換またはその他の低解像度の画像フォーマットへのフォーマット変換は、ａ）複数の既存の映像フォーマットと共に使用する単一のデコーダの提供、ｂ）メインプロファイル、ハイレベル信号とパーソナルコンピュータのモニタまたは既存の消費者テレビ受信器との間のインタフェースの提供、およびｃ）ＨＤＴＶの実装コストの削減、の重要性を増大させてきた。例えば、変換によって、メインプロファイル、ハイレベルの符号化された画像と共に使用される高価な高精細度モニタを、画像の解像度が低い廉価な既存のモニタと置き換えて、ＮＴＳＣまたは５２５プログレッシブ（progressive）モニタなどの、メインプロファイル、メインレベルの符号化された画像をサポートすることが可能になる。一つの局面、すなわちダウン変換は、高精細像度の入力画像を、低解像度のモニタ上での表示のために低解像度の画像に変換することである。
有効にデジタルイメージを受信するために、デコーダは、映像信号情報を迅速に処理すべきである。最適に有効であるためには、符号化システムは、比較的廉価であるべきだが、これらのデジタル信号を即時に復号化するのに十分なパワーを有するべきである。従って、複数のフォーマットを支援するデコーダは、プロセッサのメモリを最小化しなければならない。
発明の要旨
本発明は、第１および第２のモードで動作するデジタル映像デコーダにおいて具体化される。デジタル映像デコーダは、符号化された映像信号を端子において受信し、そして、１）受信した符号化された映像信号を復号化して、第１の空間解像度を有する復号化された映像信号を提供する第１のモード、および２）第１の空間解像度より低い、第２の空間解像度を有する復号化された映像信号を提供する第２のモードで動作する、復号化回路を含む。このデジタル映像デコーダは、復号化回路が第２のモードで動作している場合には、フォーマット制御信号に応答して復号化された映像信号を処理して復号化された映像信号の空間解像度を変更し、第１および第２の空間解像度と異なる個々の表示空間解像度を有する少なくとも１つの表示映像信号を作成する空間フィルタを含むフォーマット回路と、第１のモードと第２のモードとの間でデコーダを切り替え、且つフォーマット回路にフォーマット制御信号を提供するコントローラとをさらに有する。
【図面の簡単な説明】
本発明のこれらおよびその他の特徴ならびに利点は、添付図面と関連して行われる以下の詳細な説明から明らかになるであろう。
図１Ａは、本発明の例示的な実施形態による映像復号化およびフォーマット変換システムの高レベルのブロック図である。
図１Ｂは、本発明の例示的な実施形態において使用される、外部メモリへのインタフェースを含むＡＴＶ映像デコーダの機能的なブロックを示す、高レベルのブロック図である。
図２Ａは、本発明の例示的な実施形態によって使用される、映像デコーダの高レベルのブロック図である。
図２Ｂは、本発明の例示的な実施形態によって使用される、ダウン変換システムの高レベルのブロック図である。
図２Ｃは、７５０Ｐフォーマットの映像信号を復号化するために使用される、図２Ａに示すデコーダの構成を示すブロック図である。
図２Ｄは、３のファクタによる５２５Ｐ／５２５Ｉフォーマットへのダウン変換を含む、１１２５Ｉフォーマットの映像信号を復号化するために使用される、図２Ｂに示すデコーダの構成を示すブロック図である。
図２Ｅは、２のファクタによる５２５Ｐ／５２５Ｉフォーマットへのダウン変換を含む、７５０Ｐフォーマットの映像信号を復号化するために使用される、図２Ｂに示すデコーダの構成を示すブロック図である。
図３Ａは、本発明の３：１および２：１の例示的な実施形態のための、サブ画素の位置および対応する予測された画素を示す画素チャートである。
図３Ｂは、本発明の例示的な実施形態のための入力マクロブロックの各行に関して実施される、アップサンプリング処理を示すフローチャートである。
図４は、ブロック反射フィルタの例示的な実施形態の第１および第２の出力画素値のための乗算対を示す画素チャートである。
図５は、縦続接続（cascade）された一次元的なＩＤＣＴとして実行された水平方向および垂直方向の成分を処理する、二次元的なシステムに関するダウン変換用のフィルタの例示的な実行を示すブロック図である。
図６Ａは、入力画素と４：２：０の映像信号用に３：１の間引きを用いて間引きした出力画素とを示す、マクロブロック図である。
図６Ｂは、入力画素と４：２：０の映像信号用に２：１の間引きを用いて間引きした出力画素とを示す、画素ブロック図である。
図６Ｃは、水平に２だけダウン変換するためにメモリに記憶するための、２つのマクロブロックを単一のマクロブロックに併合する処理を示す、マクロブロックの図である。
図６Ｄは、水平に３だけダウン変換するためにメモリに記憶するための、３つのマクロブロックを単一のマクロブロックに併合する処理を示す、マクロブロックの図である。
図７Ａは、本発明の一実施形態の垂直プログラム可能フィルタを示すブロック図である。
図７Ｂは、図７Ａの垂直プログラム可能フィルタの垂直フィルタ係数と、ラインの画素サンプル空間との間の空間的な関係を示す画素の図である。
図８Ａは、本発明の一実施形態の水平プログラム可能フィルタを示すブロック図である。
図８Ｂは、本発明の一実施形態の水平フィルタ係数と、画素サンプル値との間の空間的な関係を示す画素の図である。
図９Ａは、本発明の例示的な実施形態の再サンプリング比のプロファイルを示す、画素数対再サンプリング比のグラフである。
図９Ｂは、４：３の画像を１６：９のディスプレイ上にマッピングするための第１の比率のプロファイルを示すグラフである。
図９Ｃは、４：３の画像を１６：９のディスプレイ上にマッピングするための第２の比率のプロファイルを示すグラフである。
図９Ｄは、１６：９の画像を４：３のディスプレイ上にマッピングするための第１の比率のプロファイルを示すグラフである。
図９Ｅは、１６：９の画像を４：３のディスプレイ上にマッピングするための第２の比率のプロファイルを示すグラフである。
図１０は、本発明の例示的な実施形態による再サンプリング比のプロファイルを使用した効果を示す、イメージチャートである。
図１１Ａは、本発明の例示的な実施形態のＡＴＶ映像デコーダの表示部を示す、高レベルのブロック図である。
図１１Ｂは、本発明の例示的な実施形態の２７ＭＨｚ二重出力モードを示すブロック図である。このモード用の映像データは５２５Ｐまたは５２５Ｉであり、第１の処理連鎖は、ＮＴＳＣエンコーダと同様に２４ＭＨｚＤＡＣウェルに十分に映像データを提供する。
図１１Ｃは、本発明の例示的な実施形態の２７ＭＨｚ単出力モードにおいて、５２５Ｉの映像信号のみがＮＴＳＣエンコーダに提供されることを示す、ブロック図である。
図１１Ｄは、出力フォーマットが入力フォーマットに適合し、且つ映像データが入力フォーマットに依存して２７ＭＨｚＤＡＣまたは７４ＭＨｚＤＡＣのいずれかに提供される、本発明の例示的な実施形態の７４ＭＨｚ／２７ＭＨｚモードを示す、ブロック図である。
図１２は、メインプロファイル、メインレベルのＭＰＥＧ−２のＡＴＳＣ映像信号のみを復号化するために、本発明の例示的な実施形態によって使用される高帯域幅のメモリを有する映像デコーダの高レベルのブロック図である。
図１３Ａは、入力映像がフィールドフォーマットにある場合の、画像情報の読み取り、記憶、および表示に関連する処理および流れの時間を示す、タイミング図の上半分である。
図１３Ｂは、入力映像がフィールドフォーマットにある場合の、画像情報の読み取り、記憶、および表示に関連する処理および流れの時間を示す、タイミング図の下半分である。
図１４Ａは、入力映像がフレームフォーマットにある場合の、画像情報の読み取り、記憶、および表示に関連する処理および流れの時間を示す、タイミング図の上半分である。
図１４Ｂは、入力映像がフレームフォーマットである場合の、画像情報の読み取り、記憶、および表示に関連する処理および流れの時間を示す、タイミング図の下半分である。
図１５Ａは、入力映像がプログレッシブシーケンスにあり、且つ表示がインタレース（interlaced）シーケンスにある場合の、画像情報の読み取り、記憶、および表示に関連する処理および流れの時間を示す、タイミング図の上半分である。
図１５Ｂは、入力映像がプログレッシブシーケンスにあり、且つ表示がインタレースシーケンスにある場合の、画像情報の読み取り、記憶、および表示に関連する処理および流れの時間を示す、タイミング図の下半分である。
図１６Ａは、入力映像がプログレッシブシーケンスにあり、且つ表示がプログレッシブシーケンスにある場合の、画像情報の読み取り、記憶、および表示に関連する処理および流れの時間を示す、タイミング図の上半分である。
図１６Ｂは、入力映像がプログレッシブシーケンスにあり、且つ表示がプログレッシブシーケンスにある場合の、画像情報の読み取り、記憶、および表示に関連する処理および流れの時間を示す、タイミング図の下半分である。
図１７Ａは、デコーダが高精細度の映像信号を提供するように構成される場合に、メモリがどのように利用されるかを示す、メモリマップ図である。
図１７Ｂは、あるタイプのイメージが復号化される場合に、イメージマクロブロックの行がどのようにしてメモリ行にマッピングするのかを示す、メモリマップ図である。
図１８Ａは、デコーダが標準的な精細度の映像信号を提供するように構成される場合に、メモリがどのように利用されるかを示す、メモリマップ図である。
図１８Ｂは、別のタイプのイメージが復号化される場合に、イメージマクロブロックの行がどのようにしてメモリ行にマッピングするのかを示す、メモリマップ図である。
図１９Ａは、デコーダが高精細度の映像信号を提供するように構成される場合に、圧縮データがどのように利用されるかを示す、メモリマップ図である。
図１９Ｂは、別のタイプのイメージが復号化される場合に、イメージマクロブロックの行がどのようにしてメモリ行にマッピングするのかを示す、メモリマップ図である。
詳細な説明
システムの概略
本発明の例示的な実施形態は、ＭＰＥＧ−２規格、特にメインプロファイルハイレベル（ＭＰ＠ＨＬ）およびメインプロファイルメインレベル（ＭＰ＠ＭＬ）のＭＰＥＧ−２規格に従って符号化された従来のＨＤＴＶ信号を復号化し、復号化した信号を、複数のフォーマットのうちの選択された１つを有する映像信号として提供する。
ＭＰＥＧ−２メインプロファイル規格は、イメージのシーケンスを５つのレベル、すなわちシーケンスレベル、グループオブピクチャレベル、画像レベル、スライスレベル、およびマクロブロックレベルにおいて規定する。これらのレベルのそれぞれが、データストリーム中の記録として見なされ得る。後に挙げられた（later-listed）レベルは、先に挙げられた（earlier listed）レベルに入れ子にされた（nested）サブレベルとして発生する。それぞれのレベルに関する記録は、そのサブ記録を復号化する際に使用されるデータを収容するヘッダ部を含む。
符号化されたＨＤＴＶ信号の各マクロブロックは６つのブロックを含み、各ブロックは、ＨＤＴＶイメージにおける６４個の絵素（画素）の離散コサイン変換（ＤＣＴ）表現の６４個の個々の係数値を示すデータを含む。
符号化処理では、画素データは、離散コサイン変換に先立つ、動き補償された異なる符号化をうける。変換された係数のブロックは、ランレングス（run-length）符号化技術および可変長符号化技術を適用することによって、さらに符号化される。イメージシーケンスをデータストリームから回復するデコーダは、符号化処理を逆に行う。このデコーダは、エントロピーデコーダ（例えば可変長デコーダ）、逆離散コサイン変換プロセッサ、動き補償プロセッサ、および補間フィルタを使用する。
本発明の映像デコーダは、高解像度の符号化された画像フォーマット、例えば４８Mbのコンカレント（Concurrent）Rambusダイナミックランダムアクセスメモリ（コンカレントＲＤＲＡＭ）のダウン変換のための複合化用メモリを最小とする一方で、多数の異なる画像フォーマットを支援するように設計される。
図１Ａは、ＭＰ＠ＨＬまたはＭＰ＠ＭＬで符号化された映像情報を受信および復号化し、復号化された情報をユーザが選択した出力映像フォーマット（映像および音声の両方の情報を含む）にフォーマットする、本発明の例示的な実施形態と、フォーマットされた映像出力信号を表示装置に提供するインタフェースとを使用するシステムを示す。本発明の例示的な実施形態は、全てのＡＴＳＣ映像フォーマットを支援するように設計される。単純化するために、動作は、任意のＭＰＥＧメインプロファイル映像ビットストリーム（ＦＣＣ規格によって制約される）を受信し、そして５２５Ｐ、５２５ＩまたはＮＴＳＣのフォーマット画像を提供するダウン変換（ＤＣ）モードと、ＭＰＥＧメインプロファイルビットストリームからの、高解像度の１０８０Ｉ／１１２５Ｉまたは７５０Ｐのフォーマット画像を提供する全指定（ＦＳ）モードとに分けられる。
図１Ａの例示的なシステムは、フロントエンドインタフェース１００と、映像デコーダ部１２０および関連デコーダメモリ１３０と、一次映像出力インタフェース１４０と、音声デコーダ部１６０と、オプション的なコンピュータインタフェース１１０と、オプション的なＮＴＳＣ映像処理部１５０とを含む。
図１Ａを参照すると、この例示的なシステムは、関連メモリ１０３を備えたトランスポートデコーダおよびプロセッサ１０２を有する、フロントエンドインタフェース１００を含む。コンピュータインタフェース１１０から受信した制御情報およびコンピュータ生成イメージを、例えばＩＥＥＥ１３９４リンク層プロトコルにおいて選択するか、または符号化されたトランスポートストリームをデジタルテレビジョンチューナ（図示せず）から回復する、マルチプレクサ１０１もオプションとして含まれ得る。トランスポートデコーダ１０２は、受信した圧縮データビットストリームを通信チャネルビットストリームから圧縮映像データに変換する。この圧縮映像データは、例えばＭＰＥＧ−２規格に従ってパケット化エレメンタリストリーム（ＰＥＳ）パケットであり得る。トランスポートデコーダは、ＰＥＳパケットを直接的に提供し得るか、またはＰＥＳパケットを１つ以上のエレメンタリストリームにさらに変換し得る。
映像デコーダ部は、ＡＴＶ映像デコーダ１２１およびデジタル位相ロックループ（digital phase-locked loop；ＤＰＬＬ）１２２を含む。ＡＴＶ映像デコーダ１２１は、フロントエンドインタフェース１００からのエレメンタリストリームまたは映像（ＰＥＳ）パケットを、フロントエンドインタフェースから受信し、パケットをエレメンタリストリームに変換する。次いで、ＡＴＶ映像デコーダ１２１のフロントエンド画像プロセッサが、それぞれのイメージ画像に対し輝度画素情報とクロミナンス画素情報を提供するために使用される符号化方法に従って、エレメンタリストリームを復号化する。
ＡＴＶ映像デコーダ１２１は、イメージ画像情報を提供する外部メモリおよび表示部を用いて復号化動作を制御して復号化された画像情報を所望の画像フォーマットに処理するためのメモリサブシステムをさらに含む。ＡＴＶ映像デコーダ１２１は、デコーダメモリ１３０を使用して高解像度符号化映像信号を処理する。ＤＰＬＬ１２２は、ＡＴＶデコーダ１２０とデコーダメモリ１３０との間で同期化された処理動作のためのタイミング信号を作成する。デコーダメモリ１３０は、それぞれが１６MbのＲＤＲＡＭメモリであり得るメモリユニット１３１、１３２、および１３３の第１の群と、同様にそれぞれが１６MbのＲＤＲＡＭメモリであり得るメモリユニット１３４、１３５、および１３６の第２の群とを含む。本発明の例示的な実施形態は、映像デコーダ部１２０およびデコーダメモリ１３０に関して引き続き説明され、且つ好適には映像デコーダ部１２０およびデコーダメモリ１３０内部で実装される。
一次映像出力インタフェース１４０は、７４ＭＨｚで動作し得る第１のデジタルからアナログへの（Ｄ／Ａ）コンバータ（ＤＡＣ）１４１（実際には、輝度信号およびＣ_Rクロミナンス信号ならびにＣ_Bクロミナンス信号に対する３つのＤ／Ａユニットを有する）を含み、その後にフィルタ１４２が続く。このインタフェースは、１１２５Ｉまたは７５０Ｐのフォーマットを有するアナログ映像信号を生成する。インタフェース１４０はまた、２７ＭＨｚで動作し得る第２の（Ｄ／Ａ）コンバータ（ＤＡＣ）１４３（同様に、輝度信号およびＣ_Rクロミナンス信号ならびにＣ_Bクロミナンス信号に対する３つのＤ／Ａユニットを有する）も含み、その後にフィルタ１４２が続いて、５２５Ｉまたは５２５Ｐのフォーマットを有する映像信号を生成する。一次映像出力インタフェース１４０は、所望のフォーマットを有するデジタル符号化された映像信号を変換し、（Ｄ／Ａ）コンバータを用いて所望のフォーマットを有するクロミナンスおよび輝度成分を有するアナログ映像信号を作成し、そしてアナログ映像信号をフィルタリングしてＤ／Ａ変換処理のサンプリングアーチファクトを除去する。
音声デコーダ部１６０は、出力ポート１６３および１６４における音声信号を提供するＡＣ３音声デコーダ１６２と、出力ポート１６５における２チャネルの音声信号を提供するために、オプション的な６−２チャネルダウンミキシングプロセッサ１６１とを含む。ＭＰ＠ＨＬのＭＰＥＧ−２規格の音声信号成分を、符号化されたデジタル情報から出力ポート１６３、１６４、および１６５におけるアナログ出力に音声処理することは、当該分野において周知である。また、デコーダ１６０として使用するのに適した音声デコーダは、Zoran Corporation of Santa Clara, CAから販売されている、ZR38500 Six Channel Dolby Digital Surround Processorである。
オプション的なコンピュータインタフェース１１０は、例えばＩＥＥＥ１３９４規格に準拠したコンピュータイメージ信号を送受信する。コンピュータインタフェース１１０は、物理層プロセッサ１１１およびリンク層プロセッサ１１２を含む。物理層プロセッサ１１１は、出力ポート１１３からの電気的信号を、受信コンピュータ生成イメージ情報および制御信号に変換し、そしてリンク層プロセッサ１１２によって、ＩＥＥＥ１３９４フォーマットされたデータに復号化するために、これらの信号を提供する。物理層プロセッサ１１１はまた、トランスポートデコーダ１０２から発生している、リンク層プロセッサ１１２によって符号化された受信制御信号を、ＩＥＥＥ１３９４規格に従って電気的出力信号に変換する。
ＮＴＳＣ映像処理部１５０は、フィルタ１４２によって提供されたアナログＨＤＴＶ信号を５２５Ｉの信号に変換する、ＡＴＶ−ＮＴＳＣダウン変換プロセッサ１５１をオプションとして含む。この規格の間での変換は、当該分野において公知であり、且つ例えば、本明細書に参考として援用する、INTERPOLATION FILTER SELECTION CIRCUIT FOR SAMPLE RATE CONVERSION USING PHASE QUANTIZATIONと題された、Hauらの米国特許第5,613,084号に開示されている技法などの、空間フィルタリング技法を用いて達成され得る。本発明の例示的な実施形態では、この処理部は、デコーダが１０８０Ｉまたは１１２５Ｉの信号を処理する場合にのみ使用される。
ＮＴＳＣエンコーダ１５２は、プロセッサ１５１から、またはデコーダ１２０のいずれかから直接的に５２５Ｉのアナログ信号を受信し、その信号を出力ポート１５３（Ｓ−映像（S-video））および１５４（合成映像（composite video））においてＮＴＳＣフォーマット化映像信号に変換する。
デコーダメモリを使用する映像デコーダ部
図１Ｂは、本発明の例示的な実施形態において使用されるような外部メモリ１３０へのインタフェースを含む、ＡＴＶ映像デコーダ１２１の機能ブロックを示す、高レベルブロック図である。ＡＴＶ映像デコーダ１２１は、画像プロセッサ１７１、マクロブロックデコーダ１７２、表示部１７３、およびメモリサブシステム１７４を含む。画像プロセッサ１７１は、入ってくるＭＰＥＧ−２映像ビットストリームを受信し、記憶し、そして部分的に復号化し、符号化ビットストリーム、スクリーン上表示データ、および動きベクトルを提供する。これらは、メモリサブシステム１７４によって制御されるメモリ１３０に記憶され得る。マクロブロックデコーダ１７２は、予測的な符号化を用いる場合には、符号化ビットストリーム、動きベクトル、および記憶された動き補償参照イメージデータ（motion compensation reference image data）を受信し、符号化された映像イメージの複合化されたマクロブロックを、メモリサブシステム１７４に提供する。表示部１７３は、メモリサブシステム１７４から復号化されたマクロブロックを引き出し、それらを表示のために映像イメージ画像にフォーマットする。これらの部分の動作は、下記で詳細に説明される。
ａ）画像処理のためのメインプロファイルフォーマット支援
本発明のＡＴＶ映像デコーダ１２１は、全てのＡＴＳＣ映像フォーマットを支援するように設計される。単純化するために、ＡＴＶ映像デコーダ１２１の動作は、表１に示す任意のＭＰＥＧメインプロファイル映像ビットストリームを受信し、そして５２５Ｐ、５２５ＩまたはＮＴＳＣのフォーマット映像信号を提供するダウン変換（ＤＣ）モードと、ＭＰＥＧメインプロファイルビットストリームからの高解像度の１０８０Ｉ／１１２５Ｉまたは７５０Ｐのフォーマット画像を提供する全指定（ＦＳ）モードとに分けられる。図１Ａの例示的な映像デコーダに関して、ＦＳモードでは、任意の高精細度テレビまたは標解精細度像度テレビジョン信号（ＨＤＴＶまたはＳＤＴＶ）を復号化し、１つの出力ポートに、それを符号化した時に使用したのと同じフォーマットで提供する。ＤＣモードでは、任意のＨＤＴＶまたはＳＤＴＶ信号を復号化し、ポート１がプログレッシブ（progressive）イメージまたはインタレースイメージのいずれかを提供し、そしてポート２がインタレースイメージを提供する、２つのポートのいずれかに表示出力信号を提供する。

ＦＳモードでは、画像情報は、ヘッダ（シーケンスまたは画像）に収容され、ＭＰＥＧ規格により、プログレッシブ画像をインタレース画像として表示することが可能である。さらに、３０Ｈｚ／６０Ｈｚから２９．９７Ｈｚ／５９．９４Ｈｚへのフレームレート−Ｈｚ変換を支援するために、デコーダは、受信した１００１個の画像フレームごとに１個の画像フレームを脱落させることが可能である。表２は、表１の個々の入力ビットストリームに対する、支援されたＦＳモードの出力画像フォーマットを与える。

ＤＣモードでは、メインレベル画像の高周波成分の低域通過フィルタリングが復号化処理の一部として発生し、高解像度の画像の解像度を、より低い解像度を有するフォーマットに調整する。この動作は、高解像度の画像の水平方向のフィルタリングおよび垂直方向のフィルタリングの両方を含む。ＤＣモードでは、表示フォーマット変換は、アスペクト比が１６×９のソースを４×３のディスプレイに表示し得、またその逆もなし得ることに留意されたい。この処理を、実質的に映像デコーダ部１２０の表示部を参照して説明する。表３は、表１の個々の入力ビットストリームに対して、支援された一次および二次出力画像フォーマットを与える。

ｂ）復号化、ダウン変換、およびダウンサンプリング
Ｉ．）概略
図２Ａは、ＭＰＥＧ−２の符号化された画像を処理する典型的な映像復号化システムのハイレベルブロック図である。後続の処理、ダウン変換、またはフォーマット変換を必要とせずに、ＭＰＥＧ−２の符号化された画像を復号化するために使用される一般的な方法は、ＭＰＥＧ−２規格によって特定されている。この映像復号化システムは、可変長デコーダ（ＶＬＤ）２１０およびランレングスデコーダ２１２を含み得る、エントロピーデコーダ（ＥＤ）１１０を含む。このシステムはまた、逆量子化器（inverse quantizer）２１４および逆離散コサイン変換（ＩＤＣＴ）プロセッサ２１８も含む。この例示的なシステムはまた、ＥＤ１１０によって入力ビットストリームから引き出された制御情報に応答して、復号化システムの様々なコンポーネントを制御するコントローラ２０７も含む。予測イメージの処理のために、このシステムは、参照フレームメモリ２２２と、加算器２３０と、動きベクトルプロセッサ２２１および半画素生成器２２８を有し得る動き補償プロセッサ２０６ａとをさらに含む。
ＥＤ１１０は、符号化された映像イメージ信号を受信し、符号化処理を逆行して、量子化された周波数領域（ＤＣＴ）係数値のマクロブロックと、現在復号化されている予測された画像のマクロブロックに対応する、予め復号化されたイメージにおけるマッチングマクロブロックの相対的なずれを記載する動きベクトルを含む制御情報とを作成する。逆量子化器２１４は、量子化されたＤＣＴ変換係数を受信し、特定のマクロブロックに対する量子化されたＤＣＴ係数を再構成する。特定のブロックに使用される量子化行列は、ＥＤ１１０から受信される。
ＩＤＣＴプロセッサ２１８は、再構成されたＤＣＴ係数を、空間領域における画素値（マクロブロックの輝度またはクロミナンス成分を表す８×８の行列値の各ブロック用、および予測されたマクロブロックの異なる輝度またはクロミナンス成分を表す８×８の行列値の各ブロック用）に変換する。
現在のマクロブロックが予測的に符号化されていない場合には、ＩＤＣＴプロセッサ２１８によって提供される出力行列の値は、現在の映像イメージの対応するマクロブロックの画素値である。マクロブロックがフレーム間（interframe）符号化されている場合には、先行する映像画像フレームの対応するマクロブロックは、動き補償プロセッサ２０６によって使用されるメモリ１９９に記憶される。動き補償プロセッサ２０６は、動きベクトルに応答して、予め復号化されたマクロブロックをメモリ１９９から受信し、次いで、加算器２３０において、先行するマクロブロックを現在のＩＤＣＴマクロブロック（現時点で予測的に符号化先行するフレームの残余成分に対応する）に加算し、現在の映像イメージ用の画素の対応するマクロブロックを作成する。次いで、作成されたマクロブロックを、メモリ１９９の参照フレームメモリ２２２に記憶する。
図２Ａの第１の例示的な実施形態のシステムはまた、垂直フィルタ２９２および水平フィルタ２９４を含む表示フォーマットブロック２９０も含む。表示フォーマットブロック２９０は、復号化された高精細度（ＦＳ）イメージを、特定の表示ユニットにおける表示用のイメージにフォーマットする。
上述の図２Ａは、符号化された画像のダウン変換を伴わない復号化を示す。より低い高解像度の画像を提供するためにダウン変換を用いる場合には、ＤＣＴフィルタが、ＩＤＣＴ動作の前に追加され得る。
図２Ｂは、そのようなＤＣＴフィルタリング動作を用いる、本発明の例示的な一実施形態のダウン変換システムのハイレベルブロック図である。ＤＣＴフィルタリング動作は、ＤＣモードの本発明の例示的な実施形態によって使用され得る。図２Ｂに示すように、ダウン変換システムは、可変長デコーダ（ＶＬＤ）２１０、ランレングス（Ｒ／Ｌ）デコーダ２１２、逆量子化器２１４、および逆離散コサイン変換（ＩＤＣＴ）プロセッサ２１８を含む。さらに、ダウン変換システムは、ダウン変換フィルタ２１６と、復号化された画像を間引きするダウンサンプリングプロセッサ２３２とを含む。ＭＰ＠ＨＬ符号化された入力に関する例示的な実施形態を以下に説明するが、本発明は、任意の同様に符号化された高解像度のイメージビットストリームに関して実行され得る。
ダウン変換システムはまた、動きベクトル（ＭＶ）トランスレータ（translator）２２０と、アップサンプリングプロセッサ２２６と半画素生成器２２８とを含む動きブロック生成器２２４と、を含む動き補償プロセッサ２０６ｂ、ならびに参照フレームメモリ２２２を含む。
図２Ｂの第１の例示的な実施形態のシステムはまた、垂直プログラム可能フィルタ（ＶＰＦ）２８２と水平プログラム可能フィルタ（ＨＺＰＦ）２８４とを有する、表示変換ブロック２８０を含む。表示変換ブロック２８０は、ダウンサンプリングされたイメージを、元のイメージより解像度が低い特定の表示装置での表示用のイメージに変換する。表示変換ブロック２８０は、表示変換についてのセクションｄ）（II）において引き続き詳細に説明される。
ダウン変換フィルタ２１６は、周波数領域における高解像度の（例えばメインプロファイル、ハイレベルＤＣＴの）係数の低域通過フィルタリングを実施する。ダウンサンプリング処理２３２は、フィルタリングされたメインプロファイル、ハイレベルの画像の間引きによって空間的画素（spatial pixel）を排除して、ＭＰ＠ＨＬ画像を表示するのに必要な解像度よりも低い解像度を有するモニタ上に表示可能な、一組の画素値を作成する。例示的な参照フレームメモリ２２２は、ダウンサンプリングされた画像に対応する解像度を有する、少なくとも１つの予め復号化された参照フレームに対応する空間的画素の値を記憶する。フレーム間符号化のために、ＭＶトランスレータ２２０は、解像度の低下に合わせて、受信した画像の各ブロックに関する動きベクトルをスケール（scale）する。高解像度動きブロック生成器２２４が、参照フレームメモリ２２２によって提供された低解像度動きブロックを受信し、これらの動きブロックをアップサンプリングし、そして必要に応じて半画素補間を実行して、復号化され且つフィルタリングされた異なる画素ブロックに対応する画素位置を有する動きブロックを提供する。
図１Ｂのダウン変換システムでは、高精細度のイメージではなく、ダウンサンプリングされたイメージが記憶され、それにより参照イメージを記憶するのに必要なメモリのかなりの低下につながることに留意されたい。
次に、フレーム内符号化用の本発明のダウン変換システムの例示的な実施形態の動作を説明する。ＭＰ＠ＨＬのビットストリームは、ＶＬＤ２１０によって受信され、そして復号化される。ＨＤＴＶシステムによって使用されるヘッダ情報に加えて、ＶＬＤ２１０は、各ブロックおよびマクロブロックに対するＤＣＴ係数と、動きベクトル情報とを提供する。ＤＣＴ係数は、Ｒ／Ｌデコーダ２１２においてランレングス復号化され、そして逆量子化器２１４によって逆量子化される。
ＤＣＴ係数によって表される受信された映像イメージは高解像度の画像であるので、本発明の例示的な実施形態は、高解像度の映像イメージの間引きの前に、各ブロックのＤＣＴ係数の低域通過フィルタリングを行う。逆量子化器２１４は、ＩＤＣＴプロセッサ２１８に提供する前に、所定のフィルタ係数値を有するＤＣＴ係数を重みづけすることによって周波数領域における低域通過フィルタリングを実行するＤＣＴフィルタ２１６にＤＣＴ係数を提供する。本発明の例示的な一実施形態に関して、このフィルタ動作は、ブロックごとに実行される。
ＩＤＣＴプロセッサ２１８は、フィルタリングされたＤＣＴ係数の逆離散コサイン変換を実行することによって、空間的画素のサンプル値を提供する。ダウンサンプリングプロセッサ２３２は、所定の間引き率に従って空間的画素のサンプル値を除去することによって、画像サンプルのサイズを減少させる。それゆえ、低解像度の画像の記憶には、高解像度のＭＰ＠ＨＬ画像を記憶するために必要なフレームメモリと比較して小さいフレームメモリを使用する。
次に、符号化規格の予測されたフレームに関する、本発明のダウン変換システムの例示的な実施形態の動作を説明する。この実施例では、現在受信されているイメージＤＣＴ係数は、ここでは便宜上予測されたフレーム（Ｐ−フレーム）と呼ぶ予測されたイメージマクロブロックの残余成分のＤＣＴ係数を表す。記載された例示的な実施形態では、メモリ内に記憶された先行フレームの低解像度の参照画像は、高解像度の予測されたフレーム（ＭＰ＠ＨＬ）と同じ数の画素を有していないので、予測されたフレームに関する動きベクトルの水平方向の成分がスケールされる。
図２Ｂを参照すると、ＶＬＤ２１０によって提供されるＭＰ＠ＨＬビットストリームの動きベクトルは、ＭＶトランスレータ２２０に提供される。それぞれの動きベクトルは、ＭＶトランスレータ２２０によってスケール（scale）され、参照フレームメモリ２２２内に記憶された先行イメージの参照フレームの適切な予測ブロックを参照する。引き出されたブロックのサイズ（画素値の数）は、現在のイメージを符号化するために使用された高解像度の対応するブロックより小さい。その結果、引き出されたブロックはアップサンプリングされ、ブロックが加算ネットワーク２３０によって組み合わされる前に、ＩＤＣＴプロセッサ２１８によって提供される、残余ブロックと同じ数の画素を有する予測ブロックを形成する。
予測ブロックは、ＭＶトランスレータ２２０からの制御信号に応答するアップサンプリングプロセッサ２２６によってアップサンプリングされ、画素の元の高解像度のブロックに対応するブロックを生成し、次いで、（半画素生成器２２８においてアップサンプリングされた予測ブロックのための動きベクトルによって指示された場合に）半画素値を生成して予測ブロックの適切な空間的な整列を確実にする。アップサンプリングされ、整列された予測ブロックは、加算ネットワーク２３０において現在のフィルタリングされたブロックに加えられる。このブロックは、本実施例では、予測ブロックからの解像度が低下した残余成分である。全ての処理は、マクロブロックごとに行われる。動き補償処理が現在の高解像度のマクロブロックに関して完了した後、再構成されたマクロブロックは、ダウンサンプリングプロセッサ２３２によって間引きされる。この処理は、イメージの解像度を低下させるのではなく、単に低解像度のフィルタリングされたイメージから余分な画素を除去する。
一旦イメージ用のダウンサンプリングされたマクロブロックが利用可能になると、表示変換ブロック２８０が、ダウンサンプリングされたイメージの垂直方向および水平方向の成分を、ＶＰＦ２８２およびＨＺＰＦ２８４において各々フィルタリングすることによって、低解像度のテレビ表示ユニットにおける表示用にイメージを調整する。
次に、図１Ａおよび図１ＢのＡＴＶ映像デコーダ１２１の機能ブロック間の関係を説明する。図１Ｂの画像プロセッサ１７１は、映像画像情報ビットストリームを受信する。マクロブロックデコーダ１７２は、ＶＬＤ２１０、逆量子化器２１４、ＤＣＴフィルタ２１６、ＩＤＣＴ２１８、加算器２３０、および動き補償予測器２０６ａならびに２０６ｂを含む。画像プロセッサ１７１がＶＬＤ２１０を共有し得る。外部メモリ１３０は、参照フレームメモリ２２２を含む１６MbのＲＤＲＡＭ１３１〜１３６を備えた、メモリ１９９に対応する。
ＦＳモードに関して、７５０Ｐのフォーマットを有するＭＰＥＧ２のストリームの復号化は、効率的にメモリを利用するために、９６MbのＲＤＲＡＭまたは４８MbのＲＤＲＡＭのいずれかを使用する処理を用いて参照フレームを記憶することによって実行され得る。ＦＳモードでは、１１２５Ｉ／１１２５Ｐ／７５０Ｐのフォーマットを有するＭＰＥＧ２のストリームの復号化は、図１のメモリ１３０の９６Mbの全メモリを使用する。図２Ｃは、ＦＳモードにおいて、７５０Ｐのフォーマットを有するＭＰＥＧ２のストリームが図１のメモリ１３０の４８Mbのメモリを使用して復号化される、図１Ａおよび図１Ｂに示すシステムの構成を示す。図２Ｃに示すように、７５０Ｐのビットストリームは、図２Ａを参照して説明したように受信され、そしてメモリ内部に記憶された１２８０Ｈの画素および７２０Ｖのラインを用いて復号化される。この実施例に関しては、ＤＣＴフィルタ２１６は、全通過フィルタとして作用するに過ぎないか、または単にディスエーブルされている。
図２Ｄは、１１２５Ｉの信号を５２５Ｐ／５２５Ｉのフォーマットに変換する、ＤＣモードでのシステムの動作を示す。この筋書きでは、図２Ｂを参照して上述したようにＤＣＴフィルタ２１６によって低域通過フィルタリングした後、システムは、３のファクタによって高解像度の信号をダウンサンプリングし、そして６４０Ｈおよび１０８０Ｖのように、４８Mbのメモリにインタレースされて画像を記憶する。このシステムに関して、動き補償処理は、動き予測復号化が達成される前に、記憶された画像を３のファクタ（および受信された動きベクトルのトランスレーション（translation）によってアップサンプリングする。また画像は、表示変換のために、水平方向および垂直方向にフィルタリングされる。
図２Ｅは、ＤＣモードの７５０Ｐから５２５Ｐ／５２５Ｉフォーマットへのフォーマットダウン変換の間の関係を示す。この変換は、メモリ記憶用のダウンサンプリングおよび動き補償用のアップサンプリングが２のファクタによること以外は、１１２５Ｉから５２５Ｐ／５２５Ｉへの変換と同じ方法で動作する。
II）ダウン変換に関するマクロブロック予測
例示的なダウン変換処理に関して、先行イメージの参照フレームのサイズが水平方向に縮小されるので、これらのフレームを指す受信された動きベクトルも、変換率に従ってトランスレーションされ得る。輝度ブロックに関する水平方向における動きトランスレーションを以下に説明する。当業者は、所望に応じて以下の説明を垂直方向における動きトランスレーションに容易に拡張し得る。元のイメージフレームにおける現在のマクロブロックアドレスをｘおよびｙ、水平方向の間引きファクタをＤｘ、および元のイメージフレームの半画素の水平方向の動きベクトルをｍｖ_xで表すと、半画素単位でＸＨで表される、元のイメージフレームにおける動きブロックの上部左の画素のアドレスは、（１）によって与えられる：

動きブロックに対応する画素は、ダウンサンプリングされたイメージにおいてスタートし、そして式（２）を用いて決定され得るｘ^*とｙ^*とで表されるアドレスを有する。

式（２）の除算は、切り捨てを用いる整数の除算である。
例示的なフィルタ２１６およびダウンサンプリングプロセッサ２３２は、イメージの水平方向の成分のみを減少させるので、動きベクトルの垂直方向の成分は影響されない。クロミナンスデータに関しては、動きベクトルは、元の画像における輝度動きベクトルの２分の１である。それゆえ、クロミナンス動きベクトルのトランスレーションに関する定義もまた、２つの式（１）および（２）を使用し得る。
動き予測は、二段階の処理によって行われる。まず最初に、元のイメージフレームにおける画素精度動き推定（pixel accuracy motion estimation）が、図２Ａおよび図２Ｂのアップサンプリングプロセッサ２２６において、ダウンサンプリングされたイメージフレームをアップサンプリングすることによって達成され、次いで、半画素生成器２２８が、最も近い画素値を平均することによって、半画素補間を実施する。
参照イメージデータは、ＩＤＣＴプロセッサ２１８によって与えられる出力データに加えられる。加算器２３０の出力値は高解像度のフォーマットと適合する画素の数を有するイメージに対応するので、これらの値は、より低い解像度を有するディスプレイ上での表示のためにダウンサンプリングされ得る。ダウンサンプリングプロセッサ２３２におけるダウンサンプリングはイメージフレームのサブサンプリングに実質的に相当するが、調整は、変換率に基づいて行われ得る。例えば、３：１のダウンサンプリングの場合、水平方向にダウンサンプリングされた画素の数は、それぞれの入力マクロブロックにつき６個または５個であり、最初にダウンサンプリングされた画素が、必ずしも入力マクロブロックにおける最初の画素ではない。
ダウンサンプリングされたイメージから正しい動き予測ブロックを得た後、アップサンプリングを用いて高解像度の画像における対応する予測ブロックを得る。その結果、動きブロック予測におけるサブ画素の精度は、ダウンサンプリングされた画像において望ましい。例えば、３：１の間引きを用いると、適切な動き予測のためには、ダウン変換された画像において、サブ画素の精度は、１／３（または１／６）であることが望ましい。ダウンサンプリングされた動きブロックに加えて、動きベクトルが必要とする最初の画素であるサブ画素が決定される。次いで、後続のサブ画素の位置が、以下に説明するように、モジュロ算術を用いて決定される。サブ画素の位置は、式（３）において与えられるように、ｘ_sで表される：

ここで、「％」は、モジュロ除算を表す。
例えば、ｘ_sの範囲は、３：１のアップサンプリングに対しては０、１、２であり、２：１のアップサンプリングに対しては０、１である。図３Ａは、３：１および２：１の実施例に対するサブ画素の位置と、対応する１７個の予測画素とを示し、そして表４は、図３Ａの凡例を与える。

前述のように、アップサンプリングフィルタはアップサンプリング多相フィルタであり得、そして表５は、これらのアップサンプリング多相補間フィルタの特徴を与える。

次の２つの表、表６および表７は、例として３：１および２：１のアップサンプリング多相フィルタに関する多相フィルタ係数を示す。

定点表示では、表６および表７の括弧内の数字は、対応する倍精度数が左にある、９ビットでの２の補数表示である。ダウンサンプリングされた参照イメージフレームにおける動き予測ブロックのサブ画素の位置に依存して、多相補間フィルタの１つの対応する相が用いられる。また、例示的な実施形態に関して、左右のさらなる画素が、元の画素フレームに１７個の水平画素を補間するために用いられる。例えば、３：１の間引きの場合、最大６個の水平方向にダウンサンプリングされた画素が、各入力マクロブロック用に作成される。しかし、アップサンプリングの際には、アップサンプリングフィルタが動作するためにフィルタの境界の外側により多くの左画素および右画素を必要とするので、９個の水平画素が、対応する動き予測ブロックの値を作成するために用いられる。例示的な実施形態が半画素動き見積もりを用いるので、最も近い２つの画素サンプルの平均値である１６個の半画素を得るために、１７個の画素が必要である。半画素補間は、半画素解像度を有する画素のブロックを提供する補間動作を実施する。表８Ａは、サブ画素位置と多相フィルタ要素との間の例示的なマッピングを示し、且つアップサンプリング処理に関して、アップサンプリングされたブロックにおいて画素に加えて必要な左画素の数を示す。

図３Ｂは、入力マクロブロックの各列に関して実施されるアップサンプリング処理の要約である。最初に、工程３１０では、処理される入力イメージフレームのブロックの動きベクトルが受信される。工程３１２では、動きベクトルが、メモリ内のダウンサンプリングされた参照フレームに対応するようにトランスレーションされる。工程３１４では、スケールされた動きベクトルが、メモリ１３０に記憶された参照イメージブロックの座標を計算するために使用される。工程３１６では、ブロックに対してサブ画素の点が決定され、次いで、アップサンプリング用の最初の多相フィルタの値が、工程３１８において決定される。次いで、記憶されたダウンサンプリングされた参照フレームの参照ブロック用の確認された画素が、工程３２０でメモリ１３０から引き出される。
フィルタリング工程３２４における第１の通過の前に、フィルタのレジスタが工程３２２において初期化され得る。工程３２２は、この例示的な実施形態に関しては、初期の３個または５個の画素値を用いてレジスタをロードする工程を含む。次いで、フィルタリング工程３２４の後に、工程３２６で、工程は、全ての画素が処理されたかどうかを決定する。この例示的な実施形態に関しては、画素は１７個である。全ての画素が処理されている場合には、アップサンプリングされたブロックが完成する。例示的な実施形態に関しては、１７×９の画素ブロックが上部または下部動きブロックとして戻される。全ての画素が処理されていない場合には、相は、工程３２８で更新され、相の値が０であるか点検される。相が０である場合には、レジスタは、画素値の次の組用に更新される。工程３２８における相の更新は、相の値を、例示的な３：１のアップサンプリングのためのフィルタループ期間に対しては０、１、および２に更新し、そして２：１のアップサンプリングのためのフィルタループ期間に対しては０および１に更新する。最も左の画素がイメージ画像の境界の外側にある場合、イメージ画像における最初の画素値が繰り返され得る。
例示的な実施形態に関して、アップサンプルフィルタリング動作は、以下のガイドラインに従って実施され得る。まず、幾つかのファクタが使用され得る。１）半画素動き予測動作が２つの完全な画素を平均し、そして対応するフィルタ係数も平均されて半画素フィルタ係数を提供する。２）フィルタタップの数に等しい固定された数、例えば５が、特定のダウン変換に拘わらず使用され得る。３）５つの平行な入力ポートが、前後上下の各ブロックに対してアップサンプリングブロックに提供され得る。５つの入力ポートは、対応するフィルタ係数と組み合わされて１つの出力画素を提供する、各参照ブロックに対するそれぞれのクロック遷移のための入力画素ＬＷＲ（０）〜ＬＷＲ（４）を備えている。４）個々の画素ＬＷＲ（０）〜ＬＷＲ（４）と組み合わされたフィルタ係数ｈ（０）〜ｈ（４）の合計は、サンプリングブロックの出力画素を提供する。
乗算の順序は通常のフィルタ係数の順序と逆であるので、フィルタ係数は逆転されていることが望ましい。また、幾つかの係数をゼロにすることが望ましい。表８ｂは３：１のアップサンプリングフィルタに対する例示的な係数を与え、そして表８Ｃは２：１のアップサンプリングフィルタに対する例示的な係数を与える。

表８Ｂおよび８Ｃでは、ｘ^*は、式（１）および（２）で定義されたダウンサンプリングされた画素の位置であり、そしてサブ画素の位置ｘ_sは、式（３′）のように、式（３）から再定義される。

例示的な実施のクロミナンス値に関して、ＸＨが２によってスケールされ（scaled by two）、式（１）、（２）および（３′）が適用される。一実施形態では、相および半画素の情報（２ビットおよび１ビットに各々符号化される）が、図２Ｂの動き補償プロセッサ２２０および半画素生成器２２８によって使用される。例えば、参照ブロック画素は、まずＵ個の画素として、次にはＶ個の画素、最後にはＹ個の画素として提供される。Ｕ個およびＶ個の画素は４０サイクルに亘ってクロックされ、Ｙ個の画素は１４４サイクルに亘ってクロックされる。参照ブロックは、３：１の間引きに対しては、最初の５個の画素を提供し、これを二回繰り返し、一回ごとにデータをシフトし、一列を完成させるまで繰り返すことによって、提供される。二回ではなく一回繰り返すこと以外は同じ方法が、２：１の間引きに対して用いられ得る。間引きが動き補償と半画素生成とからの出力と残りの値との加算に続いて行われるので、入力画素は繰り返される。その結果、３：１の間引きに関しては、３つの画素のうち２つが削除され、そしてこれらの画素値に対する見かけの画素は重要ではない。
III）ＤＣＴ係数の重みづけを用いるＤＣＴ領域フィルタリング
本発明の例示的な実施形態は、空間領域における低域通過フィルタに代わる、周波数領域においてＤＣＴ係数を処理する、図２ＡのＤＣＴフィルタ２１６を含む。ＭＰＥＧまたはＪＰＥＧ規格によって意図されるような、ＤＣＴ符号化された画像用の空間領域フィルタに代わるＤＣＴ領域フィルタには、幾つかの利点がある。最も注目すべきは、ＤＣＴ領域フィルタは、計算上より効率的であり、且つ空間的な画素サンプル値に適用された空間領域フィルタより必要とするハードウェアが少ないことである。例えば、Ｎタップを有する空間フィルタは、各空間画素サンプル値に対してＮと同数の追加の乗算および加算を使用し得る。これは、ＤＣＴ領域フィルタにおける唯一のさらなる乗算と比較している。
最も単純なＤＣＴ領域フィルタは、高周波ＤＣＴ係数の切り捨てである。しかし、高周波ＤＣＴ係数の切り捨ては、スムーズなフィルタリングにつながらず、且つ復号化画像の周縁部付近の「リンギング」のような欠点を有する。本発明の例示的な実施形態のＤＣＴ領域低域通過フィルタは、空間領域におけるブロック反射フィルタに由来する。ブロック反射フィルタに関するフィルタ係数値は、例えば、空間領域における数値分析によって最適化され、次いで、これらの値はＤＣＴ領域フィルタ係数に変換される。この例示的な実施形態は、垂直方向のみにおけるＤＣＴ領域フィルタリングを示すが、ＤＣＴ領域フィルタリングは、水平方向または垂直方向のいずれか、または水平フィルタと垂直フィルタとを組み合わせることによって両方において行うことが可能である。
IV）ＤＣＴ領域フィルタ係数の誘導
本発明の１つの例示的なフィルタは、２つの制約から誘導される。第１には、フィルタが、画像の前のブロックからの情報を使用せずに、イメージの各ブロックに対してブロックごとにイメージデータを処理することであり、第２の制約は、フィルタが、境界の画素値を処理するときに発生するブロック境界の視感度を低下させることである。
第１の制約によると、ＤＣＴベースのＭＰＥＧイメージシーケンスの圧縮では、ＮＸＮのＤＣＴ係数は、ＮＸＮの空間的な画素値を生じる。その結果、本発明の例示的な実施形態は、受信した画像の現在のブロックのみを処理するＤＣＴ領域フィルタを実行する。
第２の制約によると、フィルタが単に空間的な周波数係数のブロックに適用される場合には、フィルタの残りを満たすのに不十分な数の境界を越える空間的な画素値によって形成される、ブロックの境界におけるフィルタ動作の遷移がある。すなわち、Ｎ−タップフィルタはわずかにＮ／２タップの値しか有さないので、ブロックの周縁部における係数値は適切にフィルタリングされることが不可能であり、残りの値はブロックの境界を越える。欠如している画素値を供給する幾つかの方法が存在する。１）境界を越える所定の一定な画素値を繰り返す。２）境界の画素値として同じ画素値を繰り返す。３）ブロックの画素値を反射して、処理されたブロックに隣接する画素値の前のブロックおよび後続のブロックをシミュレートする。前のブロックまたは後続のブロックの内容に以前の情報がなければ、画素値を繰り返す反射法は、好適な方法であると見なされる。それゆえ、本発明の一実施形態は、フィルタ用にこの反射法を用いており、「ブロック反射フィルタ」と呼ばれる。
低域通過フィルタ８がブロックの空間的な画素サンプル値を入力する水平ブロック反射フィルタを実施する、例示的な実施形態を以下に説明する。入力ブロックのサイズが画素サンプル値の８×８のブロック行列であれば、ブロック反射フィルタを８個の画素サンプル値から成るそれぞれの列に適用することによって、水平フィルタリングを行うことが可能である。フィルタリング処理は、フィルタ係数をブロック行列に列状に適用することによって実施され得ること、または多次元的なフィルタリングは、ブロック行列の行をフィルタリングし、次いで列をフィルタリングすることによって達成され得ることは、当業者に明らかである。
図４は、入力画素値ｘ₀〜ｘ₇（集合Ｘ０）と、タップ値ｈ₀〜ｈ₁₄によって表される、１５タップ空間フィルタを使用する８個の入力画素用の例示的なミラーフィルタに関するフィルタタップとの間の例示的な対応を示す。入力画素は、集合Ｘ１として示す集合Ｘ０の左側と、集合Ｘ２として示す集合Ｘ０の右側で反射される。フィルタの出力画素値は、対応する画素サンプル値とのフィルタタップ係数値の１５回の乗算の合計である。図４は、第１および第２の出力画素値に関する乗算対を示す。
空間領域におけるブロック反射フィルタは、ＤＣＴ領域フィルタと等価なことを以下に示す。反射フィルタリングは、２Ｎの点（Ｎ＝８）を含む循環たたみ込み（circular convolution）と関連する。
ベクトルｘ′を式（４）に示すように定義する。

Ｎ＝８である場合には、

フィルタタップの値ｈ₀〜ｈ₁₄を再配列し、再配列された値をｈ′によって表すと、

ゆえに、反射フィルタリングされた出力ｙ（ｎ）は、式（５）によって与えられるｘ’（ｎ）とｈ’（ｎ）との循環たたみ込みである。

これは、式（６）と等価である。

ここで、ｘ’［ｎ−ｋ］は、ｘ’（ｎ）の循環モジュロであり、

式（５）に示す空間領域における循環たたみ込みは、離散フーリエ変換（ＤＦＴ）領域におけるスカラ乗算に一致する。Ｙ（ｋ）をｙ（ｎ）のＤＦＴとして定義すると、式（５）は、ＤＦＴ領域における式（７）になる。

ここで、Ｘ’（ｋ）およびＨ’（ｋ）は、各々ｘ’（ｎ）およびｈ’（ｎ）のＤＦＴである。
式（４）〜（７）は、２Ｎ未満の多数のタップを有するフィルタに有効である。さらに、フィルタは、奇数のタップを有し、これらの制約Ｈ’（ｋ）が実数である、対称性のフィルタに限定される。それゆえ、Ｘ’（ｋ）、すなわちｘ’（ｎ）のＤＦＴは、フィルタ動作を実施するために、空間領域における２Ｎ乗算および２Ｎ加算演算の代わりに、ＤＦＴ周波数領域内の実数Ｈ’（ｋ）を用いて重みづけすることが可能である。Ｘ’（ｋ）の値は、元のＮ点ｘ（ｎ）のＤＣＴ係数に非常に密接に関係している。なぜなら、ｘ（ｎ）のＮ点ＤＣＴは、ｘ（ｎ）とその反射ｘ（２Ｎ−１−ｎ）から成る結合数列である、ｘ’（ｎ）の２Ｎ点ＤＦＴによって得られるからである。
対称性のフィルタを前提とすることにより、空間フィルタＨ’（ｋ）のＤＦＴ係数の起源を以下に説明する。対称性フィルタは、ｈ（ｎ）＝ｈ（２Ｎ−２−ｎ）であり、ｈ’（ｎ）＝ｈ’（２Ｎ−ｎ）およびｈ’（Ｎ）＝０と同等である、奇数のタップ２Ｎ−１を有する。Ｈ’（ｋ）を式（８）のように定義する。

ここで、Ｗ_2N ^kn＝exp｛−２πｋｎ／（２Ｎ）｝であり、
Ｈ’（ｋ）＝Ｈ’（２Ｎ−ｋ）である。
本発明者は、ｘ’（ｎ）の２Ｎ点ＤＦＴすなわちＸ’（ｋ）は、式（９）に示すように、そのＤＣＴ係数によって表現しうると判断した。

ｘ（ｎ）のＤＣＴ係数Ｃ（ｋ）は、式（１０）によって与えられる。

他の場合には、Ｃ（ｋ）＝０である。
Ｘ’（ｋ）の値すなわちｘ’（ｎ）のＤＦＴ係数は、Ｃ（ｋ）すなわち式（１１）の行列によるｘ’（ｎ）のＤＣＴ係数によって表すことができる。

元の空間的な画素サンプル値ｘ（ｎ）もまた、式（１２）に示すＩＤＣＴ（逆離散コサイン変換）によって得られる。

ここで、ｋ＝０のときα（ｋ）＝１／２であり、他の場合にはα（ｋ）＝１である。
０＜＝ｎ＜＝Ｎ−１のときのｙ（ｎ）の値は、式（１３）で与えられるＸ’（ｋ）Ｈ’（ｋ）のＩＤＦＴによって得られる。

式（１３）の値ｙ（ｎ）は、Ｃ（ｋ）Ｈ’（ｋ）のＩＤＣＴの空間的な値である。それゆえ、空間フィルタリングを、イメージブロックを表す入力周波数領域係数のＤＣＴ重みづけによってＨ’（ｋ）と置き換えることが可能であり、それにより重みづけされた値のＩＤＣＴを実施して、フィルタリングされた画素値を空間領域において再構成する。
本発明の例示的なブロック反射フィルタリングの一実施形態は、以下の工程によるものとして得られる。１）２Ｎタップ未満の奇数のタップを有する、一次低域通過対称フィルタを選択する。２）ゼロを埋め込むことによって、フィルタ係数を２Ｎの値まで増大させる。３）元の中間係数が左循環シフトによって０番目の位置まで進むように、フィルタ係数を配列する。４）再配列されたフィルタ係数のＤＦＴ係数を決定する。５）ＤＣＴ係数をフィルタの実数のＤＦＴ係数と乗算する。そして６）フィルタリングされたＤＣＴ係数の逆離散コサイン変換（ＩＤＣＴ）を実施して、間引きのために用意される低域通過フィルタリングされた画素を提供する。
低域通過フィルタのカットオフ周波数を、間引き率によって決定する。例示的な位置実施形態に関して、カットオフ周波数は、３：１の間引きに関してはπ／３であり、２：１の間引きに関してはπ／２である。ここで、πはサンプリング周波数の２分の１に相当する。
逆量子化器およびブロックのＩＤＣＴ処理は従来技術のデコーダに既に存在しているので、ＭＰＥＧデコーダおよびＪＰＥＧデコーダのＤＣＴ領域フィルタにより、必要なメモリを減少させることができる。ＤＣＴ領域フィルタによってＤＣＴ係数の追加のスカラ乗算のみが必要となる。それゆえ、別個のＤＣＴ領域フィルタブロック乗算は、特定の実装において物理的に必要とされない。本発明の別の実施形態は、ＤＣＴ領域フィルタ係数をＩＤＣＴ処理係数と単に組み合わせ、組み合わせた係数をＩＤＣＴ動作に適用するだけである。
本発明の例示的なダウン変換システムに関して、ＤＣＴ係数の水平フィルタリングおよび間引きが考慮された。以下は、２つの例示的な実行である。：
１．１９２０Ｈ×１０８０Ｖのインタレースから６４０×１０８０インタレースへの変換（水平３：１間引き）。
２．１２８０Ｈ×７２０Ｖのプログレッシブから６４０×７２０プログレッシブへの変換（水平２：１間引き）
表９は、ＤＣＴブロック反射フィルタ（重みづけ）係数を示す。表９において、括弧内の数字は、１０ビットの２の補数表示である。表９の「^*」は、１０ビットの２の補数表示に関して領域外の値を示す。なぜなら、値は１より大きいからである。しかし、当業者には公知のように、ブロックの列係数と「^*」によって示される値の乗算は、フィルタの値の分数部の値（差）を掛けた係数に係数値を加えることによって、容易に実施され得る。

これらの水平ＤＣＴフィルタ係数は、符号化映像イメージのＤＣＴ係数の８×８のブロック内の各列を重みづけする。例えば、列０のＤＣＴ係数は、Ｈ［０］によって重みづけされ、そして第１列は、Ｈ［１］等によって重みづけされる。
上記の説明は、一次元的なＤＣＴを用いる水平フィルタの実行を示す。デジタル信号処理技術において公知のように、そのような処理を二次元的なシステムに拡張することが可能である。式（１２）は一次元の場合のＩＤＣＴを示し、その結果、式（１２’）はより普遍的な二次元ＩＤＣＴを与える。

ここで、ｆ（ｘ，ｙ）は空間領域の表示であり、ｘおよびｙは、サンプル領域内の空間座標であり、そしてｕおよびｖは変換領域内の座標である。係数Ｃ（ｕ）およびＣ（ｖ）がコサイン項（terms）の値であることは公知であるので、変換領域係数のみが、処理アルゴリズムのために提供される必要がある。
二次元的なシステムに関して、ここでは入力シーケンスをそれぞれが変換領域内の個々の座標を表す数値の行列として表し、この行列は、周期がＭの列シーケンスにおいて周期的なシーケンスと、周期がＮの行シーケンスにおいて周期的なシーケンスとを有し、ＮおよびＭは整数である。二次元ＤＣＴは、入力シーケンスの列上で実施される一次元ＤＣＴとして、次いで、ＤＣＴ処理された入力シーケンスの行上で実施される第２の一次元ＤＣＴとして実施され得る。また、当該分野において公知のように、二次元ＩＤＣＴは、単一の処理として実行され得る。
図５は、縦続接続された一次元ＩＤＣＴとして実行された水平および垂直な成分を処理する、二次元システムに関するダウン変換用のフィルタの例示的な実施を示す。図５に示すように、図２のＤＣＴフィルタマスク２１６とＩＤＣＴ２１８とは、垂直ＤＣＴフィルタ５３０および垂直ＩＤＣＴ５４０を含む垂直プロセッサ５１０と、垂直成分用に実行されたと同様の水平ＤＣＴフィルタおよび水平ＩＤＣＴを含む水平プロセッサ５２０とによって実行され得る。フィルタリングおよびＩＤＣＴ処理は線形であるので、これらの処理を実施する順序は、再編成することが可能である（例えば、水平および垂直ＤＣＴフィルタリングを最初にして、２番目に水平および垂直ＩＤＣＴとするか、またはその逆、すなわち、垂直プロセッサ５２０を最初にしてそのあと水平プロセッサ５１０（２番目）とする）。
図５に示す特定の実行では、垂直プロセッサ５１０の後にブロック転置演算子５５０が続き、垂直プロセッサによって提供された垂直処理された値のブロックの行および列を入れ替える。この演算は、水平プロセッサ５２０によって処理するブロックを準備することによって、計算の効率を増大させるために使用され得る。
符号化された映像ブロック、例えば行列値の８×８のブロックは、垂直ＤＣＴフィルタ５３０によって受信され、垂直ＤＣＴフィルタ５３０が所望の垂直方向の間引きに対応するＤＣＴフィルタ値によって各行の項目を重みづけする。次に、垂直ＩＤＣＴ５４０が、ブロックの垂直成分に対して逆ＤＣＴを実施する。前述のように、両方の処理は単に行列の乗算および加算を実施するに過ぎないので、ＤＣＴ ＬＰＦ係数が、行列の乗算および加算演算用の垂直ＤＣＴ係数と組み合わされ得る。次いで、垂直プロセッサ５１０が、垂直処理されたブロックを転置演算子５５０に提供し、転置演算子５５０が垂直処理された値を転置したブロックを水平プロセッサ５２０に提供する。ＩＤＣＴ動作が行または列のみによって行われるのでない限り、転置演算子５５０は必要ない。水平プロセッサ５２０が、所望の水平フィルタリングに対応するＤＣＴフィルタ値によってブロックの各列のエントリの重みづけを実施し、次いで、ブロックの水平成分に対して逆ＤＣＴを実施する。
式（１２’）を参照して説明したように、変換領域内の係数のみが処理アルゴリズムに提供され、演算は線形なのでこれらの係数のみについて数学的な演算を行うことができる。ＩＤＣＴの演算は、式（１２’）から既に明らかなように、複数の積（products）の和を形成する。その結果、ハードウェアの実装は、ＲＯＭ（図示せず）などのメモリと、ＲＯＭからこれらの係数および入力変換座標の行列から選択された係数を受け取る、乗算および加算回路群（図示せず）とに記憶される公知の係数を必要とする。より進歩したシステムに関して、数学的な演算の順序が、複数の積の和の実行からビット−直列（bit-serial）の実行に変換するために、分散演算（distributed arithmetic）に従って改変される場合には、ＲＯＭ−アキュムレータ法が用いられ得る。そのような技法は、例えば、Stanley A. Whiteの、Applications of Distributed Arithmetic to Digital Signal Processing: A Tutorial Review, IEEE ASSP Magazine, July, 1989に説明されており、計算において対称性を利用して、積の和集合の実行のゲート総数を減少させる。
本発明の代替的な実施形態では、ＤＣＴフィルタ動作は、逆ＤＣＴ（ＩＤＣＴ）動作と組み合わされ得る。そのような実施形態に関しては、フィルタリングおよび逆変換動作は線形なので、フィルタ係数は、ＩＤＣＴの係数と組み合わされて改変ＩＤＣＴを形成し得る。当該分野において公知のように、改変ＩＤＣＴおよびそれ故に組み合わされたＩＤＣＴおよびＤＣＴダウン変換フィルタリングは、単純なＩＤＣＴ動作のハードウェアの実行と同様のハードウェアの実行を通じて実施され得る。
ｃ）メモリサブシステム
Ｉ）メモリアクセスおよびビットストリームならびに画像データの記憶
図１Ｂに示すように、本発明の例示的な実施形態は、メモリ１３０への情報の記憶およびメモリ１３０からの情報の読み取りを制御するメモリサブシステム１７４を有する、ＡＴＶ映像デコーダ１２１を使用する。メモリサブシステム１７４は、映像復号化動作用のメモリ１３０に画像データおよびビットストリームデータを提供し、そして好適な実施形態では、少なくとも２つの画像、またはフレームがＭＰＥＧ−２の符号化された映像データの適切な復号化に使用される。メモリ１３０内の画面上表示（ＯＳＤ）部が、必要に応じてＯＳＤデータをサポートし得る。メモリサブシステム１７４とメモリ１３０との間のインタフェースは、５００Mbpsチャネルを提供する並行ＲＤＲＡＭインタフェースであり得る。３つのＲＡＭＢＵＳチャネルが、必要な帯域幅をサポートするために使用され得る。画像プロセッサ１７１と、マクロブロックデコーダ１７２と、外部メモリ１３０を用いて動作するメモリサブシステム１７４とを有する本発明の例示的な実施形態は、Phillipsらの、MPEG VIDEO DECODER HAVING A HIGH BANDWIDTH MEMORYと題され、本明細書に参考として援用される、米国特許第5,623,311号に記載のシステムを使用し得る。図１２は、本発明の例示的な実施形態によってＭＰ＠ＭＬのＭＰＥＧ−２の画像を復号化するために使用される高帯域幅メモリを有する、映像デコーダのようなシステムの高レベルのブロック図である。
要約すると、図１Ａおよび図１Ｂに関連して説明したように、米国特許第5,623,311号は、単一のメモリポートを有する単一の高帯域幅メモリを記載している。メモリ１３０は、入力ビットストリームと、動き補償処理用に使用される第１および第２の参照フレームと、現在復号化されているフィールドを表すイメージデータとを保持する。デコーダは、１）ビットストリームデータを記憶し且つフェッチする回路（画像プロセッサ１７１）と、２）参照フレームデータをフェッチし且つ現在復号化されているフィールド用のイメージデータをブロックフォーマット（マクロブロックデコーダ１７２）に記憶し、そして変換用のイメージデータをラスタ走査フォーマット（表示部１７３）にフェッチする回路とを含む。メモリの動作は、制御動作用のマクロブロックタイム（MblkT）と呼ばれる定義されたメモリアクセス時間を有する、単一の共通メモリポートを用いて時分割多重化されている。
表１０は、複数のフォーマットを支援するＦＳ構成およびＤＣ構成に関する画像記憶要件をまとめている。

ＤＣモードに関しては、１９２０×１０８０の画像が３のファクタによって水平方向に減少され、それにより６４０×１０８０の画像を生じ、そして１２８０×７２０の画像が２のファクタによって水平方向に減少され、それにより６４０×７２０の画像を生じる。７０４×４８０および６４０×４８０の画像は、ＰＣモードでは減少されない。
ビットストリームデータに関して、ＭＰＥＧ−２規格によると、必要とされる最小限のバッファ容量（すなわちＶＢＶバッファサイズ）およびそれ故に必要とされるメモリ記憶容量は、7,995,392ビットである。本発明の好適な実施形態では、ビットストリーム記憶容量は、同期化およびインタフェース処理機能用に10,737,258ビットまで増大され得る。
ＯＳＤ機能性が、１画素につき４ビット、低解像度に関しては１画素につき２ビット、または高解像度に関しては２画素につき３２ビットを用いてオプションとして実行され得る。全画面ＯＳＤに関して、表１１は、例示的な記憶要件を与える。

米国特許第5,623,311号に記載されているように、前述のメモリ記憶容量要件は、ＦＳフォーマット用のさらなる３つの１６MbのＲＤＲＡＭＳ１３１、１３２、１３３を用いて拡張する、ＤＣフォーマット用の３つのＲＡＭＢＵＳチャネルの３つの１６MbのＲＤＲＡＭＳ１３４、１３５、１３６（図１Ａ）を有する拡張可能な構成を用いて実行され得る。
複数のＤＣおよびＦＳフォーマット画像をメモリ１３０に収容することはまた、個々の復号化動作を対応する画像の表示タイミングに従って支援することを必要とする。例えば、プログレッシブ画像は、インタレース画像のレートの二倍（プログレッシブが６０または５９．９４Ｈｚ対インタレースが３０または２９．９７Ｈｚ）で起こり、その結果、プログレッシブ画像はインタレース画像より速く復号化される（プログレッシブが毎秒６０または５９．９４フレーム対インタレースが毎秒３０または２９．９７フレーム）。その結果、復号化レートはフォーマットに関する表示レートによって制約され、毎秒６０または３０フレームの復号化レートではなく、毎秒５９．９７または２９．９７フレームのそれほど厳密でない復号化レートが用いられる場合には、１００１個のフレームごとに１個のフレームが変換から脱落し得る。便宜上、あるフォーマット用の復号化動作は、あるマクロブロック用の全ての復号化動作が完了され得る周期（マクロブロック復号化ごとのクロックサイクル）として定義される、「マクロブロック時間」（MblkT）の単位で計測され得る。この周期を尺度として用いると、式（１４）で定義するように、制御信号およびメモリアクセス動作を、規則的に発生するMblkT周期の間に規定することが可能である。
MblkT（クロックサイクル／マクロブロック）＝システムクロックレート（クロックサイクル／sec.）／フレームレート（フレーム／sec.）／画像サイズ（マクロブロック／フレーム） （１４）
さらに、消去インターバル（blanking interval）はインタレース画像の画像復号化には使用され得ず、時限（time period）に対して８行のマージンが加えられ、８行同時（インタレース）および１６行同時（プログレッシブ）の復号化の助けとなる。それゆえ、式（１５）および（１６）で与えられるような調整ファクタ（AdjFact）が、MblkTに加えられ得る。
AdjFact（インタレース）＝（総行数−垂直空白行数−８）／総行数 （１５）
AdjFact（プログレッシブ）＝（総行数−１６）／総行数 （１６）
表１２は、サポートされたフォーマットのそれぞれに関するMblkTを表にして示す。

本発明の例示的な実施形態では、２４１クロックのMblkTが、小さなマージンを含む最速の復号化時間の要件にかなうように、全てのフォーマットに対して使用される。上記の選択されたMblkT周期に関して、より遅いフォーマット復号化は、復号化動作が起こらない周期を含む。その結果、カウンタが、選択されたMblkT周期における復号化を停止させるために発生させたストールを用いて線形（linear）復号化レートを反映するために使用され得る。
図１Ｂを参照すると、メモリサブシステム１７４は、インターナル画像データインタフェースをマクロブロックデコーダ１７２および表示部１７３に提供しうる。復号化されたマクロブロックインタフェースは、復号化されたマクロブロックデータを受容し、所定のフォーマット用に規定されたメモリマップに従って、メモリ１３０の正しいメモリアドレス位置にそれを記憶する。メモリアドレスは、マクロブロック番号および画像番号から得られ得る。マクロブロックは、３つのチャネルにおいてマクロブロック行として受信され得る。システムクロックレートの１６Mbのメモリ素子（図１Ａの１３１〜１３６）ごとに１チャネルである。各メモリ素子は各画像に対し２つの区画を有し得、各区画は上下のアドレスを使用する。インタレース画像に関しては、一方の区画がフィールド０のデータを搬送し、そして他方の区画がフィールド１のデータを搬送する。プログレッシブ画像に関しては、上下の区画の両方が単一の区画として扱われ、フレーム全体のデータを搬送する。あらゆるマクロブロックは、復号化がフィールド時限中ずっと休止する３：２のプルダウンモードを除いて、あらゆる画像について復号化されそして記憶される。３：２のプルダウンモードでは、毎秒２４フレームのフレームレートを有する信号は、１つのフレームを二度、そして次のフレームを三度表示することによって、毎秒６０フレーム（またはフィールド）で表示される。
参照マクロブロックインタフェースは、記憶された予め復号化された画像データを、動き補償のためにマクロブロックデコーダ１７２に供給する。インタフェースは、双方向予測（Ｂ）符号化、一方向予測（Ｐ）符号化、またはイントラ（Ｉ）符号化に対応して、２つまたは１つのマクロブロックを供給するか、またはマクロブロックを供給しない。各参照ブロックは２つのチャネルを用いて供給され、そして各チャネルはマクロブロックの２分の１を収容している。ＦＳモードに関しては、それぞれの記憶された参照半マクロブロックは、半画素解像度に対する補間を可能にするために、１７×９（Ｙ）、９×５（Ｃ_R）、および９×５（Ｃ_B）であり得る。３のファクタを使用するＤＣモードに関しては、それぞれの取り出された半マクロブロックは、１０×６（Ｙ）、６×４（Ｃ_R）、および６×４（Ｃ_B）である。２の間引きファクタを使用するＤＣモードに関しては、それぞれの取り出された半マクロブロックは、アップサンプリングおよび半画素解像度を実現するために、１４×９（Ｙ）、１０×５（Ｃ_R）、および１０×５（Ｃ_B）である。
表示インタフェースは、Ｙ、Ｃ_R、およびＣ_Bの画素データを単一のチャネル上で多重送信して、取り出された画素データを表示部１７３に提供する。２つの表示チャネルが、インタレースフォーマットからプログレッシブフォーマットへの変換、およびプログレッシブフォーマットからインタレースフォーマットへの変換を支援するために提供され得る。ＤＣモードでは、第１のチャネルは最高４ラインのインタレースまたはプログレッシブデータを同時に提供し得、そして第２のチャネルは最高４ラインのインタレースデータを提供し得る。ＦＳモードでは、第１のチャネルのみが、単一ラインのデータを供給するために使用される。
前述のように、ＭＰＥＧ−２の符号化された映像画像は、メモリに記憶された最高３つの画像を使用することによって復号化され得る。このメモリは、それぞれの領域が画像情報の１つのフィールドを保持する６つの領域に画像情報を記憶し得る。図１３Ａおよび１３Ｂは、入力映像がフィールドフォーマットにある場合の、画像情報の読み取り、記憶、および表示に関連する処理および流れの時間を示す。図１４Ａおよび１４Ｂは、入力映像がフレームフォーマットにある場合の、画像情報の読み取り、記憶、および表示に関連する処理および流れの時間を示す。図１５Ａおよび１５Ｂは、入力映像がプログレッシブシーケンスにあり、且つ表示がインタレースシーケンスにある場合の、画像情報の読み取り、記憶、および表示に関連する処理および流れの時間を示す。図１６Ａおよび１６Ｂは、入力映像がプログレッシブシーケンスにあり、且つ表示がプログレッシブシーケンスにある場合の、画像情報の読み取り、記憶、および表示に関連する処理および流れの時間を示す。図１４Ａおよび１４Ｂならびに図１５Ａおよび１５Ｂでは、表示「Ａ」は、垂直方向の消去の間に復号化が中断されるインターバルを示す。
（II）サポートされたフォーマット用のメモリマップ構成
前述のように、ＭＰＥＧ−２符号化された映像は、図１Ａのメモリ１３０に記憶された３つの画像を用いて復号化され得るが、異なるメモリ容量が、画像フォーマットおよびダウン変換が使用されるかどうかに依存して用いられ得る。その結果、外部メモリマッピングが、参照マクロブロックアクセスに関して利用可能な記憶を効率的に利用するために使用され得る。同様に前述のように、本発明の例示的な実施形態に関して、ＤＣモード用のメモリ容量は、４８Mbitであり、且つＦＳモード用の９６Mbitまで拡張可能である。さらに、外部メモリマッピングは、ＲＤＲＡＭを２Ｋまたは１Ｋのページサイズに適応させ得る。
本発明の例示的な実施形態に関して、メモリサブシステム１７４は、米国特許第5,623,311号において特定されるようなメモリマッピングを使用する。図１７Ａは、ビットストリーム１７３０とイメージデータフィールド１７１０、１７１２、１７１４、１７１６、１７１８、および１７２０とがＦＳモードのＲＤＲＡＭメモリに記憶される方法を示す、メモリマップ図である。図１７Ｂは、１９２０×１０８８のＦＳイメージの例示的なタイプが、２ｋのページサイズを有する９６MbitのＲＤＲＡＭを利用して復号化される場合に、イメージマクロブロックの行がいかにしてメモリ行にマッピングするかを示す、メモリマップである。
ＦＳモードでは、ＲＤＲＡＭは、９６Mbitのメモリを含む。ビットストリーム１７３０は、ＭＰ＠ＨＬイメージ用の最大のＶＢＶバッファサイズとして、メモリの上部アドレス範囲におけるメモリ領域を割り当てられる。それぞれのイメージデータフィールドが図に示すように割り当てられる。ここで、ＸおよびＹの値は一ラインごとの画素の数と、復号化される特定のＭＰ＠ＨＬイメージにおける１フィールドごとのライン数とに依存する。これらの値は、１９２０Ｉのイメージに関しては表１３において提供される。小さなイメージに関しては、各フィールドバッファ区画は、完全に利用された値より小さい。

図１８Ａは、４８MbitのＲＤＲＡＭメモリを使用するＤＣフォーマット用の一般的なメモリマップを示す。図１８Ｂは、１９２０×１０８８のＤＣイメージの例示的なタイプが、３による水平方向の間引きを用い、且つ４８MbitのＲＤＲＡＭおよび２ｋのページサイズを利用して復号化される場合に、イメージマクロブロックの行がいかにしてメモリ行にマッピングされるかを示す、メモリマップ図である。図１８Ａのメモリマップは、５２５Ｉおよび５２５Ｐのイメージに関して表１４Ａにおいて与えられるパラメータに関して説明される。

１２８０×７２０のイメージの事例に関して、このイメージは、４８MbitのＲＤＲＡＭを用いてＦＳモードで記憶され得る。しかし、ＦＳモードではメモリ記憶処理は、２ｋのページサイズを用いる４８MbitのＲＤＲＡＭに記憶された画像に適合するように改変され得る。図１９Ａは、この事例用の４８MbitのＲＤＲＡＭメモリを使用するＦＳフォーマット用の一般的なメモリマップを示す。図１９Ｂは、この事例用の一対の半マクロブロックの行のレイアウトを示す。表１４Ｂは、この事例に関するパラメータの幾つかを与える。

米国特許第5,623,311号に記載のメモリマッピングは、マクロブロックの行ごとに固定した４つのＲＤＲＡＭの行を使用してＭＰ＠ＨＬの復号化画像を記憶する。しかし、例示的な実施形態は、重複要求が異なる素子に対してのみ起こりうるベースＲＤＲＡＭとは逆に、２つのバンクが同一の素子内部で重複要求を有しうる並行ＲＤＲＡＭに基づき得る。好適な実施形態に関して、バンクは同一のマクロブロック行内部の同一のフィールドバッファ内部にインタリーブされている。例えば、画像を記憶するために使用されるＲＤＲＡＭ行の数は、１Ｋ／２Ｋのページサイズおよび水平画素の数に依存して、可変であり得る。１つの方法が最大の画像用のメモリを構成し得、そしてより小さい画像は、メモリ空間を完全に利用することなく、その構成の内部に収容され得る。
例示的な実施形態はまた、マクロブロックの行ごとに３つのＲＤＲＡＭ行を使用してＭＰ＠ＨＬの復号化画像を記憶し得る。このマッピングを図１９Ａおよび１９Ｂに示す。しかし、本発明は、マクロブロック行ごとに可変数のＲＤＲＡＭ行を使用するメモリマッピングを使用して、ＭＰ＠ＨＬおよびＭＰ＠ＭＬの画像を記憶し得る。図に示すように、このマッピングは、マクロブロック行をバンクＡおよびバンクＢからのメモリ行の間にインタリーブする。援用した特許に記載されているように、これにより、２つ以上のメモリ行にまたがるマクロブロックが、メモリ１３０の異なるメモリバンクに重複要求を出すメモリサブシステム１７４によって、素早くアクセスされ得る。このメモリマッピングは、ＦＳモードに適合する。使用された場合、メモリ１３０のこのマッピングは、メモリマッピング処理に対する改変を伴う、４８MbitのＲＤＲＡＭのみを用いる１２８０×７２０の映像信号の完全な規格通りの復号化を支援する。この改変は、３つのＲＤＲＡＭ行を用いて単一のマクロブロック行を保持する。本発明の例示的な実施形態では、バンクインタリーブおよび表示開始ラインカウンタは、マクロブロックごとに３つのＲＤＲＡＭ行をサポートするためにリセットされる。
ダウン変換に関して、ダウンサンプリングされたマクロブロックは、記憶のための単一のマクロブロックに併合される。ＤＣモードのダウンサンプリング処理を、図６Ａおよび図６Ｂを参照して引き続き説明する。図６Ｃは、２によって水平方向にダウン変換するための、メモリ１３０における記憶用の単一のマクロブロックへの２つのマクロブロックの併合処理を示す。図６Ｄは、３によって水平方向にダウン変換するための、メモリ１３０における記憶用の単一のマクロブロックへの３つのマクロブロックの併合処理を示す。
ｄ）表示部のダウンサンプリングおよび表示変換
（Ｉ）低解像度フォーマットのためのダウンサンプリング
ダウンサンプリングは、図２Ｂのダウンサンプリング処理２３２によって実現されて、ダウン変換されたイメージの画素の数を減少させる。図６Ａは、３：１の間引きに関して４：２：０の信号フォーマット用の入力画素および間引きされた出力画素を示す。図６Ｂは、４：２：０のクロミナンスタイプ２：１間引きの入力画素および間引きされた出力画素を示す。表１５は、図６Ａおよび図６Ｂの輝度およびクロミナンス画素についての凡例識別表示である。図６Ａおよび図６Ｂのダウン変換前後の画素位置は、それぞれインタレースされた（３：１の間引き）事例およびプログレッシブの（２：１の間引き）事例である。

インタレースされたイメージのダウンサンプリングに関して、このダウンサンプリングは、１９２０×１０８０画素のイメージから６４０×１０８０画素の水平方向に圧縮したイメージへの変換であり得、３画素ごとに２つを水平軸上で間引きする。例示的な３：１の間引きに関して、ダウン変換処理の後には、３つの異なるマクロブロックのタイプが存在する。図６Ａでは、元のマクロブロックをＭＢ０、ＭＢ１、およびＭＢ２によって表した。ＭＢ０中のダウンサンプリングされた輝度画素は元のマクロブロック中の第１の画素から始まるが、ＭＢ１およびＭＢ２では、ダウンサンプリングされた画素は、第３および第２の画素から始まる。各マクロブロック中のダウンサンプリングされた画素の数も、同じではない。ＭＢ０では６つのダウンサンプリングされた画素が水平方向にあるが、ＭＢ１およびＭＢ２では５つのダウンサンプリングされた画素が存在する。これら３つのＭＢのタイプは反復しているので、モジュロ３の演算が適用される。表１６は、各入力マクロブロックＭＢ０、ＭＢ１、およびＭＢ２に関して、ダウンサンプリング画素の数およびオフセットをまとめている。

プログレッシブフォーマットイメージのダウンサンプリングに関して、輝度信号が２サンプルごとに水平方向にサブサンプリングされる。クロミナンス信号に関して、ダウンサンプリングされた画素は、元のイメージの画素位置の半画素下方の空間的な位置を有する。
（II）表示変換
図１ＢのＡＴＶデコーダ１２１の表示部１７３は、特定の表示フォーマットの記憶された画像情報（復号化画像情報）をフォーマットするために使用される。図１１Ａは、本発明の例示的な実施形態におけるＡＴＶ映像デコーダ１２１の表示部を示す、高レベルのブロック図である。
図１１Ａを参照すると、２つの出力映像信号がサポートされている。第１の出力信号は任意の選択された映像フォーマットをサポートするＶＩＤ_out1であり、そして第２の出力信号は５２５Ｉ（ＣＣＩＲ−６０１）のみをサポートするＶＩＤ_out2である。各出力信号は、水平方向および垂直方向のアップサンプリング／ダウンサンプリングを実施する、表示処理要素の別個のセット１１０１および１１０２によって各々処理される。この構成は、表示アスペクト比が入力画像のアスペクト比に適合しない場合には、好適であり得る。画面上表示（ＯＳＤ）部１１０４が、画面上表示情報を、サポートされた出力信号ＶＩＤ_out1およびＶＩＤ_out2に提供して、表示信号Ｖ_out1またはＶ_out2を形成するために必要に応じて含まれ得る。出力コントローラ１１２６および１１２８における出力信号Ｖ_out1およびＶ_out2の制御を除いて、全ての処理は内部クロックレートで実施される。出力信号Ｖ_out1およびＶ_out2の制御は、画素クロックレートで行われる。好適な実施形態では、画素クロックレートは、輝度画素レートまたは輝度画素レートの２倍であり得る。
処理要素１１０１および１１０２の表示セットは同様に動作するので、表示処理セット１１０１の動作のみを説明する。表示処理セット１１０１を参照すると、画素データの４つのラインが、メモリ１３０（図１Ａに示す）から垂直処理ブロック２８２（図２Ｂに示す）ヘラスタ順に提供される。各ラインは、Ｃ_R、Ｙ、Ｃ_B、Ｙのデータに一度に３２ビットを供給する。次いで、垂直処理ブロック２８２が、４つのラインを１つのラインにフィルタリングし、３２ビットのＣ_RＹＣ_BＹフォーマットのフィルタリングされたデータを水平処理ブロック２８４（同様に図２Ｂに示す）に提供する。水平処理ブロック２８４は、選択されたラスタフォーマットにおける画素の正しい数を、フォーマットされた画素データとして提供する。その結果、水平処理ブロック２８４に入るフィルタリングされたデータレートは、出力データレートと等しい必要はない。アップサンプリングの場合は、入力データレートは出力データレートより低い。ダウンサンプリングの場合は、入力データレートは出力データレートより高い。フォーマットされた画素データは、必要に応じたバックグラウンド処理ブロック１１１０によって挿入されたバックグラウンド情報を有し得る。
当業者に公知であるように、表示部１７３の要素は、マイクロプロセッサインタフェースから読み出され且つマイクロプロセッサインタフェースに書き込まれるパラメータによって設定される、コントローラ１１５０によって制御される。コントローラは信号ＣＮＴＲＬを生成し、そしてそのような制御は、適切な回路動作と、画素のローディングおよび転送と、信号処理とを調整し且つ実現するために必要である。
水平処理ブロック２８４からのデータ、第２の水平処理ブロック２８４ａからのデータ、およびＨＤバイパス１１２２上のＨＤ（未処理）映像データを、マルチプレクサ１１８に提供する。マルチプレクサ１１８は、プロセッサに制御されて（図示せず）、ミキサ１１６に提供される１つの映像データストリームを選択して、その映像データストリームとＯＳＤプロセッサ１１０４からの選択的なＯＳＤデータとを組み合わせ、混合出力映像データを作成する。次いで、混合映像出力データをＭＵＸ１１２０および１１２４に提供する。
処理要素１１０１の第１のセットに関して、ＭＵＸ１１２０は、混合出力映像データ、ＨＤバイパス１１２２からのＨＤデータ、またはバックグラウンド挿入ブロック１１１０からのデータから選択し得る。選択されたデータは、同様に画素クロックを受信する出力制御プロセッサ１１２６に提供される。次いで、出力制御プロセッサ１１２６は、所望の出力モードに従って、データクロックレートを内部処理領域から画素クロックレートに変更する。
第２の処理要素１１０２に関して、ＭＵＸ１１２４は、混合出力映像データ、またはバックグラウンド挿入ブロック１１１０ａからのデータから選択し得る。選択されたデータは、同様に画素クロックを受信する出力制御プロセッサ１１２８に提供される。次いで、出力制御プロセッサ１１２８は、所望の出力モードに従って、データクロックレートを内部処理領域から画素クロックレートに変更する。ＭＵＸ１１３２は、受信したＭＵＸ１１２４の選択したデータ（６０１データ出力）、またはＯＳＤプロセッサ１１０４からの選択的なＯＳＤデータのいずれかを提供する。
ラスタ生成および制御プロセッサ１１３０も画素クロックを受信し、且つラスタスペースを生成するカウンタ（図示せず）を含み、それにより制御命令をライン単位で表示制御プロセッサ１１４０に送信し得る。表示制御プロセッサ１１４０は、タイミングを外部メモリ１３０と協調させ、ラスタラインを用いてライン単位で同期化された、それぞれの処理連鎖１１０１および１１０２について処理を開始する。プロセッサ１１３０はまた、水平同期化信号、垂直同期化信号およびフィールド同期化信号（Ｈ、Ｖ、およびＦ）も生成する。
図１１Ｂ〜１１Ｄは、映像デコーダ１２１の図１１Ａに示す表示部１７３によって提供される出力モードを、図１Ａのアクティブなブロックと関係づける。図１１Ｂは、２７ＭＨｚの二重出力モードを示す。この二重出力モード用の映像データは５２５Ｐまたは５２５Ｉであり、第１のプロセッサ１１０１（図１１Ａに示す）は、２７ＭＨｚのＤＡＣ１４３に５２５Ｐの映像データを提供し、ＮＴＳＣエンコーダ１５２に５２５Ｉのデータ（６０１データ出力）を提供する。図１１Ｃは、２７ＭＨｚの単一信号出力モードでは、５２５Ｉのデータ（６０１データ出力）のみがＮＴＳＣエンコーダ１５２に提供されることを示す。図１１Ｄは、出力モードが入力フォーマットに適合し、且つ出力フォーマットに依存して映像データが２７ＭＨｚのＤＡＣ１４３または７４ＭＨｚのＤＡＣ１４１のいずれかに提供される、７４ＭＨｚ／２７ＭＨｚモードを示す。７４ＭＨｚのＤＡＣは、１９２０×１０８８および１２８０×７２０の画像に使用される。２７ＭＨｚのＤＡＣは、他の全ての出力フォーマットに使用される。
ダウンサンプリングイメージフレームの表示変換は、特定のフォーマットでイメージを表示するために用いられる。前述のように、図２Ｂに示す表示変換ブロック２８０は、低解像度画面上での表示のためにダウン変換されたダウンサンプリングイメージを調整する、垂直処理ブロック（ＶＰＦ）２８２と水平処理ブロック（ＨＺＰＦ）２８４とを含む。
ＶＰＦ２８２は、例示的な実施形態に関して、プログラム可能な多相垂直フィルタとして実装された垂直ライン補間プロセッサであり、そしてＨＺＰＦ２８４は、例示的な実施形態に関して、プログラム可能な水平多相フィルタとして実装された水平ライン補間プロセッサである。フィルタは、プログラム可能であり、多数の表示フォーマットのために表示変換を適応させるための設計オプションである。
図２Ｂに示すように、ダウンサンプリング画素データの４つのラインが、ラスタ順にＶＰＦ２８２に入る。例示的な実施形態に関して、このデータは、一度に３２ビットずつＶＰＦフィルタ２８２に入る、輝度（Ｙ）およびクロミナンス（Ｃ_RおよびＣ_B）の画素対を含む。ＶＰＦフィルタ２８２は、データの４つのラインを１つのラインにフィルタリングし、このラインをそれぞれが輝度およびクロミナンスのデータをＹＣ_RＹＣ_Bで含む３２ビット値としてＨＺＰＦ２８４に送る。次いで、ＨＺＰＦ２８４が、正しい数の画素を生成して所望のラスタフォーマットを適合させる。
図７Ａは、本発明の一実施形態のＶＰＦ２８２として使用するのに適した例示的なフィルタを示す、高レベルのブロック図である。以下に、ＶＰＦ２８２を、一対の出力画素を作成するための入力画素の処理対（それぞれの対が２つの輝度画素すなわちＹと、クロミナンスすなわちＣ_RまたはＣ_B画素とを含む）として説明する。カラー画素がこれらの対応する輝度画素と容易に関連づけられ得るので、これは、４：２：０のフォーマットの処理を促進する。しかし、当業者は、輝度画素のみまたはクロミナンス画素のみがそのように処理され得ることを認識する。
図７Ａを参照すると、ＶＰＦ２８２は、ＶＰＦコントローラ７０２と、輝度画素ＭＵＸ（ＬＰ ＭＵＸ）７０６、７０８、７１０、および７１２とクロミナンス画素ＭＵＸ（ＣＰ ＭＵＸ）７１４、７１６、７１８、および７２０とを含む第１のマルチプレクサネットワークと、輝度フィルタＭＵＸ（ＬＦ ＭＵＸ）７２６、７２８、７３０、および７３２とクロミナンスフィルタＭＵＸ（ＣＦ ＭＵＸ）７３４、７３６、７３８、および７４０とを含む第２のマルチプレクサネットワークと、輝度係数ＲＡＭ７０４と、クロミナンス係数ＲＡＭ７２４と、輝度係数乗算器７４２、７４４、７４６、および７４８と、クロミナンス係数乗算器７５０、７５２、７５４、および７５６と、輝度加算器７６０、７６２、および７６４と、クロミナンス加算器７６６、７６８、および７７０と、丸めおよび切り取り（round and clip）プロセッサ７７２および７７６と、ＤＥＭＵＸ／レジスタ７７４および７７８と、出力レジスタ７８０を含む。
次に、ＶＰＦ２８２の動作を説明する。垂直方向の再サンプリングは、１つが輝度画素用、１つがクロミナンス画素用の、２つの４−タップ多相フィルタを用いて達成される。クロミナンス画素用の動作は類似しているので、以下は、輝度画素用のフィルタの動作のみを詳述するが、話の流れの中で相違があれば、その都度指摘する。輝度画素の垂直フィルタリングは４−タップ多相フィルタで最高８相を使用することが可能であり、クロミナンス画素のフィルタリングは、例示的な実施形態においての４−タップ多相フィルタで最高１６相を使用することが可能である。フィールドまたはフレームの開始時には、ＶＰＦコントローラ７０２が垂直多相フィルタをリセットし、制御タイミングを第１および第２のマルチプレクサネットワークに提供し、多相フィルタ相用の輝度係数ＲＡＭ７０４およびクロミナンス係数ＲＡＭ７２４から係数の組を選択し、そして、フィールドまたはフレームが処理される間、フィールドまたはフレームのそれぞれのラインを数えるカウンタを含む。
ＶＰＦコントローラ７０２は、ＭＵＸのネットワークの動作と多相フィルタの動作との調整に加えて、復号化された画像における垂直方向の位置の整数および分数部を追跡することによって、表示ラインを追従する。整数部はどのラインにアクセスすべきかを示し、分数部はどのフィルタ相を使用すべきかを示す。さらに、分数部の計算にモジュロＮ演算を使用することによって、９対５のような正確なダウンサンプリング比に関して効率的であり得る、１６個未満の相が使用され得る。分数部は、常に、使用されているモジュロＮの相の１つまで切り捨てられる。
図７Ａに示すように、４つのイメージラインからの輝度およびクロミナンス画素の対は、クロミナンス経路と輝度経路とに分離される。輝度経路の１６ビットの画素対データは、さらにＬＰ ＭＵＸ７０６、７０８、７１０、および７１２によって、８ビットの偶数（Ｙ−偶数）のフォーマットと８ビットの奇数（Ｙ−奇数）のフォーマットとに多重化され得る。クロミナンス経路の１６ビットの画素対は、ＣＰ ＭＵＸ７１４、７１６、７１８、および７２０によって、８ビットのＣ_Rフォーマットと８ビットのＣ_Bフォーマットとに多重化され得る。輝度フィルタＭＵＸ７０６、７０８、７１０、および７１２が、フィルタ画素の境界を多相フィルタ動作において重複させるために、復号化イメージの境界において最上位ラインの画素値と最下位ラインの画素値とを反復させるよう用いられる。
次いで、輝度画素情報およびクロミナンス画素情報に対応する４つのラインについての画素対を、個々の多相フィルタを介して送る。フィルタ相に関する画素値に重みづけする、乗算器７４２、７４４、７４６、および７４８によって用いられる係数は、プログラムされたアップまたはダウンサンプリングファクタに基づいて、ＶＰＦコントローラ７０２によって選択される。重みづけされた輝度画素情報を加算器７６０、７６２、および７６４で結合した後、８ビット値を提供する丸めおよび切り取りプロセッサ７７２に値を付与する（というのも、係数の乗算は、高い精度で発生するからである）。ＤＥＭＵＸレジスタ７７４は、補間された８ビットの偶数（Ｙ−偶数）の輝度値に対応する第１の８ビット値と、補間された８ビットの奇数（Ｙ−奇数）値に対応する第２の８ビット値とを受信し、１６ビットの垂直フィルタリングされた輝度画素を提供する。レジスタ７８０は、輝度経路およびクロミナンス経路の垂直フィルタリングされた画素を収集し且つ提供し、それらを輝度およびクロミナンスの画素対を含む垂直フィルタリングされた３２ビット値として提供する。
図７Ｂは、係数とラインのサンプル空間との間の空間的な関係を示す。輝度およびクロミナンスの多相フィルタ経路のための係数は、それぞれの係数のセットに割り当てられた４０ビットを各々有しており、各相につき１つの係数セットが存在する。係数は、分母が５１２の分数であると解釈される。係数は、左から右、すなわちＣ０からＣ３へ４０ビットのワードで配置される。Ｃ０およびＣ３は符号付きの１０ビットの２の補数値であり、Ｃ１およびＣ２は、例えば−２５６〜７６７の所定の範囲を有する１０ビットであり、実質的に１１ビットの２の補数値に各々変換されている。
図７Ａは、必要に応じた輝度係数調整７８２およびクロミナンス係数調整７８４とを含む。これらの係数調整７８２および７８４は、Ｃ１およびＣ２の１１ビットの２の補数を得るために使用される。ビット８および９（最上位ビット）が両方とも１であれば、１１ビット数の符号は１（負）であり、そうでない場合には値は正である。
図８Ａは、本発明の実施形態のＨＺＰＦ２８４として使用するのに適した例示的なフィルタを示す、高レベルのブロック図である。ＨＺＰＦ２８４は、３２ビットのデータであり得る輝度画素情報およびクロミナンス画素情報の対をＶＰＦ２８２から受信する。ＨＺＰＦ２８４は、ＨＺＰＦコントローラ８０２と、Ｃ_Rラッチ８０４と、Ｃ_Bラッチ８０６と、Ｙラッチ８０８と、選択ＭＵＸ８１０と、水平フィルタ係数ＲＡＭ８１２と、乗算ネットワーク８１４と、加算ネットワーク８１６と、丸めおよび切り取りプロセッサ８１８と、ＤＥＭＵＸレジスタ８２０と、出力レジスタ８２２とを含む。
水平方向の再サンプリングは、８タップ、８相の多相フィルタを使用することによって達成される。表示画素の生成は、ＨＺＰＦコントローラ８０２によって、復号化され且つダウンサンプリングされた画像における水平方向の位置の整数および分数部を追跡することによって、調整される。整数部はどの画素にアクセスすべきかを示し、分数部はどのフィルタ相を使用すべきかを示す。分数部の計算にモジュロＮ演算を用いることによって、Ｎ個未満の相が使用され得る。例えば、９対５のような正確なダウンサンプリング比が用いられる場合には、これは有用であり得る。ダウンサンプリング比を単純な分数として表すことが不可能な場合には、分数部はＮ相の１つまで切り捨てられる。本発明の例示的な実施形態のＨＺＰＦ２８４は、画素対をフィルタリングし、平坦な画素の境界における整合を使用して、４：２：０のフォーマット化画像の処理を促進し、且つＣ_RおよびＣ_B画素（カラー画素）を対応するＹ画素と共に維持する。
次に、図８Ａを参照して、ＨＺＰＦ２８４の動作を説明する。水平方向のラインの開始時には、ＨＺＰＦコントローラ８０２が、水平多相フィルタをリセットし、制御タイミングを第１および第２のマルチプレクサネットワークに提供し、多相フィルタのそれぞれの相に関するＣ_R、Ｃ_BおよびＹのフィルタ係数用の水平係数ＲＡＭ８１２から係数のセットを選択し、且つ処理用のＣ_R、Ｃ_BおよびＹの値のそれぞれのセットを選択する。さらに、水平方向の位置がラインの左側または右側に近い場合には、ＨＺＰＦコントローラ８０２が、エッジ画素値を強制的に反復させるか、または８−タップ多相フィルタの使用のため０に設定する。この単純化によって発生する、イメージにおけるいかなる歪みも、通常は、表示されたイメージの走査外の部分に隠れる。
ＶＰＦ２８２から受信された画素データは、Ｙ、Ｃ_RおよびＣ_B値に分離される。これらの値は、フィルタリングのためのＣ_Rラッチ８０４と、Ｃ_Bラッチ８０６と、Ｙラッチ８０８に個別にラッチされる。次いで、ＨＺＰＦコントローラ８０２が、選択ＭＵＸ８１０への適切な信号によって、Ｙ、Ｃ_R、およびＣ_Bの値を選択する。例示的な実施形態では、さらなるラッチを使用するより多くのＹの値がＹ輝度ラッチ８０８に存在する。同時に、ＨＺＰＦコントローラ８０２は、水平フィルタ係数ＲＡＭ８１２への制御信号によってプログラムされたアップサンプリングまたはダウンサンプリングの値に基づいて、フィルタ相、およびＣ_RまたはＣ_BまたはＹの値に関する適切なフィルタ係数を選択する。
次いで、水平フィルタ係数ＲＡＭ８１２が、入力画素値との乗算のための乗算ネットワーク８１４の個々の要素に係数を出力して、重みづけされた画素値を作成する。重みづけされた画素値は、加算ネットワーク８１６で結合されて、水平方向にフィルタリングされたＣ_R、Ｃ_B、またはＹの値を作成する。
加算ネットワーク８１６で重みづけされた画素値を結合した後、水平方向にフィルタリングされた画素値を、８ビットの値を提供する丸めおよび切り取りプロセッサに付与する（というのも、係数の乗算は、高い精度で発生するからである）。ＤＥＭＵＸレジスタ８２０は、一連のＣ_R値に対応する８ビット値と、８ビットの偶数（Ｙ−偶数）のＹの値と、８ビットのＣ_Bの値と、そして最後に８ビットの奇数（Ｙ−奇数）のＹの値とを受信する。ＤＥＭＵＸレジスタ８２０は、これらの値を、３２ビット値（Ｙ偶数、Ｃ_R、Ｙ奇数、Ｃ_B）を有する水平方向にフィルタリングされた輝度およびクロミナンスの画素の対に多重化する。レジスタ８２２は、画素対を垂直方向および水平方向にフィルタリングされた３２ビットの画素の輝度およびクロミナンスの画素対として記憶し且つ提供する。
図８Ｂは、水平フィルタ係数ＲＡＭ８１２に記憶され且つ多相フィルタにおいて使用される係数と、水平ライン用のダウンサンプリングされたイメージの画素サンプル値との間の空間的な関係を示す。例示的な実施形態用の係数は、左から右、すなわちＣ０からＣ７へ、６４ビットワードで配置される。係数Ｃ０、Ｃ１、Ｃ６およびＣ７は符号付きの７ビットの２の補数値であり、Ｃ２およびＣ５は符号付きの８ビットの２の補数値であり、そしてＣ３およびＣ４は−２５６〜７６７の範囲を表す１０ビットの２の補数値である。Ｃ３およびＣ４の１１ビットの２の補数値は、調整を利用して得られる。ビット８およびビット９（最上位ビット）の両方が１であれば、１１ビット値の符号は１（負）であり、そうでない場合には値は０（正）である。全ての係数は、分母が５１２の分数であると解釈される。
表１７は、示されたフォーマットの変換を実施する、本発明の例示的な実施形態におけるＶＰＦ２８２およびＶＰＦ２８４の係数を表にして示す。

表示変換システムの例示的な実施形態では、水平変換は、図２Ｂに示すように、ＤＣＴ領域フィルタ２１６およびダウンサンプリングプロセッサ２３０によって部分的に実施される。これらは、変換が１１２５Ｉからであれ７５０Ｐからであれ、同じ数の水平画素（６４０個）を提供する。従って、ＨｚＰＦ２８４は、これらの信号をアップサンプリングして、１ラインにつき７２０個のアクティブな画素を提供し、５２５Ｐあるいは５２５Ｉの信号を変更せずに送り出す。というのも表１および表２において示したように、これらの信号は１ラインにつき７２０個のアクティブ画素をもっているので、水平フィルタの係数値は、４８０Ｐ／４８０Ｉ／５２５Ｐ／５２５Ｉへの変換に拘わらず変化しないからである。これらの水平フィルタ係数を表１８において与える。

さらに、ＨＺＰＦ２８４がプログラム可能であることにより、非直線的水平走査が可能である。図９Ａは、本発明と共に用いられ得る再サンプリング比のプロファイルを示す。図に示すように、ＨＺＰＦ２８４の再サンプリング比は、水平走査線の全体に亘って変化し得、且つ区分的に直線的な様式で変化し得る。図９Ａの例示的な構成では、再サンプリング比は、走査線の最初では走査線の第１の点まで直線的に増大（または減少）し、第１の点から第２の点に到達するまで一定に保たれ、第２の点から直線的に減少（または増大）する。図９Ａを参照すると、ｈ＿初期＿再サンプリング比は、ある画像に対する初期の再サンプリング比であり、ｈ＿再サンプリング＿比率＿変化は、再サンプリング比における１画素ごとの第１の変化であり、−ｈ＿再サンプリング＿比率＿変化は、再サンプリング比における１画素ごとの第２の変化であり、そしてｈ＿再サンプリング＿比率＿維持＿列およびｈ＿再サンプリング＿比＿逆転＿列は、表示列の画素の点であり、これらの点の間では、再サンプリングは一定に保たれる。数値表示＿幅は、画像ラインの最後の画素（列）である。
図９Ｂおよび９Ｃは、４：３の画像を１６：９のディスプレイ上にマッピングするための比率のプロファイルを示す。この比率は、入力値対出力値という観点で定義されるので、４／３は４対３によるダウンサンプリングであり、１／３は１対３によるアップサンプリングである。図９Ｂおよび９Ｃに示す比率のプロファイルは、７２０個のアクティブな画素を有する入力画像イメージを、７２０個のアクティブな画素を有するディスプレイにマッピングする。例えば、図９Ｂでは、４：３のアスペクト比のディスプレイから１６×９のアスペクト比のディスプレイへのマッピングは、４／３のダウンサンプリングを用いるが、ディスプレイの全てのサンプルを満たすには、水平方向のラインの全体に亘って１／１の平均値が必要である。その結果、図９Ｂのプロファイルは、端部の値がディスプレイをうめるためにアップサンプリングされるのに対して、表示画素２４０と４８０との間の中央部では、正しいアスペクト比を有する。図９Ｄおよび９Ｅは、１６×９のディスプレイイメージから４：３のディスプレイへのリサイズのために用いられるプロファイルを示し、このプロファイルは、図９Ｂおよび９Ｃに示すプロファイルの逆である。
本発明の例示的な実施形態による再サンプリング比のプロファイルの使用効果が、図１０に図示されている。１６×９または４×３いずれかのアスペクト比を有する映像伝送フォーマットは１６×９または４×３のいずれかで表示され得るが、元の映像画像は表示領域内部に適合するように調整され得る。その結果、元の映像画像は、全面にか、拡大されるか、圧縮されるか、または可変的に伸長／縮小されて示され得る。
本発明の例示的な実施形態を本明細書に示し且つ説明してきたが、そのような実施形態は例証のためにのみ提供されることが理解されるであろう。当業者は、多数の改変、変更、および代用を本発明の精神から逸脱することなく想到するであろう。従って、添付した請求項は、そのような全ての改変を本発明の範囲内にあるとして網羅する。

Claims (27)

1. デジタル映像デコーダであって、
   第１の空間解像度を有する映像を表す符号化された映像信号を受信する端子であって、前記第１の空間解像度は、第１の方向の単位長さ当たりの画素数である第１の数と、第２の方向の単位長さ当たりの画素数である第２の数とによって定義される、端子と、
   前記受信した符号化された映像信号を復号化して、前記第１の空間解像度を有する復号化された映像信号を提供するように第１のモードで動作し、第２の空間解像度を有する復号化された映像信号を提供するように第２のモードで動作する復号化回路であって、前記第２の空間解像度は、前記第１の方向の単位長さ当たりの画素数である第３の数と、前記第２の方向の単位長さ当たりの画素数である第４の数とによって定義され、前記第３の数が前記第１の数よりも小さく、かつ、前記第４の数が前記第２の数と等しいか、前記第３の数が前記第１の数と等しく、かつ、前記第４の数が前記第２の数よりも小さいかのいずれかである、復号化回路と、
   前記復号化された映像信号を格納するメモリと、
   空間フィルタを含むフォーマット回路であって、前記復号化回路が前記第２のモードで動作する場合には、前記空間フィルタは、フォーマット制御信号に応答して前記格納された復号化された映像信号を処理することにより、前記復号化された映像信号の前記第２の空間解像度の前記第３の数および前記第４の数のうちの少なくとも一方を変更し、前記第１の空間解像度に等しい空間解像度を有する少なくとも１つの表示映像信号を生成する、フォーマット回路と、
   前記第１のモードと前記第２のモードとの間で前記デコーダを切り替え、前記フォーマット回路に前記フォーマット制御信号を提供する制御手段と
   を備えた、デジタル映像デコーダ。
2. 前記符号化された映像信号が、周波数領域変換を用いて符号化され、前記復号化回路が、前記周波数領域変換された映像信号をフィルタリングする回路と、前記符号化された映像信号を逆周波数領域変換に従って復号化する回路とを含む、請求項１に記載のデジタル映像デコーダ。
3. 前記映像デコーダに付与された前記符号化された映像信号が、高精細度映像タイプおよび標準精細度映像タイプのうちの１つであり、各映像タイプが、走査信号タイプを有し、前記走査信号タイプが、プログレッシブフォーマットおよびインタレースフォーマットからなる群より選択され、
   前記デジタル映像デコーダは、
   前記符号化された映像信号に応答して、前記符号化された映像信号の走査信号タイプを決定する手段と、
   走査信号タイプを有する走査信号を受信する手段と、
   各表示映像信号の表示空間解像度を改変することにより、１）前記映像デコーダが前記第１のモードで動作する場合には、前記符号化された映像信号の走査信号タイプを有する前記表示映像信号を提供し、２）前記映像デコーダが前記第２のモードで動作する場合には、前記走査信号の走査信号タイプを有する前記表示映像信号を提供する手段と
   をさらに備えている、請求項１に記載のデジタル映像デコーダ。
4. 各走査信号タイプが、表示フォーマットをさらに含み、
   前記フォーマット回路が、
   前記符号化された映像信号に応答して、前記走査信号タイプの元の表示フォーマットを決定する手段と、
   前記元の表示フォーマットとは異なる他の表示フォーマットを受信する手段と
   をさらに含み、
   前記表示空間解像度を改変する手段が、１）前記映像デコーダが前記第１のモードで動作する場合には、前記符号化された映像信号の前記元の表示フォーマットを有する前記表示映像信号をさらに提供し、２）前記映像デコーダが前記第２のモードで動作する場合には、前記他の表示フォーマットを有する前記表示映像信号をさらに提供する、請求項３に記載のデジタル映像デコーダ。
5. 前記元の表示フォーマットおよび前記他の表示フォーマットのそれぞれが、アスペクト比を含み、前記映像信号が前記元の表示フォーマットによって規定される複数の画素群によって表され、前記映像デコーダが前記第２のモードで動作する場合には、前記表示空間解像度を改変する手段が、複数のサンプリング比を表すサンプリング比プロファイルに従ってサンプリング比を前記複数の画素群の選択された群に適用することによって、前記元の表示フォーマットを前記他の表示フォーマットに改変する、請求項４に記載のデジタル映像デコーダ。
6. 前記サンプリング比プロファイルが、少なくとも第１および第２のセクションを含み、前記第１および第２のセクションのそれぞれが、サンプリング比を有し、前記第１および第２のセクションのサンプリング比が、互いに異なるように変化し、かつ、前記元の表示フォーマットのアスペクト比と前記他の表示フォーマットのアスペクト比との間で変化する、請求項５に記載のデジタル映像デコーダ。
7. 前記映像信号が、前記元の表示フォーマットによって規定される複数の画素群によって表されるイメージであり、
   前記表示空間解像度を改変する手段が、変換手段を含み、
   前記映像デコーダが前記第２のモードで動作する場合には、前記変換手段は、サンプリング比プロファイルに従ってサンプリング比を前記複数の画素群の選択された群に適用することによって、前記イメージの前記元の表示フォーマットのアスペクト比を前記他の表示フォーマットのアスペクト比に変換する、請求項４に記載のデジタル映像デコーダ。
8. 前記変換手段によって適用されたサンプリング比プロファイルが、少なくとも第１および第２のセクションを含み、前記第１および第２のセクションのそれぞれが、サンプリング比を有し、前記第１および第２のセクションのサンプリング比が、互いに異なるように変化し、かつ、前記元の表示フォーマットのアスペクト比と前記他の表示フォーマットのアスペクト比との間で変化し、前記変換手段が、前記サンプリング比プロファイルに従って前記複数の画素群のそれぞれをサンプリングすることによって、前記元の表示フォーマットのアスペクト比を有する複数の画素群によって表されるイメージを前記他の表示フォーマットのアスペクト比を有する新しいイメージに変換する、請求項７に記載のデジタル映像デコーダ。
9. 前記変換手段によって適用されたサンプリング比プロファイルが、少なくとも第１および第２のセクションを含み、前記第１および第２のセクションのそれぞれが、サンプリング比を有し、前記第１および第２のセクションのサンプリング比が、互いに異なるように変化し、かつ、前記元の表示フォーマットのアスペクト比と前記他の表示フォーマットのアスペクト比との間で変化し、前記変換手段が、前記複数の画素群のうちの選択された群をサンプリングする一方で前記複数の画素群のうちの残りの群を消去することによって、前記元の表示フォーマットのアスペクト比を有する複数の画素群によって表されるイメージを前記他の表示フォーマットのアスペクト比を有する新しいイメージに変換する、請求項７に記載のデジタル映像デコーダ。
10. 前記変換手段が、１）１６×９の比率を有する前記元の表示フォーマットのアスペクト比と、４×３の比率を有する前記他の表示フォーマットのアスペクト比との間で、２）４×３の比率を有する前記元の表示フォーマットのアスペクト比と、１６×９の比率を有する前記他の表示フォーマットのアスペクト比との間で、前記アスペクト比を変換する、請求項７に記載のデジタル映像デコーダ。
11. 表示タイプ信号を受信するユーザインタフェース手段をさらに備え、前記表示タイプ信号が、ＳＤＴＶ、Ｓ−映像、ＨＤＴＶ、コンピュータモニタからなる群より選択された表示タイプを示し、前記フォーマット回路が対応する前記表示タイプに対する前記表示映像信号をフォーマットするように、前記制御手段が前記表示タイプ信号によって示される表示タイプを有するフォーマット制御信号をさらに提供する、請求項１に記載のデジタル映像デコーダ。
12. 前記復号化回路が、メモリを含み、前記メモリが、第１および第２の区分を有し、前記第１および第２の区分のそれぞれが、互いに異なるタイプのデータを格納し、前記映像デコーダが前記第１のモードで動作する場合には、前記復号化回路が前記メモリの前記第１および第２の区分の両方を使用し、前記映像デコーダが前記第２のモードで動作する場合には、前記復号化回路が前記メモリの前記第１および第２の区分のうちの一方を使用する、請求項１に記載のデジタル映像デコーダ。
13. 前記デジタル映像デコーダが、符号化された映像信号を受信し、復号化し、第１および第２のモードのうちの一方で動作し、前記映像デコーダが、表示解像度と表示フォーマットとを有する表示映像信号として前記映像信号を提供する、請求項１に記載のデジタル映像デコーダ。
14. 前記第２のモードにおいて、前記映像デコーダが、映像を表す前記符号化された映像信号から前記表示空間解像度を有する前記表示映像信号を形成し、前記符号化された映像信号が、周波数領域変換された高解像度の映像信号であり、
    前記復号化手段が、
    前記符号化された映像信号を複数の高解像度周波数領域映像係数値として受信し、提供する手段と、
    前記複数の高解像度周波数領域映像係数値のうちの選択された値を受信し、重みづけすることにより、１組のフィルタリングされた周波数領域映像係数を形成するダウン変換フィルタ手段と、
    前記フィルタリングされた周波数領域映像係数を１組のフィルタリングされた画素サンプル値に変換する逆変換手段と
    を含み、
    前記空間フィルタが、前記１組のフィルタリングされた画素サンプル値のうちの選択された値を削除することにより、前記表示空間解像度を有する前記表示映像信号を提供する間引き手段を含む、請求項１３に記載のデジタル映像デコーダ。
15. 前記周波数領域変換された映像信号が離散コサイン変換（ＤＣＴ）動作によって変換されることにより、前記複数の高解像度周波数領域値のそれぞれをＤＣＴ係数として提供し、前記ダウン変換フィルタ手段が、選択されたＤＣＴ係数のそれぞれを重みづけし、前記逆変換手段が、前記周波数領域映像係数を逆離散コサイン変換（ＩＤＣＴ）動作によって変換する、請求項１４に記載のデジタル映像デコーダ。
16. 前記ダウン変換フィルタ手段が、前記映像信号のサンプリング周波数を間引き率で除算することによって決定されるカットオフ周波数を有する低域通過フィルタである、請求項１４に記載のデジタル映像デコーダ。
17. 前記ダウン変換フィルタ手段が、隣接する高解像度周波数領域映像係数値に基づいて前記複数の高解像度周波数領域映像係数値のうちの失なったもののそれぞれをシミュレートする低域通過ブロック反射フィルタの複数の周波数領域係数を含み、前記低域通過ブロック反射フィルタが、所定数のタップを有する、請求項１４に記載のデジタル映像デコーダ。
18. 前記ダウン変換フィルタ手段が、１組の周波数領域フィルタ係数によって表される低域通過フィルタであり、前記ダウン変換フィルタ手段が、前記１組の周波数領域フィルタ係数を前記複数の高解像度周波数領域映像係数値に乗算することによって、前記複数の高解像度周波数領域映像係数値のうちの選択された値を重みづけする、請求項１４に記載のデジタル映像デコーダ。
19. 前記間引き手段が、間引き率に従って前記１組のフィルタリングされた画素サンプル値をダウンサンプリングする、請求項１４に記載のデジタル映像デコーダ。
20. 前記第２のモードにおいて、前記映像デコーダが、映像を表す前記符号化された映像信号から前記表示空間解像度を有する前記表示映像信号を形成し、前記符号化された映像信号が、周波数領域変換された高解像度の映像信号であり、
    前記復号化手段が、
    前記符号化された映像信号を複数の周波数領域映像係数値として提供する手段と、
    前記複数の周波数領域映像係数値を１組のフィルタリング逆変換係数と組み合わせることにより、１組のフィルタリングされた画素サンプル値を生成する組み合わせ手段と
    を含み、
    前記フィルタリング逆変換係数が、ダウン変換のための１組の重みづけ係数と周波数領域から空間領域への変換のための１組の逆変換係数とを組み合わせたものであり、
    前記空間フィルタは、前記１組のフィルタリングされた画素サンプル値のうちの選択された値を削除することにより、１組の間引きされた画素サンプル値を生成する間引き手段を含み、
    前記映像デコーダが、前記１組の間引きされた画素サンプル値を格納し、前記格納された１組の間引きされた画素サンプル値を前記表示空間解像度を有する前記表示映像信号として提供する手段を含む、請求項１３に記載のデジタル映像デコーダ。
21. 前記デジタル映像デコーダが、符号化された映像部分と符号化された音声部分とを有する符号化された映像信号を受信し、
    前記デジタル映像デコーダが、
    前記符号化された映像信号を受信するように結合され、前記符号化された映像信号を前記符号化された映像部分と前記符号化された音声部分とに分離するトランスポートデコーダと、
    前記メモリと前記復号化回路と前記フォーマット回路とを含む映像デコーダと、
    前記音声部分を復号化し、それぞれの対応する前記表示映像信号に前記音声部分を提供する音声デコーダと
    を含み、
    前記メモリが、第１および第２の区分を有し、前記第１および第２の区分のそれぞれが互いに異なるタイプのデータを格納し、
    前記復号化回路は、前記受信した符号化された映像部分を復号化することにより、解像度を有する前記映像信号の映像部分を提供し、
    前記映像デコーダが、
    前記復号化回路に結合され、前記デコーダが前記第２のモードで動作する場合に、前記受信した符号化された映像部分をデジタル形式でフィルタリングすることにより、解像度を有するフィルタリングされた映像部分を提供するデジタルフィルタリング回路を含み、
    前記フィルタリングされた映像部分の解像度が、前記映像信号の前記映像部分の解像度より高くなく、
    前記映像デコーダが前記第１のモードで動作する場合には、前記復号化回路が前記メモリの前記第１および第２の区分を使用して前記符号化された映像部分を復号化し、前記デジタルフィルタリング回路が使用可能であり、かつ、前記映像デコーダが前記第１のモードで動作する場合には、前記復号化回路が前記第１の区分を使用して前記符号化された映像部分を復号化し、
    前記フォーマット回路が、少なくとも１つの受信した表示フォーマットに従って前記映像信号の前記映像部分をフォーマットし、
    前記フォーマット回路が、
    前記映像部分をそれぞれの出力ポートにおけるそれぞれの表示フォーマットを有する少なくとも１つの表示映像信号として提供する手段であって、前記映像デコーダが前記第１のモードで動作する場合には、前記少なくとも１つの表示映像信号が前記映像信号の前記映像部分の解像度を有する、手段と、
    前記フィルタリングされた映像部分をそれぞれの出力ポートにおけるそれぞれの表示フォーマットを有する少なくとも１つの表示映像信号として提供する手段であって、前記デジタル映像デコーダが前記第２のモードで動作する場合には、前記少なくとも１つの表示映像信号が前記映像信号の前記フィルタリングされた映像部分の対応する解像度を有する、手段と
    を含む、請求項１に記載のデジタル映像デコーダ。
22. 前記それぞれの出力ポートにおける前記少なくとも１つの表示映像信号が、前記デジタル信号をアナログ信号に変換するデジタル／アナログコンバータに提供されるデジタル信号であり、前記アナログ信号が、デジタル／アナログ変換のサンプリングアーティファクトをフィルタリングするフィルタに提供される、請求項２１に記載のデジタル映像デコーダ。
23. 前記１つの表示映像信号をＮＴＳＣ解像度を有する信号にダウン変換する変換手段と、
    前記変換された１つの表示映像信号をＮＴＳＣフォーマット化映像信号として符号化する符号化手段と
    をさらに備えている、請求項２１に記載のデジタル映像デコーダ。
24. 前記映像信号が映像を表し、前記映像が、高精細度映像およびコンピュータによって生成された画像のうちの少なくとも１つであり、周波数領域符号化された後にトランスポート符号化されており、前記トランスポートデコーダが、前記トランスポート符号化された映像を受信し、復号化することにより、前記周波数領域符号化された映像を前記符号化された映像信号として前記映像デコーダに提供する通信インタフェースを含む、請求項２１に記載のデジタル映像デコーダ。
25. 前記符号化された映像信号が、周波数領域変換を用いて符号化されており、前記復号化回路が、前記周波数領域変換された映像信号をフィルタリングする回路と、逆周波数領域変換に従って前記符号化された映像信号を復号化する回路とを含む、請求項１５に記載のデジタル映像デコーダ。
26. デジタル映像デコーダを用いて、第１の空間解像度を有する映像を表す符号化された映像信号を復号化する方法であって、前記第１の空間解像度は、第１の方向の単位長さ当たりの画素数である第１の数と、第２の方向の単位長さ当たりの画素数である第２の数とによって定義され、
    ａ）前記受信した符号化された映像信号を復号化して、ｉ）前記デジタル映像デコーダが第１のモードで動作する場合には、前記第１の空間解像度を有する復号化された映像信号を提供し、ii）前記デジタル映像デコーダが第２のモードで動作する場合には、第２の空間解像度を有する復号化された映像信号を提供する工程であって、前記第２の空間解像度は、前記第１の方向の単位長さ当たりの画素数である第３の数と、前記第２の方向の単位長さ当たりの画素数である第４の数とによって定義され、前記第３の数が前記第１の数よりも小さく、かつ、前記第４の数が前記第２の数と等しいか、前記第３の数が前記第１の数と等しく、かつ、前記第４の数が前記第２の数よりも小さいかのいずれかである、工程と、
    ｂ）前記復号化された映像信号をメモリに格納する工程と、
    ｃ）コントローラによって、フォーマット制御信号を提供する工程と、
    ｄ）前記デジタル映像デコーダが前記第２のモードで動作する場合には、前記フォーマット制御信号に従って、前記格納された復号化された映像信号をフィルタリングすることにより、前記復号化された映像信号の前記第２の空間解像度の前記第３の数および前記第４の数のうちの少なくとも一方を変更する工程であって、前記フィルタリングされた復号化された映像信号が、前記第１の空間解像度に等しい空間解像度を有する、工程と、
    ｅ）１）前記デジタル映像デコーダが前記第１のモードで動作する場合には、前記第１の空間解像度を有する前記復号化された映像信号から少なくとも１つの表示映像信号を生成し、
    ２）前記デジタル映像デコーダが前記第２のモードで動作する場合には、前記第１の空間解像度に等しい空間解像度を有する前記フィルタリングされた復号化された映像信号から少なくとも１つの表示映像信号を生成する工程と
    を包含する、方法。
27. 前記符号化された映像信号が、周波数領域変換された高解像度映像信号であり、
    前記方法は、
    前記符号化された映像信号を複数の高解像度周波数領域映像係数値として提供する工程と、
    前記複数の高解像度周波数領域映像係数値のうちの選択された値を重みづけすることにより、１組のフィルタリングされた周波数領域映像係数を形成する工程と、
    前記フィルタリングされた周波数領域映像係数を１組のフィルタリングされた画素サンプル値に変換する工程と、
    前記１組のフィルタリングされた画素サンプル値のうちの選択された値を削除することにより、前記表示空間解像度を有する前記表示映像信号を提供する工程と
    をさらに包含する、請求項２６に記載の方法。

Images