JP3591083B2 - デジタル高精細および／またはデジタル標準精細テレビジョン信号を復号化するためのデジタルビデオデコーダ - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオデコーダに係り、さらに詳細には、高精細テレビジョン（ＨＤＴＶ）信号および／または標準精細テレビジョン（ＳＤＴＶ）信号を復号化できるビデオデコーダを与える方法および装置に関する。
【０００２】
【従来の技術】
良好な画質を与えるとともに、アナログＮＴＳＣテレビジョン信号を用いて現に可能な帯域幅を越えるスペクトル帯域幅を一層効率的に使用する方法として、テレビジョン放送および他の形のビデオおよびオーデオ信号の送信のために、アナログ信号に対抗してデジタル信号を使用することが提案されている。
【０００３】
国際標準化機構は、デジタルテレビジョンへの用途が期待されている圧縮デジタルデータを発生するためのビデオデータ圧縮の基準を設定している。この基準を、ＩＳＯ ＭＰＥＧ（国際標準化機構 動画専門家グループ）基準として参照する。ＭＰＥＧ基準によれば、ビデオデータは離散的余弦変換符号化方法を用いて符号化され、送信用に可変長符号化データパケットに配列される。
【０００４】
ＭＰＥＧ基準のひとつのバージョンであるＭＰＥＧ−２が、「情報工学 動画とその音声の一般符号化」（Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ − Ｇｅｎｅｒｉｃ Ｃｏｄｉｎｇ ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ａｎｄ Ａｓｓｏｃｉａｔｅｄ Ａｕｄｉｏ）と題する国際標準化機構 動画専門家グループ、推薦ドラフト Ｈ．２６２，ＩＳＯ／ＩＥＣ １３８１８−１ および １３８１８−２ に記載されている。これは、以下、「１９９３年１１月 ＩＳＯ−ＭＰＥＧ 委員会ドラフト」として参照する。本件出願においてＭＰＥＧビデオデータに対して行われる参照は、この「１９９３年１１月 ＩＳＯ−ＭＰＥＧ 委員会ドラフト」において定義されるビデオデータを参照するものとする。
【０００５】
【発明が解決しようとする課題】
ＭＰＥＧビデオデータは、ビデオフレームが現在のＮＴＳＣ信号において使用される解像度よりも高い解像度にある高精細テレビジョン（ＨＤＴＶ）、または例えば現存のアナログＮＴＳＣ基準とほぼ同じフレーム毎の解像度を持つテレビジョンである標準精細テレビジョン（ＳＤＴＶ）として参照されるもののいずれかをサポートするために使用することができる。提案された米国新規テレビジョン基準（ＵＳ ＡＴＶ）を含むＨＤＴＶは、ＳＤＴＶよりも高い解像度を与えるので、ＳＤＴＶフレームを表すのに必要であるデータよりも多くのデータが、ＨＤＴＶフレームを表すのに必要とされる。したがって、単一のＨＤＴＶ信号をサポートするために要する帯域幅と同一の帯域幅で、多数のＳＤＴＶ信号を送信することができる。
【０００６】
主レベルでのＭＰＥＧ主プロフィール（ＭＰ＠ＭＬ）は、ＭＰＥＧ適合標準精細テレビジョン信号とその関連復号化装置に対する様々な要求を規定している。ＭＰ＠ＭＬは、画像当たり総数４１４，７２０画素の７２０ｘ５７６画素の大きさの画像を与える。ＵＳ ＡＴＶに対する提案基準は、画像当たり総数２，０７３，６００画素の１９２０ｘ１０８０画素の大きさの画像を与える。
【０００７】
ＨＤＴＶ画像の各フレームを表すためには、比較的大量のデータを必要とするので、ＨＤＴＶデコーダは、ＳＤＴＶデコーダよりもかなり速いデータ速度をサポートする必要がある。標準ＳＤＴＶデコーダに比較して、ＨＤＴＶデコーダによって要求される余分なメモリ、およびＨＤＴＶデコーダの逆ＤＣＴ回路や他の構成部品との関係で増大する複雑性によって、ＨＤＴＶデコーダはＳＤＴＶデコーダよりもかなり高価となる。
【０００８】
実際、メモリだけのコストだけでも、ＨＤＴＶデコーダを有するＨＤＴＶセットを、多くの消費者にとって極めて高価なものとしている。実際のＨＤＴＶデコーダは、多分１６ＭＢの比較的高価な同期ＤＲＡＭを必要とするが、最小の１０ＭＢのＲＡＭで済む、ＨＤＴＶ用の完璧なＭＰＥＧ適合ビデオデコーダが望まれている。
【０００９】
したがって、次のような方法および装置が必要である。すなわち、（１）ＨＤＴＶデコーダを作るのに必要な回路の複雑さの単純化、（２）ＨＤＴＶデコーダを作るのに必要なメモリ量の低減、および（３）ＳＤＴＶおよびＨＤＴＶ信号の両方を復号化できる単純なデコーダが必要である。さらに、そのようなデコーダのコストが、例えば、ＳＤＴＶデコーダのコストとほぼ同等で、ほとんどの消費者に受け入れられる程度に十分安価であることが望ましい。
【００１０】
ＵＳ ＡＴＶ信号のみを伝送することに対しては様々な提案がなされているが、それはまた幾つかのＳＤＴＶ信号が放送されることを示唆している。放送するＨＤＴＶおよびＳＤＴＶ信号の様々な組み合わせが可能である。そこでは、多重ＳＤＴＶショーは一日の特定の時間帯に放送され、単一のＨＤＴＶ放送がその日の異なる時間帯にＳＤＴＶ信号に対して使用される同一の帯域幅で伝送される。
【００１１】
したがって、ＨＤＴＶおよびＳＤＴＶ放送の両方を両立させるために、ＨＤＴＶおよびＳＤＴＶ信号の両方およびその他のものを復号化できるビデオデコーダを有するテレビが有効である。
【００１２】
さらに、多重完全解像度デコーダのコストを引き上げることなく、デジタルテレビにおいてピクチャーインピクチャー機能を実施できる方法および装置が必要である。良く知られたアナログ形のピクチャーインピクチャーシステムにおいては、ピクチャーインピクチャー動作中、主画像を生成するために使用されるＴＶ信号を復号化するために、普通、完全解像度デコーダが使用され、主画像の小領域内に表示される第２画像を生成するために使用されるＴＶ信号を復号化するために、第２の完全解像度デコーダが使用される。
【００１３】
【課題を解決するための手段】
本発明は、高精細テレビジョン（ＨＤＴＶ）信号および／または標準精細圧縮ビデオ信号を復号化できるビデオデコーダを与える方法および装置に関する。
【００１４】
特に、本発明は、デジタルビデオデコーダ回路の複雑性を低減し、かつビデオデコーダメモリの要求を低減する幾つかの方法および装置を与える。
【００１５】
最大ＨＤＴＶ解像度よりも劣る解像度で、例えばほぼＳＤＴＶ解像度で、ＨＤＴＶ信号を復号化できる、および／またはＳＤＴＶ信号を復号化できるＨＤＴＶデコーダについて説明する。本発明の様々なデータ低減特性と回路簡単化の結果として、ほぼＳＤＴＶ解像度で画像を出力する結合ＨＤＴＶ／ＳＤＴＶデコーダを、デジタルＳＤＴＶデコーダのコストのほぼ１３０％のコストで作ることができる。
【００１６】
本発明の一実施例によれば、多重最大解像度ビデオデコーダを用いることなく、低減解像度ＨＤＴＶビデオデコーダが、ピクチャーインピクチャー機能を与えるためのピクチャーインピクチャーデコーダ回路の一部として使用される。
【００１７】
本発明のデコーダによれば、プリパーザ、ダウンサンプリング、および画素値を表す減少したバイトのデータ（例えばＤＣＴ値８ビットに対して、５、６、または７ビットだけで表される）の使用を含む多くのデータ低減技術を用いることによって、回路複雑性およびメモリ要求を実質的に減らすことができる。
【００１８】
本発明の一実施例によれば、データを切り捨てるためにプリパーザが使用される。それによって、普通に使用される場合に要求されるよりも小さなチャネルバッファが与えられる。さらに、プリパーザは、ランレングス／振幅記号数がマクロブロックについての最大選択数を越えると、各マクロブロックのランレングス／振幅記号を切り捨てる。一実施例においては、プリパーザは、また、符号化データバッファおよび構文解析器および可変長デコーダ回路の結合機能によって決まる所定のデータ処理速度を越えないように、例えば、マクロブロック当たりのビット数を制限することによって、単位時間当たり出力されるビット数を制限する。この方法で、本発明はより簡単な実時間構文解析器および可変長デコーダ回路を使用可能にしている。
【００１９】
本発明によれば、逆量子化回路および逆離散的余弦変換回路が、各マクロブロックに対応する予め選択された組のＤＣＴ係数のみを処理し、それらの係数の残り、例えばプリパーザによって除去されたＤＣＴ係数、をゼロに設定するように設計される。この方法で、逆量子化回路および逆離散的余弦変換回路の計算要求が、実質的に低減され、より簡単な回路が与えられる。
【００２０】
プリパーザの使用に加えて、ダウンサンプラおよび／または最も重要性の小さいビットの切り取り回路を用いることで、各ビデオ画像を表すために使用されるデータ量を一層低減でき、それによってフレームバッファメモリを大幅に少なくできる。
【００２１】
ダウンサンプリングおよびデータ削減を含む、データ低減の効果を補償するために、本発明のデコーダは、低域通過フィルタを有する。
【００２２】
【発明の実施の形態】
本発明は、ビデオデコーダに係り、特に、高精細および／または標準精細デジタルビデオ信号を復号化できる低コストのビデオデコーダに関するものである。本発明によれば、復号化されたＨＤ画像は、完全ＨＤ解像度よりも劣る解像度、例えば、ほぼＳＤ解像度で表示される。一方、ＳＤ画像は、最大ＳＤ解像度で表示される。本発明のデコーダは、低コストＨＤＴＶデコーダとして、または結合ＨＤ／ＳＤテレビジョンデコーダとして作られる。本発明の詳細な説明は、主として、ＨＤＴＶ、ＳＤＴＶおよび一体型ＨＤＴＶ／ＳＤＴＶテレビジョンデコーダに向けられているが、本発明の多くの特徴は一般にデジタル画像を復号化するのに適する低コスト低減解像度デジタルビデオデコーダを与えるために使用され得る。しかも、この開示は、ＳＤＴＶおよびＨＤＴＶデコーダにのみ制限されない。さらに、模範的実施例では、ＭＰＥＧコンパチブルデコーダとして説明されているが、本発明のデコーダは、離散的余弦変換データ符号化方法を使用する多数のＭＰＥＧ状態ビデオデータ流を復号化するために利用可能である。
【００２３】
比較的小さな画面、例えば２０インチ以下の画面を持つテレビジョンセットの場合には、ＨＤＴＶ信号およびＳＤＴＶ信号間の知覚解像度と画質の差が、ほとんど分からない。したがって、最高ＨＤＴＶ画像解像度および画質よりも劣る解像度を与える本発明に係る低コストＨＤＴＶデコーダは、コスト上の利点から、そのような小型テレビジョンに極めて適している。最大解像度ＨＤＴＶデコーダのコストと較べて、本発明のデコーダがかなり低コストであること、および第２画像の小さな表示領域が表示されることから、本発明のデコーダは、また、ピクチャーインピクチャー機能を与えるのに適している。
【００２４】
ＨＤおよびＳＤ画像を復号化するための本発明の方法は、例えば、プリパーザユニットおよび／または適合フィールド／フレームダウンサンプリング方法を用いることによって、復号化する前に受信ＨＤ画像の解像度を低減し、デコーダの後処理段階の複雑さを低減させるステップを有している。さらに、低減解像度ＨＤおよびＳＤ画像の両方を処理するために使用される共通回路網の量を最大にするよう設計された逆離散的余弦変換（ＩＤＣＴ）回路を用いることによって、一体型ＨＤ／ＳＤデコーダ回路を作成するコストが低減される。
【００２５】
さて、図１を参照する。図１には、本発明の一実施例に従って作られた、参照符号１００によって示されたビデオデコーダが表されている。図示のデコーダ１００は、ＨＤおよび／またはＳＤテレビジョン信号、例えばＭＰＥＧ適合テレビジョン信号を復号化できる。ＨＤデコーダとして使用されるとき、デコーダ回路１００は、質的に比較可能なすなわちＳＤテレビジョン信号画像よりもわずかに優れたＨＤＴＶ信号から、画像を生成できる。
【００２６】
ＳＤ／ＨＤビデオデコーダ回路１００は、プリパーザ１１２、構文解析器および可変長デコーダ回路１２０、逆量子化回路１２２、逆ＤＣＴ回路１２４、ダウンサンプラー１２６、加算器１２８、スイッチ１２９、後処理装置１３６、動き補償予測モジュー（ＭＣＰ）１３０，および符号化データバッファおよびフレームバッファ１１８から構成されている。
【００２７】
ＨＤＴＶデコーダの全体のコストを低減する方法について、図１の実施例を参照して説明する。
【００２８】
一般に、コスト的にみて、ビデオデコーダの単一の最も高価な素子は、例えばＨＤデコーダ内の１６ＭＢの同期ＤＲＡＭから成るフレームメモリ１１８である。圧縮ビット流の一時的記憶に使用される符号化データバッファ１１６は、より小さいが無視できるコストでもない。完全ＭＰＥＧ適合ＨＤＴＶデコーダは、符号化データバッファとして使用するために少なくとも１ＭＢのＲＡＭを必要とする。
【００２９】
デコーダのコストに大きく関与するデコーダの他の素子は、逆離散的余弦変換回路（ＩＤＣＴ）１２４および逆量子化（ＩＱ）回路１２２である。ＨＤＴＶデコーダのＩＤＣＴ回路１２４は、大量の数学計算を高速に実行するために必要であり、デコーダ回路の重要な部分を占める。ＩＱ回路１２２は、ＩＤＣＴ回路１２４よりも少ない量の計算を実行する。しかし、それらの計算の高速性および複雑さのため、ＩＱ回路１２２のコストもまた、ＨＤＴＶデコーダの全体コストに大きく影響する。
【００３０】
ＩＤＣＴ回路１２４およびＩＱ回路１２２に加えて、動き補償および補間論理が、大量の論理ゲートを必要とする。例えば、動き補償および補間論理は、ＩＤＣＴ回路よりは少ないが、ＩＱ回路よりも多くの論理ゲートを必要とする。構文解析器および可変長デコーダ回路１２０もまた、大量の論理ゲートを必要とする。
【００３１】
ＨＤＴＶデコーダのコストおよび複雑さは、多分に、実時間で大量のデータを処理するという要求に関係しているので、処理する必要のあるデータ量を削減することによって複雑さを低減、したがってＨＤＴＶコンパチブルデコーダのコストを低減することができる。ＨＤＴＶ信号において受信されたビデオ信号の僅かな部分のみを使用することで、解像度や画質が悪化するが、どのＨＤＴＶデータを処理に使用するか、どの方法によって処理するかを注意深く選択することによって、ＳＤテレビジョン信号と同等かまたはそれよりも優れたビデオ画質が得られる。以下に述べるように、プリパーザ１１２は、構文解析器およびＶＬＤ回路１２０を含むデコーダ回路１００の残りの素子に供給されるビデオデータ量を動的に制御するように働き、それによって、実時間で次段の回路素子によって処理されなければならないデータ量およびこれらの回路素子の複雑性を低減する。プリパーザ１１２を使用する他の利点は、普通要求されるよりも小さな符号化データバッファ１１６を使用できるようになることである。
【００３２】
図１に表されているように、プリパーザ１１２は、例えば、受信機の搬送デマルチプレクサ／デコーダ回路によって出力されるＨＤＴＶ信号を表している可変長符号化ビット流を受信するための第１入力と、データ速度制御情報を受信するための第２入力を有する。プリパーザ１１２の出力は、プリパーザ１１２の第２入力に結合された速度制御出力を有する符号化データバッファ１１６の入力に接続されている。
【００３３】
プリパーザ１１２は、符号化データバッファに供給されるＨＤＴＶデータ量を低減させるように働く。それは、受信ＨＤＴＶデータの幾つかを選択的に切り捨てることによってこれを行う。可変長復号化する前に、データを解析し切り捨てるためにプリパーザ１１２を用いることによって、受信ビット流のデータ速度の関数であるデータ速度でプリパーザ１１２を動作させることが可能である。この速度は、それが可変長デコーダ回路１２０の後段に配置された場合に、対応回路網がサポートすることができなければならないデータ速度よりもかなり遅い。符号化データバッファ１１６に記憶する前にデータを解析し、構文解析しそして可変長復号化することによって、さもなければＳＰおよびＶＬＤ回路１２０が受ける最悪のケースの処理要求をサポートする必要性を避けることができる。ＳＰおよびＶＬＤ回路１２０が通常サポートするように設計されなければならない例えば最悪ケースのデータ速度である最大データ速度は、平均データ速度よりも６０倍ほど速いので、ＳＰおよびＶＬＤ回路１２０の複雑さの実質的な低減は、プリパーザ１１２を用いることによって達成され、通常最悪ケースの可変長復号化のシナリオであるところのものに対してサポートを与える必要はない。
【００３４】
プリパーザ１１２は、完全な可変長復号化動作を行う事なく入力ビット流を解析し、異なる形のビデオフレーム、例えば２方向符号化（Ｂ−）フレーム、予測的に符号化された（Ｐ−）ビデオフレームおよび符号化内（ｉｎｔｒａ−ｃｏｄｅｄ）（Ｉ−）フレームに対応するデータを特定し、受信データ流内の特定フレームのそれぞれと関連するＤＣＴ係数および動きベクトルを含むマクロブロックなどのＭＰＥＧ符号化素子を特定する。
【００３５】
プリパーザ１１２は要求通りにＨＤＴＶビット流に幾つかのデータ低減ビット流を実行し、ＳＰおよびＶＬＤ回路１２０の処理容量および符号化データバッファ１１６の全機能が越えられないことを保証する。したがって、プリパーザ１１２は、プリパーザ出力データ速度がデコーダ１００の他の素子の復号化制限によって確立される実時間復号化エンベロープ内に留まることを保証する。要求通りにデータ速度を低減することによって、符号化データバッファ１１６は低減量のデータを記憶することができれば良いので、プリパーザ１１２はまた、符号化データバッファのサイズ要求を低減する働きをする。
【００３６】
一実施例においては、プリパーザ出力データ速度が復号化エンベロープの予め選択された制限内に留まることを保証するため、プリパーザ１１２は、マクロブロックを表すために使用されるＤＣＴ係数の数を予め選択された数に制限するとともに、符号化データバッファおよび復号化制限が越えられないよう防止するのに必要なマクロブロック当たりの所望のビット数が得られるまで、受信マクロブロックと関係するより高次のＤＣＴ係数を取り除くことによって、マクロブロック当たりのビット数を制限する。ほぼ所望のデータ速度を得るために、マクロブロック当たりのビット数およびマクロブロック当たりのＤＣＴ係数の両方が予め選択され得、またはプリパーザ１１２によって動的に選択され得る。
【００３７】
したがって、一実施例においては、その出力データ速度を、符号化データバッファ１１６がオーバフローするのを防止するために必要なレベルに制限するために、プリパーザ１１２が、予め選択された数のＤＣＴ係数を越える、より一層高周波のＤＣＴ係数を切り捨てることによって、各マクロブロックを表すために使用されるＤＣＴ係数の数を制限する。そのような実施例においては、ＡＣ ＤＣＴ係数の除去は、プリパーザ出力データ速度で所望の低減を得るために必要とされる通りに、最も最近受信されたＩ−フレームから測定される通り後のＰ−フレームに対抗して前のＰ−フレーム内のデータを保持するための優先度で、Ｂ−フレーム、その後Ｐ−フレームそれからＩ−フレームについて優先的に実行される。
【００３８】
ＤＣＴ基準ビデオ圧縮システムにおいては、ＤＣＴ係数が垂直および水平周波数ビンにしたがって、二次元に自然に順序付けされる。典型的なシステムにおいては、連続送信を与えるためにそれらの係数が一次元順序付けに配列される。ＭＰＥＧは、一般にジグザグ走査および交互走査と呼ばれる２つの異なる順序付けを与える。
【００３９】
予め与えられるＤＣＴ係数のサブセット、すなわちプリパーザ１１２によって切り捨てられないＤＣ ＤＣＴ係数およびより低周波のＡＣ ＤＣＴ係数は、ＭＰＥＧ走査タイプのいずれかにおけるいずれかの線形範囲の係数と一致しない。そのような場合には、データ流内のある点の後、マクロブロックのすべての符号化係数を切り捨てることによって、ＤＣＴ係数を所望の設定に制限することは困難である。
【００４０】
本発明によれば、プリパーザ１１２が予め選択されたＤＣＴ係数を切り捨てるために、２つの異なる方法が使用される。第１の実施例によれば、プリパーザ１１２は走査順に係数指数を選び、その後係数を切り捨てる。この実施例では、ＤＣＴ係数の保持された組は、初め、所望の組に属しない幾つかの係数に加えて、所望の組に属するすべての係数を有する。プリパーザ１１２は、その後所望の組に属するＤＣＴ係数のみを符号化データバッファ１１６に送り、ＳＰおよびＶＬＤ回路１２０に与える。
【００４１】
第２の実施例においては、プリパーザ１１２は入力ビット流を記録する。これは、不所望係数に関連するランレングス／振幅コードを取り除くことによって、そして後の所望係数を適切に調整されたランレングスで記録することによって行われる。
【００４２】
マクロブロック当たりのＤＣＴ係数の数を制限することによって、プリパーザ１１２はゼロＤＣＴ係数値をもたらすランレングス／振幅記号を効果的に切り捨てる。その結果ＨＤＴＶビット流を完全に復号化するために必要であろうより簡単なＩＤＣＴ回路が与えられる。
【００４３】
プリパーザ１１２の使用によって、マクロブロック当たり予め選択された数のランレングス／振幅対のみが、さらなる処理のためにプリパーザ１１２によって出力されることになるので、ランレングス／振幅記号の切り捨てによって、また普通必要である回路よりも簡単な構文解析器および可変長デコーダ回路１２０が与えられる。
【００４４】
幾つかのＤＣＴ係数を切り捨てることのさらなる利点、すなわちそのような係数をゼロに効果的に設定することは、プリパーザ１１２がマクロブロックに基づいて低域通過フィルタをかけ、それによって以下に説明されるダウンサンプリング動作が実行される前に余分なフィルタリングを行う必要性を低減または除去することである。
【００４５】
１つの特定の実施例においては、プリパーザ１１２はまた、受信ビット流から、最終的な画質に影響を与えないデータを検出し、除去するように作用する。そのような実施例においては、プリパーザ１１２は、ビット片詰物（ｓｔｕｆｆｉｎｇ）および開始符号詰物のようなＭＰＥＧデータをデータ流から除く。そのような不必要なデータを除去することによって、プリパーザ出力データ速度および符号化データバッファ１１６の大きさが画質に影響を与えずに低減され得る。
【００４６】
本発明の一実施例においては、プリパーザ１１２が、受信データを記憶するための符号化データバッファ１１６において利用可能なメモリ量の関数として実行されるデータ切り捨て量を動的に調節する。そのような動的データ切り捨てを容易に行うために、符号化データバッファ１１６は符号化データバッファ１１６に所定の時間にどのくらいのデータが記憶されるかを示す、プリパーザ１１２の第２入力に供給される信号を発生するデータ速度監視回路を有する。
【００４７】
そのような実施例においては、プリパーザ１１２は、基準の符号化データバッファ１１６を占有状態に維持し、バッファ１１６が決してオーバフローすることのないように作用する。バッファ１１６から受信される信号によって示される通りにバッファ占有率が増大すると、プリパーザ１１２はさらに切り捨てられる高周波情報量に一層厳しくなり、マクロブロック当たりのＤＣＴ係数の数を予め選択された最大数からより一層小さな数に低減させる。
【００４８】
プリパーザ１１２はバッファ占有率特性を見ることができる。例えば、ビデオデータがデータ伝送のために最初に符号化され、データ速度の必要な低減を得るためにどの情報が切り捨てられるべきかを決定するに際して、この情報をファクタとして使用する方法である。
【００４９】
その出力データ速度の動的制御、したがってバッファ制御の１つの特徴として、データが受信されると、プリパーザ１１２が、画像を構成するマクロブロックの各列を符号化するために使用されるビット数を計算し、記憶する。この数は列から列におよび画像から画像に大きく変化するが、デコーダは、マクロブロック列を表すために使用されるビット数に関係なく、各列すなわちマクロブロックを処理するために、ほぼ同じ時間量を要するので、プリパーザはコードバッファが空になる速度を予測する。この速度が比較的速いことが予想される場合、例えば、大量のビットが前列のマクロブロックを表すために使用されるので、プリパーザ１１２は符号化データバッファ１１６のオーバフローとは関係なく受信データ流からより少ないデータを切り捨てる。しかし、比較的少量のビットが前列のマクロブロックを表すマクロブロックを符号化するために使用されると、符号化データバッファ１１６は、符号化データバッファ１１６が占有されなくなるまで受信データ流からさらに多くのデータを切り捨てるようプリパーザ１１２に要求しながら、比較的遅い速度で空にすることになる。
【００５０】
一実施例においては、製造コストを最小限に押さえるために、ビット流前処理装置ともいえるプリパーザ１１２は、入力ビット速度で稼働するように設計され、ビットシリアル技術を用いて作られる。代替案として、プリパーザ１１２は全トークンを一度に、かつビット流内の記号の最小長さによって分割される受信可変長符号化ビット流のデータ速度を絶対に越えない速度で、解析することができる。
【００５１】
以下に述べられるように、デコーダ回路１００が一体型の低コストＨＤＴＶデコーダおよびＳＤＴＶデコーダとして使用されるとき、データスループットは、最大速度ＳＤＴＶビット流の通過を許可するように選択される。
【００５２】
プリパーザ１１２に接続されている符号化データバッファ１１６は、構文解析器および可変長デコーダ回路１２０が処理用のビデオデータを受け入れようとするまで、プリパーザ１１２によって出力される可変長符号化データを一時的に記憶するために使用される。
【００５３】
構文解析器および可変長デコーダ回路１２０は、符号化データバッファ１１６のデータ出力に接続され、そこに一時的に記憶された可変長符号化データをそこから受信するための入力部を有する。構文解析器および可変長デコーダ（ＳＰおよびＶＬＤ）回路１２０は、受信データを一定長ビット流に復号化する。
【００５４】
上述の方法でプリパーザ１１２を用いることによって、ＳＰおよびＶＬＤ回路１２０の計算要求が、すべての受信データが構文解析されかつ可変長復号化される場合に較べて実質的に低減される。プリパーザ１１２は、マクロブロック当たり許される予め選択された最大数を越える係数を切り捨てることによって、所定のマクロブロックに対して復号化される可変長でなければならないＤＣＴ係数の数を効果的に制限し、それにより各マクロブロックに対して処理されなければならないデータ量に明確な制限を与えることによって、実時間ＳＰおよびＶＬＤ回路への負担を軽減する。
【００５５】
ＳＰおよびＶＬＤ回路１２０の出力は、逆量子化回路（ＩＱ）１２２の入力に結合されている。その逆量子化回路はＩＤＣＴ回路１２４の入力に接続された出力部を有する。
【００５６】
簡単化されたＩＱおよびＩＤＣＴ回路１２２および１２４は、各マクロブロックに対応する予め選択されたＡＣ ＤＣＴ係数を意識的にゼロに設定することにより、本発明にしたがって作られる。ＩＱ回路１２２はこの機能を実行するように設計される。
【００５７】
ＩＱ回路１２２は、ＳＰおよびＶＬＤ回路１２０によって出力されるデータを受信し、予め選択されたＤＣＴ係数の入力値に関係なく、予め選択されたＤＣＴ係数に対してゼロのＤＣＴ値を発生するように動作する。この方法では、ＩＱ回路はその入力で受信された予め選択されたＤＣＴ係数を実際に処理する必要がないが、残りのＤＣＴ係数は処理する必要がある。
【００５８】
１つの模範的実施例によれば、ＩＱ回路１２２は、ＨＤＴＶマクロブロックを表す一組の８ｘ８ＤＣＴ係数の右上の４ｘ４領域を除いて、ＤＣＴ係数のすべての領域をゼロに設定する。図４は、マクロブロックを表している８ｘ８ＤＣＴ係数ブロックについてのその結果を表している。図４において、Ｘ印はＩＱ回路１２２によって実際に処理されるＤＣＴ値を表すのに処理される。一方、図示のように、他のすべてのＤＣＴ値はゼロに設定される。
【００５９】
したがって、そのような実施例においては、ＩＱ回路１２２は、各マクロブロックに対応する起こり得る６４個のＤＣＴ係数の１６個について逆量子化を行うための回路網と、残りのＤＣＴ係数値に対してゼロを出力するための回路網を有してさえいれば良い。この方法では、逆量子化計算要求が、４つのファクタによって低減される。予め選択された数のＤＣＴ値がＩＱ回路によってゼロに設定されるので、ＩＤＣＴ１２４の複雑さは同様の方法で低減される。
【００６０】
ＭＰＥＧは、インターレース画像または非インターレース画像のいずれかの使用を許可する。ビデオデータをインターレース画像として符号化するとき、ＤＣＴ動作は、フィールドまたはフレームＤＣＴのいずれかに基づいて実行される。インターレースビデオデータが、フレームＤＣＴに基づいて符号化されるとき、高周波係数は空間情報に加えて時間情報を表す。そのような場合、時間情報の保管を最大化するため、高垂直周波数を維持することが望ましい。
【００６１】
したがって、フレームＤＣＴに基づいて幾つかのインターレース画像が受信されることが予期される一実施例においては、ＩＱ回路１２０は、ＨＤＴＶマクロブロックを表す８ｘ８ＤＣＴ係数二次元アレイの列０、１、６、および７および欄０、１、２、３に対応するＤＣＴ係数を除くすべてのＤＣＴ係数をゼロにするように設計される。そのような場合が図５に表されている。ここで、ＸはＩＱ回路１２２によって処理されるＤＣＴ係数値を表すために使用され、Ｏはゼロに設定される予め選択されたＤＣＴ係数を表すために使用される。図４および図５の実施例に示されたもの以外のＤＣＴ係数を、所望の適用に応じて０に設定されるように選択しても良い。
【００６２】
ＩＤＣＴ回路１２４は、逆量子化回路１２２によって出力されるデータを受信し、受信データについて逆ＤＣＴ動作を実行する。本発明によれば、予め選択されたＤＣＴ係数が、意識的にゼロに設定されるので、逆ＤＣＴ回路は、これらの係数を処理するための回路を有する必要がない。したがって、逆量子化回路１２２を持つので、ＩＤＣＴ回路１２４は、比較的簡単な回路を用いて実施できる。
【００６３】
ＩＤＣＴ回路１２４の出力は、ダウンサンプラ１２６の入力に接続されている。ダウンサンプラ１２６は、フレームバッファ１１８に記憶する前に、各画像に対応するデータをダウンサンプリングするために使用される。ダウンサンプリング動作の結果、ビデオフレームを表すために必要なデータ量が実質的に低減される。例えば、ダウンサンプラ１２６が画像を表すために用いられるデジタルサンプリングの半数を取り除くように作られているとすると、記憶されなければならないデータ量は、およそ２の因数だけ低減され、フレームバッファ１１８を作るのに必要なメモリ量が低減される。
【００６４】
次に、図２を簡単に参照する。図２には、本発明の他の実施例に係るデコーダ２００が示されている。図１と同様の参照符号は、それと同一のものを示している。したがって、ここでは、重複する説明は省略する。デコーダ２００において、低域通過フィルタ２０４と組合わされた小形のバッファ２０２、例えばビデオフレームの数個のラインに対応するデータを記憶することができるバッファは、ＩＤＣＴ回路１２４の出力をダウンサンプラ１２６の入力に結合するために使用される。バッファ２０２は、画像の数個の走査線を表すビデオデータを記憶する。そのビデオデータは、それがなければダウンサンプリング動作から生じ得る画像の障害を低減するため、ダウンサンプリングの前に低域通過フィルタにかけられる。
【００６５】
図１を再び参照する。ダウンサンプラ１２６の出力は、加算器１２８の第１入力およびスイッチ１２９の第１入力に接続されている。加算器１２８の第２入力はＭＣＰ回路１３０の出力に接続されている。ＭＣＰ回路１３０は、受信Ｐ−およびＢ−ビデオフレームと組合わされるように、動き補償情報を加算器１２８に供給する。加算器１２８によるビデオデータ出力は、先行のおよび／または後続のアンカフレームからの関連ビデオ情報を含ませるために、動き補償データを用いて処理されたビデオフレームを表す。他方、ダウンサンプラ１２６の出力は、それぞれ、フレーム内符号化マクロブロックおよび非フレーム間符号化マクロブロックの場合における完全復号化画像データまたは復号化予測誤差のいずれかを表す。スイッチ１２９は、周知のように、受信ビデオマクロブロックが動き補償予測を用いて符号化されなかったとき、例えば、ダウンサンプラによって出力されるビデオデータがフレーム内符号化されたときに、ダウンサンプラ１２６の出力をフレームバッファ１１８の入力に選択的に接続するように制御される。しかし、ダウンサンプラ１２６によって出力されたビデオデータが動き補償予測を用いて符号化されたとき、例えば、それがＢ−フレームまたはＰ−フレームデータであるとき、加算器１２８の出力がスイッチ１２９によってフレームメモリ１１８の入力に接続される。
【００６６】
受信されたダウンサンプルかつデコンプレスしたビデオフレームは、フレームメモリ１１８に記憶される。フレームメモリ１１８はＭＣＰ回路１３０の入力に接続された第１出力、および後処理装置１３６の入力に接続された第２出力を有する。この方法では、ＭＣＰ回路は、動き補償目的のアンカフレームとして使用されるべきダウンサンプルされたビデオフレームを供給される。
【００６７】
再び図２を簡単に参照する。デコーダ２００は、フレームバッファ１１８によって記憶されることが必要なデータ量を低減するための付加的回路網、すなわち、最も重要ではないビット（ＬＳＢ）切り取り回路２０８を有することがわかる。ＬＳＢ回路２０８はスイッチ１２９の出力をフレームバッファ１１８の入力に接続させる。ＭＰＥＧは、ビデオフレームを表すとき、画素当たり８ビットが使用されると仮定する。本発明によれば、フレームバッファメモリ要求を低減するために、１以上の最も重要でないビットＬＳＢが、１画素を表す各組のビットから切り取られる。例えば、一実施例においては、ＬＳＢ切り取り回路２０８は、８ビットから例えば６または７ビットに画素を表すデータを切り取る。各画素に対応するデータが６ビットに切り取られると、ほぼ２５％のデータ節約となる。
【００６８】
実行される切り取り量は、データが対応するフレームのタイプの関数として作られる。アンカーフレームの解像度の低減は動き補償という面でこれらのフレームを使用するフレームの質に影響を与えるので、これらのフレームの解像度を、他のフレームの質に影響を与えないＢ−フレームなどのフレームより小さく低減することが好ましい。したがって、一実施例においては、アンカーフレームデータ、例えばＩ−およびＰ−ビデオフレームデータが、画素当たり７ビットに切り取られる。一方、アンカーフレームに用いられないデータ、例えばＢ−フレームデータは、画素当たり５ビットに切り取られる。
【００６９】
フレームバッファメモリ要求を低減するために、ＬＳＢ切り取りが用いられると、ＭＰＥＧ両立性を維持するために、画素フォーマット当たり８ビットで記憶データを表すことが必要である。したがって、フレームバッファ１１８の出力が、フレームの各画素に対応するデータが８ビットによって表されることを保証するために、フレームバッファ１１８によって出力されるデータの最も重要でないビットをゼロで埋め込む、最も重要でないビット埋め込み回路２０６、２０７に接続される。ＬＳＢ埋め込み２０６の出力は、ＭＣＰ回路の入力に接続され、それによってＭＣＰ回路にダウンサンプルされたビデオフレームデータを与える。ＬＳＢ埋め込み回路２０７の出力は、任意の低域通過フィルタ２０９の入力に接続されている。そのフィルタは後処理回路１３６に接続されている。任意の低域通過フィルタ２０９は、この切り取りおよび埋め込み処理の結果発生される量子化ノイズの影響を低減するが、わずかに後処理回路１３６に供給されるビデオフレームの解像度を低下させる。
【００７０】
ＭＰＥＧ基準にしたがって発生される動きベクトルを用いて動作するように設計される、図１および図２に表されたＭＣＰ回路１３０の動作について説明する。
【００７１】
ＭＰＥＧは、動き補償の使用をサポートし、特に、それぞれがアンカーフレームとして他のフレームに頼るＰ−フレームおよびＢ−フレームをサポートする。プリパーザ１１２に供給されるビデオデータ流の一部として受信される動きベクトルは、ダウンサンプルされたビデオフレームに対抗して最大解像度ビデオフレームを使用するため符号化時に計算される。
【００７２】
本発明によれば、フレームバッファ１１８によってＭＣＰ回路１３０に供給されるダウンサンプリングされたフレームは、アップサンプリングされ、例えば、途中で補間され、その後動きベクトルに基づいて予測を発生する前にダウンサンプリングされる。この方法において、最大解像度ビデオフレームに基づいて最初に発生された動きベクトルが、ダウンサンプリングされたビデオフレームに効果的に加えられる。
【００７３】
図１に示されるように、ＭＣＰ回路１３０は、フレームバッファ１１８の第１出力に接続された入力、および半画素（ＰＥＬ）補間回路１３２の入力に接続された出力を有するアップサンプラ１３１から構成されている。半画素補間回路１３２の出力は、動き補償予測モジュール１３５の入力に接続されている。動き補償予測モジュー１３５の出力はダウンサンプラ１３３に接続されている。ダウンサンプラは、平均予測回路１３４の入力に接続された出力を有する。ＭＣＰ回路１３０の出力として働く平均予測回路１３４の出力は、加算器１２８の第２入力に接続されている。それぞれアップサンプラ１３１およびダウンサンプラ１３３として、様々な周知のアップサンプリングおよびダウンサンプリングフィルタが使用できる。しかし、多くの予測発生後、中間符号化されたビデオフレームにおいてはわずかな差でも目立つようになるので、アップサンプリング動作の正確な逆動作であるダウンサンプリング処理を行うことが重要であることが、シュミレーションによってわかった。
【００７４】
必要なアップサンプリングおよびダウンサンプリングを行うには、幾つかの方法がある。例えば、一実施例においては、３ｘ３カーネル（核）および中心係数＝１．０を持つ双線形アップサンプリングフィルタが、アップサンプラ１３１として使用され、フィルタリングを実行しないダウンサンプラがダウンサンプラ１３３として使用される。フィルタのこの選択は、ダウンサンプリング中に余計な不明瞭さをもたらさない理想的なアップサンプリングを与える。このフィルタ装置は、予測中に積分される残留画像が積分前に低域フィルタにかけられるときに、特に良好に作用する。そのような低域フィルタリングは、上述のように、マクロブロックあたりＤＣＴ係数の予め選択された最大数よりも多く含むマクロブロックからより高次のＡＣ ＤＣＴ係数を取り除くプリパーザ１１２の結果として、ある程度得られる。
【００７５】
他の実施例においては、２ｘ２画素のカーネルサイズを持つアップサンプリングフィルタがアップサンプラ１３１として使用される。また、そのアップサンプリングフィルタと同じカーネルサイズと、アップサンプリングフィルタ伝送機能とダウンサンプリングフィルタ伝送機能のコンボリューションが、中心係数が１．０である３ｘ３カーネルを与えるような伝送機能を持つダウンサンプリングフィルタが使用される。
【００７６】
同等のダウンサンプリング回路がダウンサンプラ１２６、１２３に対して使用されることが好ましいが、実際そうでなければならないという要求はない。しかし、上述のように、良好な結果を与えるために、ダウンサンプラ１３３がアップサンプラ１３１に適合されているということは重要である。
【００７７】
ＭＰＥＧは、マクロブロックに対応する画像部分をインターレースまたは非インターレース方法のいずれかの方法で符号化されるようにする。非インターレース画像に対応するマクロブロックは、常に、フレームＤＣＴフォーマットを使用してコード化される。インターレース画像に対応するマクロブロックは、フィールドまたはフレームＤＣＴフォーマットのいずれかを使用してコード化される。
【００７８】
本発明によれば、ダウンサンプリングは、それぞれの個々のマクロブロックについて別々に実行される。非インターレース画像に対応するマクロブロックのダウンサンプリングは、フレームに基づいてダウンサンプラ１２６によって実行される。しかし、インターレース画像に対応するマクロブロックに関しては、ダウンサンプリングが各マクロブロックに対してフィールドまたはフレームのいずれかに基づいて実行され得る。
【００７９】
上述のように、ダウンサンプラ１２６はフレームに基づいて非インターレース画像についてダウンサンプリングを実行する。しかし、インターレース画像に関しては、それはフィールドまたはフレームのいずれかに基づいて実行され得る。したがって、インターレース画像のマクロブロックの場合には、一方が、ダウンサンプラ１２６、１３３によって実行されるダウンサンプリングがフィールドまたはフレームに基づいてなされるべきかどうかの決定と対立する。フィールドに基づいたダウンサンプリングは、非常に大きな一時的解像度を保持する。これは、フィールドに基づいたダウンサンプリングが、非常に大きな空間解像度を保持する能力を持つからである。本発明の一実施例によれば、インターレース画像が受信されると、その画像はフィールドまたはフレームのいずれかに基づいて普遍的方法でダウンサンプリングされる。したがって、一実施例においては、インターレースおよび非インターレース画像の両方が、フレームに基づいてダウンサンプルされる。一方、他の実施例においては、非インターレース画像はフレームに基づいてダウンサンプリングされるが、インターレース画像はフィールドに基づいてダウンサンプリングされる。
【００８０】
他のわずかにさらに精密な実施例においては、ダウンサンプラ１２６は、処理されようとする個々のマクロブロックによる特定の方法でフィールドおよびフレームの両方に基づいてインターレース画像についてダウンサンプリングを実行する。
【００８１】
ダウンサンプリングされるマクロブロック内にそれほど高い高周波成分がない場合および／またはマクロブロックと関連する大量の動きがある場合には、フィールドに基づいたダウンサンプリングが最も適切である。他方、処理されるマクロブロック内に非常に高い高周波成分がある場合および／またはマクロブロックと関連する動きがほとんどない場合には、フレーム基準ダウンサンプリングが最も適切である。したがって、一実施例においては、ダウンサンプラ１２６は、インターレース画像の各マクロブロックに対して上述の特性を評価し、個々の、マクロブロックをダウンサンプリングするための最も適切な方法を動的に決定する。
【００８２】
フィールドおよびフレームの両方に基づいてダウンサンプリングをサポートし、しかしどのダウンサンプリングを使用するかを決定する回路網をほとんど必要としないさらに他の実施例においては、ダウンサンプラ１２６は、フィールドまたはフレームＤＣＴのいずれに基づいてマクロブロックを符号化するかどうかを前以て決定するために使用されるクライテリアは、フィールドまたはフレームいずれに基づいてダウンサンプリングするかどうかを決定するために使用されるクライテリアに類似しているので、それが最初にダウンサンプリングされようとしているマクロブロックを符号化したときのエンコーダによって行われる選択に単に従うだけである。
【００８３】
したがって、本発明の一実施例においては、マクロブロックがフレームＤＣＴに基づいて符号化された場合には、ダウンサンプラ１２６は、フレームに基づいてインターレース画像に対応するマクロブロックをダウンサンプリングし、それらがフィールドＤＣＴに基づいて符号化された場合には、フィールドに基づいてそれらをダウンサンプリングする。
【００８４】
フレームバッファ１１４への記憶前のフレームのダウンサンプリングは、フレームバッファメモリ要求を低減するが、動きベクトルの利点を十分得るためには、アップサンプラ１３１、半画素補間回路１３２およびダウンサンプラ１３３を用いる必要があるという不利な面がある。半画素解像度が得られようとする場合には補間前にアンカー画像データがアップサンプリングされる必要があるので、そのような回路網は、標準ＭＣＰ回路１５に較べわずかに処理要求を増大させる。
【００８５】
幾分低画質であるが、より簡潔でより安価に動き補償を行うためのアップサンプリング、補間、そしてダウンサンプリングの代替案として、解像度のインテジャーデスイース（ｉｎｔｅｇｅｒ ｄｅｃｅａｓｅ）によって各最初の動きベクトルの値を割り、新たな動きベクトルとしてその割り算の平均インテジャ結果を採用する方法がある。
【００８６】
したがって、ダウンサンプリングは、ＭＣＰ処理要求をわずかに増大させる傾向があるが、ＭＣＰ回路へのおよびその回路からのデータ帯域幅は、バッファフレームメモリ要求と同じ要因によってダウンサンプリングの結果として低減されるので、ＭＣＰ回路への入出力回路網の複雑さを低減させる利点を有する。
【００８７】
本発明の一実施例によれば、ＭＣＰ回路１３０の処理および帯域幅要求を低減、したがってＭＣＰ回路１３０の複雑さを低減させるために、双方向および双対−主予測が避けられる。したがって、アンカーフレームに対して、同時に処理するための能力についての平均予測回路の必要性を除去できる。一度、画像がアップサンプラ１３１によってアップサンプリングされたならば、半画素補間回路によって補間が行われる。動き補償予測モジュールは、その後、動きベクトルをアップサンプリングされた画像に加える。その画像は、その後、ダウンサンプラ１３３によってダウンサンプリングされる。処理される画像が双方向コード化画像であるとき、アップサンプリング補間、動きおよび予測の動作は、２つのアンカーフレームについて実行される。それらのフレームは、その後、平均予測回路によって一緒に平均化され、ＭＣＰ回路１３５によって単一画像出力を発生する。
【００８８】
本発明の一実施例によれば、これは、処理されるマクロブロックと関連したマクロブロック形フラグが、それが双方向コード化マクロブロック、すなわち、２つの異なる画像の内容に基づいてコード化されたマクロブロックであることを示す場合でさえも、予測を行うために単一基準またはアンカー画像のみを用いることによって実行される。
【００８９】
そのような実施例においては、双方向コード化マクロブロックが受信されると、ＭＣＰ回路１３０は、データ流内の処理される個々のマクロブロックと関連するマクロブロック形フラグが動き補償が２つの基準を用いて実行されるべきであることを示すことに関係なく、１つの基準のみを用いて動き補償を行う。
【００９０】
模範的な実施例においては、アップサンプラ回路１３１は、双方向すなわち二重コード化マクロブロックが処理されているときに検出し、よそくを行うのに使用するため、マクロブロックと関連する２つの有り得るアンカー画像のいずれかを選択し、その後、選択されたアンカー画像のみをアップサンプリングする。
【００９１】
１つの実施例においては、アップサンプラ回路１３１は、現時点の画像したがって処理されようとしているマクロブロックに時間的に近いアンカー画像を選択することによって、予測に使用するための２つのありうるアンカー画像のどちらかを選択する。２つのアンカー画像が時間的に等距離である場合には、平均予測回路１３４は、２つのありえるアンカー画像の早い方を選択し、それによってドリフトによるデグラデーションを最も受けにくい２つのアンカー画像の一方を選択する。
【００９２】
誤差はＢ−画像から伝わらないので、またそれらは次の画像のアンカーとして使用されないので、予測を行うのに単一のアンカー画像のみを用いることによって引き起こされるタイプの、かなり大きな歪みが、Ｂ−画像に関して耐えられ得る。しかし、双対−主コードシーケンスに関して予測のため単一アンカー画像を使用することは、双対−主コード化シーケンスが用いられるときには予測誤差が伝わるために、幾分満足の行かない結果をもたらす。
【００９３】
さて、図３を参照する。図３には、最大ＨＤＴＶ解像度よりも劣る解像度でＨＤＴＶ信号を、そして最大ＳＤ解像度でＳＤＴＶ信号を復号化可能な、本発明に係るビデオデコーダ回路３００が示されている。図示のように、デコーダ回路３００は、デコーダ回路１００に類似しているが、付加回路すなわちデコーダ回路の動作モードを制御するためのＨＤＴＶ／ＳＤＴＶモード制御回路３１０、１組のスイッチ３０１、３０２、３０３、およびＨＤＴＶ／ＳＤＴＶモード制御回路３１０が、ＳＤＴＶ信号が受信されていることを決定するときに、そのデコーダのプリパーザ１１２、ダウンサンプラ１２６、アップサンプラ１３１およびダウンサンプラ１３３をバイパスさせるためのマルチプレクサ３４１を有する。ＨＤＴＶ／ＳＤＴＶモード制御回路３１０が、ＨＤＴＶ信号が受信されていることを決定すると、それは、スイッチ３０１、３０２、３０３およびマルチプレクサ３４１を制御し、図３のデコーダ回路３００のデータ低減特徴が働くように、一般に図１の実施例と同じ方法でそれらの回路素子を接続する。
【００９４】
ＨＤＴＶ／ＳＤＴＶモード制御回路３１０はその入力として、可変長符号化ビット流を受信する。例えば受信されているビデオフレームの解像度を示すヘッダ情報である、ビトリのデータを解析することにより、それはＨＤＴＶデータまたはＳＤＴＶデータを受信しているかを判断する。
【００９５】
ＨＤＴＶデータは、受信データにデータ低減動作を実行することなく、それが復号化できるよりも高い解像度のデータである。また、ＳＤＴＶデータは、いかなるデータ低減動作を実行しなければならないということなく、デコーダ３００が十分復号化でき記憶できるデータである。
【００９６】
ＨＤＴＶ／ＳＤＴＶモード制御回路３１０は、プリパーザモジュール３１２の一部であるスイッチ３０１の位置制御入力、ダウンサンプラモジュール３２６の一部であるスイッチ３０２の位置制御入力、および動きベクトル補間モジュール３３３の一部であるスイッチ３０３およびマルチプレクサ３４１の位置制御入力に供給されるモード制御信号を発生する。上述のように、ＨＤＴＶ／ＳＤＴＶモード制御回路３１０の出力信号は、モジュール３１２、３２６および３３３のそれぞれを、第１モード動作、例えばＳＤＴＶモード動作から第２モード動作、例えばＨＤＴＶモード動作への間で切り替えるように動作する。そのような方法においては、デコーダ３００は、ＨＤＴＶ／ＳＤＴＶモード制御回路によって制御され、第２モード動作、すなわちＨＤＴＶモード動作中、受信フレームの解像度を低減させるため、データ低減を行う。しかし、第１モード動作、すなわちＳＤＴＶモード動作中には行わない。
【００９７】
デコーダ３００において、フレームバッファ１１８、コード化チャネルバッファ１１６、ＩＱ回路１２２、ＩＤＣＴ回路１２４、ＭＣＰ回路３３０、およびＳＰおよびＶＬＤ回路１２０は、一般的にデコーダ１００と同じであるが、これらのデコーダ素子のそれぞれのさまざまな特徴について、それらが図３に示された特定の実施例に関係する場合には説明を加えることとする。例えば、それらが、第１解像度のテレビジョン信号およびその第１テレビジョン信号よりも低い解像度の第２テレビジョン信号、例えばＨＤおよびＳＤテレビジョン信号、の両方を復号化できるデコーダの一部として作られている場合である。
【００９８】
図３に示された実施例において、プリパーザ１１２は、受信ＨＤＴＶ信号のデータ速度をほぼＳＤＴＶ信号のデータ速度まで低減させるよう設計される。したがって、プリパーザ１１２は、コード化マクロブロック当たりのランレングス／振幅記号数およびマクロブロック当たりのビット数を、ＳＰおよびＶＬＤ回路１２０が、ＨＤＴＶ信号を処理するときに、ＳＤＴＶ信号を例えばＭＰ＠ＭＬ特定最大データ速度で処理するときとほぼ同じ速度で機能するように制限する。
【００９９】
これにより、チャネルバッファとして働くコード化データバッファ１１６のメモリ要求が低減される。したがって、デコーダ３００は、完全なＭＰＥＧ適合ＨＤＴＶデコーダに要求されるよりも小さいＳＤＴＶデコーダのメモリ要求に合うチャネルバッファを使用する。ＭＰ＠ＭＬチャネルバッファを作るのには１．５Ｍｂのみが要求されるが、Ｕ．Ｓ．ＡＴＶは８Ｍｂのチャネルバッファを規定している。ＭＰ＠ＭＬ仕様は、フレームバッファに対して、本発明の一実施例に係る低減解像度ビデオ画像を復号化するために要求されるよりも大きい８３０Ｋビットを要求しているので、ＨＤＴＶモード動作中に画像記憶に使用されないこの８３０Ｋビットのフレームバッファは、ＨＤＴＶモードで動作するときにチャネルバッファのメモリを補填するために使用され得る。したがって、本発明によれば、コード化データバッファは、最大解像度ＳＤデコーダを作るためにも必要なほぼ２．３３Ｍビットを用いて作られる。
【０１００】
コード化チャネルバッファ１１６がＨＤＴＶモード動作中にオーバフローしないことを保証することが、プリパーザ１１２の責務である。これは、例えば、フルサイズより小さいＨＤＴＶチャネルバッファ１１６がオーバフローするのを防止するために、より有用性の小さいＤＣＴ係数を切り捨てるプリパーザ１１２によって達成される。
【０１０１】
ＳＰおよびＶＬＤ回路１２０は、ＳＤＴＶデータ速度と同じ一般データ速度で動作するよう設計されるが、その回路はまた、ＳＤＴＶ復号化に較べて、ＨＤＴＶ復号化を許容できる大きな範囲のパラメータ値、例えばフレーム速度、画像水平サイズおよび画像垂直サイズ、に適応するようにも設計される。したがって、ＳＰおよびＶＬＤ回路１２０は、ＨＤＴＶおよびＳＤＴＶ復号化の両方をサポートするために必要な大きな範囲のパラメータのため、この点で標準ＳＤＴＶ構文解析器および可変長デコーダ回路よりもわずかに複雑である。
【０１０２】
構文解析器１２０の出力は、ＩＱ回路の入力に接続されている。そのＩＱ回路は、ＩＤＣＴ回路に接続されている。デコーダ３００のＩＤＣＴ回路１２２および１２４について説明する。
【０１０３】
ＭＰＥＧ ＭＰ＠ＭＬは、毎秒１０．４ミリオン（１千４十万）画素までの画素速度を与える。Ｕ．Ｓ．ＡＴＶは、毎秒６２．２ミリオン（６千２百２十万）画素までの画素速度を与える。
【０１０４】
本発明によれば、ＭＰ＠ＭＬ ＩＱ要求に適合するＩＱ回路網は、デコーダ３００のＩＱ回路１２２に使用される。そのような実施例においては、ＩＱ回路１２２は、ＳＤＴＶマクロブロックのすべてのＤＣＴ係数、例えばＨＤＴＶマクロブロックの１０また１１個のＤＣＴ係数、を処理する。
【０１０５】
すなわち、ＩＱ回路１２２は、処理されている各ＨＤＴＶの残りの１０または１１個のＤＣＴ係数を処理しながら、ＨＤＴＶマクロブロックの予め選択されたグループのＤＣＴ係数を”０”に設定するよう設計されている。
【０１０６】
１つの模範的な実施例においては、フィールドＤＣＴを用いてコード化されたＨＤＴＶマクロブロックに対して、８ｘ８マクロブロックのＤＣＴ係数が、図６に示されるようにＩＱ回路１２２によって切り捨てられる。ここで、”０”は切り捨てられたＤＣＴ係数を表すために使用され、Ｘ印は、ＩＱ回路１２２によって処理されるＤＣＴ係数を表すために使用される。フレームＤＣＴを用いてコード化されたＨＤＴＶマクロブロックに対して、８ｘ８マクロブロックのＤＣＴ係数が、図７に示されるようにＩＱ回路１２２によって切り捨てられる。
【０１０７】
ＩＱ回路１２２のようなＩＤＣＴ回路１２４は、ＨＤＴＶマクロブロックと関連する小割合のＤＣＴ係数、例えばＩＱ回路１２２によって処理される同じＤＣＴ係数、のみを処理するように設計されている。
【０１０８】
一次元の８ポイントＩＤＣＴを高速に処理できるＩＤＣＴエンジンは、ＩＤＣＴ回路１２４によって要求される２−Ｄ ＩＤＣＴ動作を実施するために使用され得る。
【０１０９】
ＭＰ＠ＭＬ ＩＤＣＴエンジンは、１つのＨＤＴＶマクロブロックＩＤＣＴ処理を許可する時間に、３つの８ポイントＩＤＣＴについて計算するために使用され得る。したがって、本発明の一実施例においては、ＨＤＴＶマクロブロックの最初の３カラムにあるＤＣＴ、例えば図６および図７においてＸによって示されたＤＣＴ係数、のみがＩＤＣＴ回路１２４によって処理される。
【０１１０】
したがって、一実施例においては、ＩＤＣＴ回路１２４は、ＨＤＴＶマクロブロックの最初の３カラムのＩＤＣＴおよびＳＤＴＶマクロブロックのすべてのＩＤＣＴを計算するためのＭＰ＠ＭＬ適合ＩＤＣＴエンジンを有する。本発明の模範的実施例によれば、８ｘ８ＨＤＴＶマクロブロックの最初の３カラムを除くすべてのＤＣＴ係数がゼロに設定されるので、最初の３カラムの外側のいかなる係数に対してもＩＤＣＴを計算する必要がない。
【０１１１】
ＭＰ＠ＭＬ ＩＤＣＴエンジンは、カラムＩＤＣＴを計算するために用いられるが、ＨＤＴＶマクロブロックの列ＩＤＣＴを計算するためのＩＤＣＴエンジンもまた、ＩＤＣＴ回路１２４に含まれている。しかし、本発明によれば、そのような係数を予めゼロに設定することによって８列係数のうちの５列は常にゼロであるので、これは比較的簡単なＩＤＣＴエンジンであり得る。さらに、最初の２または３カラムのみが列ＤＣＴの計算において使用される係数値を含むので、各列変換のために２または３ポイントのみが計算される必要がある。図６および図７に示された８ｘ８ＤＣＴ配列を使用する実施例においては、ダウンサンプラ１２６によってダウンサンプリングされる前に付加的フィルタリングが行われないときには、４列のみが変換されなければならないことに留意されたい。
【０１１２】
ＨＤデコーダＩＤＣＴ回路の一部としてＭＰ＠ＭＬ ＩＤＣＴエンジンを使用するＩＤＣＴ回路１２４を作る代替方法として、数個のブロックからの低周波矩形が図８に示されるように単一のマクロブロックに結合される。ここでは、”１”は第１マクロブロックからの低周波係数を表すために使用され、”２”は第２マクロブロックからの低周波係数を表すために使用され、”３”は第３マクロブロックからの低周波係数を表すために使用され 、そして”４”は第４マクロブロックからの低周波係数を表すために使用される。
【０１１３】
この代替案の実施例によれば、ＩＤＣＴ回路１２４は、説明された方法で、ＤＣＴ係数を４つの異なるＨＤＴＶマクロブロックから単一の８ｘ８ブロックのＤＣＴ係数に配列する。そして、従来の８ｘ８ポイントＩＤＣＴエンジンは、その後、複合ブロックのＤＣＴ係数を処理するために使用される。８ｘ８ポイントＩＤＣＴエンジンによる処理の後、ＩＤＣＴ操作の結果について行われる比較的簡単な線形操作が、複合係数ブロックを形成するために使用される４成分ＨＤＴＶマクロブロックのそれぞれ１つの低周波係数のＩＤＣＴの良好な近似を発生するために使用される。
【０１１４】
上述のように、フレームバッファ１１８に記憶する前にデコーダ３００がＨＤＴＶモードで動作させられると、ＩＤＣＴ回路１２４のビデオ画像データ出力がダウンサンプリングされ、それによってメモリ要求をさらに低減する。
【０１１５】
ＭＰ＠ＭＬは、画像当たり総数４１４７２０画素に対して７２０ｘ５７６画素の大きさの画像を与える。一方、ＵＳ ＡＴＶは、画像当たり１９２０ｘ１０８０画素の大きさの画像を与える。１９２０ｘ１０８０画素画像フォーマットで受信されるシーケンスは、水平方向３因子および垂直方向２因子によってダウンサンプリングされ、総数３４５６００画素に対して６４０ｘ５４０画素の最大解像度を与える。そのような実施例においては、完全解像度ＳＤデコーダを実施するために必要な同量のメモリは、ダウンサンプリングされたＨＤＴＶビデオ画像を記憶するためには満足し得るものである。したがって、例えば、上記のＨＤＴＶモードで動作するときコード化データバッファ１１６の一部として使用する、他の目的に利用可能な付加的な８３０Ｋビットを持つ、ＭＰ＠ＭＬに対して与えられるメモリは、低減解像度ＨＤデコーダに対しても同じく適切である。
【０１１６】
上述の方法で設計されるデコーダ構成部品を選択することによって、完全解像度ＳＤＴＶデコーダのコストの約１３０％であると予想されるコストで、一体型低解像度ＨＤＴＶデコーダおよび完全解像度ＳＤデコーダを作ることができる。デコーダ３００は、完全解像度ＨＤＴＶデコーダを内蔵しているシステムに比較して、かなり低コストでＨＤＴＶおよびＳＤＴＶ信号の両者を復号化および表示するように設計されるテレビジョンセットの一部として使用できよう。
【０１１７】
図１乃至図３のいずれかに示されたデコーダは、ピクチャーインピクチャーデスプレイの主画像の内側に示される画像を表示するために使用されるデコーダに完全解像度デコーダを与えるためのコストを招くことなく、ＨＤＴＶまたはＳＤＴＶセットにピクチャーインピクチャー機能を与えるために使用することもできる。
【０１１８】
ＭＰＥＧコンパチブルデジタルテレビジョンセットをピクチャーインピクチャーモードで動作させるために、２個のＭＰＥＧデコーダが用いられる必要がある。
【０１１９】
すなわち、画面の第１の部分に表示される完全解像度画像を復号化するための第１のデコーダと、画面のより小さい第２の部分に表示される小サイズの画像を復号化するための第２のデコーダである。
【０１２０】
さて、図９を参照する。図９には、本発明に係るピクチャーインピクチャー（ＰＩＰ）デコーダ４００が示されている。ＰＩＰデコーダ４００は、主要入力、例えば完全解像度デコーダ４０１の入力、および１以上の低減解像度デコーダ、すなわち第１および第２低減解像度デコーダ４０２、４０３に供給される同調器／復調器から、ＭＰＥＧ適合復調デジタルビデオ情報、例えばＳＤまたはＨＤ ＴＶ信号のいずれかを受信する。
【０１２１】
主デコーダ４０１はピクチャーインピクチャー画像の主画像を復号化し、一方、第１および第２デコーダは主画像の小領域に表示される分割画像を発生する。分離している低減解像度デコーダ４０２、４０３は、主画像に付加して表示される各付加画像用に使用される。
【０１２２】
主デコーダ４０１および低減解像度デコーダ４０２、４０３の出力は、結果的に結合される画像が表示される前に、主画像を低減解像度デコーダ４０２、４０３によって出力される低減解像度画像と結合させるように動作するピクチャーインピクチャービデオ処理回路の入力に接続される。
【０１２３】
本発明の一実施例においては、主画像に包含された低減解像度画像のサイズが、通常の画像の１／４ｘ１／４の大きさに選択される。そのような実施例においては、各ＭＰＥＧ８ｘ８画素ブロックは、２ｘ２画素のブロックに対応するサイズに復号化されることのみ必要となる。
【０１２４】
低減解像度デコーダ４０２、４０３において使用されるＩＤＣＴ回路１２４のコストは、８ｘ８ブロックと対象的に２ｘ２ブロックのみにＩＤＣＴ処置を実行することによって、本発明により実質的に低減され得る。これは、例えばＨＤＴＶ画像の各８ｘ８ＤＣＴ係数ブロックのＤＣＴ係数の左上の２ｘ２ブロックのみを保持し、処理することによって達成される。他のＤＣＴ係数はすべてゼロに設定される。したがって、そのような実施例においては、ＩＤＣＴ回路コストは、８ｘ８ＩＤＣＴと対照的に２ｘ２ＩＤＣＴを実行できる回路のコスト近くまで低減される。
【０１２５】
低減解像度デコーダ４０２、４０３のＩＱ回路１２２は、同様の方法で簡単化され得る。ＩＱ回路１２２は８ｘ８ＤＣＴ係数ブロックを形成する６４個のＤＣＴ係数値と対照的に、ＤＣＴ係数の２ｘ２ブロックについてのみ動作する。
【０１２６】
本発明によれば、低減解像度デコーダ４０２、４０３は、それらの低減されたサイズ内に低解像度フレームを記憶する。したがって、２ｘ２ＤＣＴ係数ブロックを用いることにより、フレームバッファのサイズが、８ｘ８ＤＣＴ係数ブロック、すなわち完全解像度ブロックが記憶された場合に要求されるサイズの約１／１６になる。
【０１２７】
低減するフレームバッファのサイズに加えて、プリパーザ１１２が、ＰＩＰ実施例によれば、低減解像度ＰＩＰデコーダ４０２または４０３によって使用される４個の振幅／ランレングス対を越える各マクロブロックに対応する振幅／ランレングス対を切り捨てることによって、チャネルバッファ要求およびＳＰおよびＶＬＤ回路の複雑さを低減させる働きをする。
【０１２８】
ＰＩＰ実施例において、ＭＣＰ回路１３０は、良好な予測結果を得るために、動きベクトルがちょうど４で割り切れないマクロブロックの基準フレームに補間を実行する。一層安価で幾分低画質でもよければ、動きベクトルを４のもっとも近いファクタにラウンドし、補間せずに印加する。
【０１２９】
本発明の上記ＰＩＰデコーダ実施例は、主画像中に挿入される二次画像に対して１／４ｘ１／４サイズ画像を用いる例で説明されたが、上記のデコーダ１００を用いて、例えば１／２ｘ１／２サイズ画像などの他のサイズ画像も、低減コストで発生され得る。そのような場合、ダウンサンプリングは、サイズおよびデータ速度の所望の低減を作り出す方法で実行されなければならない。
【０１３０】
図４に示された装置は、ＨＤＴＶ受信器に加え、ＳＤＴＶ受信器にピクチャーインピクチャー機能を与えるためにも使用され得る。さらに、図示のＰＩＰデコーダ装置は主デコーダ４０１に関する特定の解像度に制限されず、二次デコーダ４０２、４０３が主デコーダによってサポートされる解像度に較べて低減された解像度のデコーダとして作られるということだけが要求される。
【０１３１】
【発明の効果】
本発明によれば、デジタルビデオデコーダ回路の複雑性を低減し、かつビデオデコーダメモリの要求を低減する幾つかの方法および装置が得られる。
【０１３２】
本発明の様々なデータ低減特性と回路簡単化の結果として、ほぼＳＤＴＶ解像度で画像を出力する一体型ＨＤＴＶ／ＳＤＴＶデコーダを、デジタルＳＤＴＶデコーダのコストのほぼ１３０％のコストで作ることができる。
【図面の簡単な説明】
【図１】本発明の一実施例に係るビデオデコーダを表す図である。
【図２】本発明の第２の実施例に係るビデオデコーダを表す図である。
【図３】本発明に係る、ＨＤＴＶおよびＳＤＴＶビデオ信号の両方を復号化できるビデオデコーダ回路を表す図である。
【図４】本発明の他の実施例に係る、ＨＤＴＶマクロブロックに対応するＤＣＴ係数の８ｘ８ブロックを表す図である。
【図５】本発明のさらに他の実施例に係る、ＨＤＴＶマクロブロックに対応するＤＣＴ係数の８ｘ８ブロックを表す図である。
【図６】本発明のさらに他の実施例に係る、ＨＤＴＶマクロブロックに対応するＤＣＴ係数の８ｘ８ブロックを表す図である。
【図７】本発明のさらに他の実施例に係る、ＨＤＴＶマクロブロックに対応するＤＣＴ係数の８ｘ８ブロックを表す図である。
【図８】本発明のさらに他の実施例に係る、ＨＤＴＶマクロブロックに対応するＤＣＴ係数の８ｘ８ブロックを表す図である。
【図９】本発明に係る、ピクチャーインピクチャーテレビジョンをサポートするための、ビデオ像を復号化するための模範回路を示す図である。
【符号の説明】
１１２ プリパーザ、１１４ メモリ、１２０ ＳＰおよびＶＬＤ回路、１２２ 逆量子化回路、１２４ 逆ＤＣＴ回路、１２６ ダウンサンプラ、１２８ 加算器、１２９ スイッチ、１３０ ＭＣＰ回路、１３１ アップサンプラ、１３２ 半ペル補間回路、１３３ ダウンサンプラ、１３４ 平均予測回路、１３５ 動き補償予測モジュール、１３６ 後処理装置

Claims (3)

1. 画像の最大解像度よりも劣る解像度で、画像を含むデジタルビデオデータを復号化するためのデコーダであって、各画像が複数個のマクロブロックを有し、各マクロブロックが複数個のＤＣＴ係数を有し、各ＤＣＴ係数が可変長符号化されたビデオデータが入力されるデコーダにおいて、
   上記デコーダが、デジタルビデオデータを受信し、マクロブロック当たりの予め選択された最大数のＤＣＴ係数を越える各マクロブロックのＤＣＴ係数を可変長復号を行なうことなく取り除くためのプリパーザ手段と、
   上記プリパーザ手段により一部のＤＣＴ係数が取り除かれたビデオデータを可変長復号する可変長復号手段と、
   を備えていることを特徴とするデコーダ。
2. 請求項１に記載のデコーダにおいて、各ＤＣＴ係数が多数のビットによって表され、かつ各マクロブロックを表すビットの数はそのマクロブロックに含まれるＤＣＴ係数を表すビットの総数によって表されるとともに、
   前記プリパーザ手段は、個々のマクロブロックを表すために使用されるビット数が所定の最大数のビットを越えるときに限り、各個々のマクロブロックから前記所定の最大数のビットを超えるＤＣＴ係数を取り除くことを特徴とするデコーダ。
3. 請求項１に記載のデコーダにおいて、さらに、
   前記プリパーザ手段および前記可変長復号手段に結合され、前記プリパーザ手段によって出力されたビデオデータを一時的に記憶し、前記可変長復号手段に対し記憶したビデオデータを出力するチャンネルバッファを備え、
   前記可変長復号手段に結合され、マクロブロック毎に限定された予め選択された数のＤＣＴ係数のみを逆量子化し、逆量子化されないマクロブロックのＤＣＴ係数に対応する複数個のゼロを出力するための逆量子化回路を備え、マクロブロック毎に限定されたＤＣＴ係数の数が、マクロブロック毎に含まれうるＤＣＴ係数の最大数よりも少ないことを特徴とするデコーダ。

Images