JPH10511526A

JPH10511526A - 圧縮されたビデオデータを復号化し、表示するメモリコントローラ

Info

Publication number: JPH10511526A
Application number: JP8520548A
Authority: JP
Inventors: サン，ユアンユアン; サン，チー−タ; ソーン，ジ−シエン; チャン，リチャード; チャン，ゾヤオ; ハン，チア−ルン
Original assignee: Cirrus Logic Inc
Current assignee: Cirrus Logic Inc
Priority date: 1994-12-23
Filing date: 1995-12-20
Publication date: 1998-11-04
Anticipated expiration: 2015-12-20
Also published as: WO1996020567A1; EP0799551A1; US5838380A; US5923665A; JP3759167B2; DE69520454D1; KR987001188A; EP0799551B1

Abstract

(57)【要約】マルチメディアシステムは、表示装置上に表示するビデオイメージを生成しかつ可聴再生するオーディオ信号を発生するために、圧縮／符号化されたオーディオ／ビデオデータストリームを伸長／復号化する、オーディオ／ビデオデコンプレッサ／デコーダを備えている。このマルチメディアシステムは、集積化されたシステムと、新規なメモリコントローラ、および、テアリングなしに完全な復号化／伸長されたビデオフレームを表示装置上に表示するための新規な方法を有するビデオデコーダと、を備えている。メモリへの復号化／伸長されたビデオフレームの選択的格納を利用することによって、テアリングが防止されるが、ビデオセグメントの動きを予測するための情報は保存される。

Description

【発明の詳細な説明】圧縮されたビデオデータを復号化し、表示するメモリコントローラ発明の分野本発明は、広くは、マルチメディアアプリケーションの分野に関する。具体的には、本発明は、マルチメディア用のデコーダ／デコンプレッサおよびメモリコントローラに関する。本発明は、モーション・ピクチャ・エキスパート・グループ（ＭＰＥＧ IおよびII）のデータ圧縮／伸長規格に特に好適である。発明の背景最近、パーソナルコンピュータは、オーディオおよびビデオ情報を含むマルチメディアアプリケーションを取り入れている。オーディオ情報およびビデオ情報を圧縮／符号化し、伸長／復号化するための規格をいくつかのマルチメディアグループが確立し、提案している。モーション・ピクチャ・エキスパート・グループにより確立されたＭＰＥＧ IおよびIIは、マルチメディアＰＣアプリケーションの分野で最も広く受け入れられている国際規格である。その他の規格としては、ジョイント・フォトグラフィック・エキスパート・グループにより確立されたＪＰＥＧおよびモーションＪＰＥＧがある。図1Ａは、ＭＰＥＧアルゴリズムに従って圧縮され、符号化されたビデオおよび／またはオーディオデータの伸長をおこなうＭＰＥＧオーディオおよびビデオデコーダ120の図である。システムデコーダ110は、インタレースされ圧縮されたビデオおよび／またはオーディオデータを有する符号化されたＭＰＥＧデータストリーム101を読み出し、必要なタイミング情報、すなわち、ビデオプレゼンテーションタイムスタンプ（ＶＰＴＳ）104、システムタイムクロック（ＳＴＣ）とも称されるシステムクロック基準（ＳＣＲ）105、オーディオプレゼンテーションタイムスタンプ（ＡＰＴＳ）106 、ならびに分離されたビデオの符号化されたビットストリーム102およびオーディオの符号化されたビットストリーム103を発生する。ビデオデコーダ111は、ビデオデータストリーム102を伸長し、伸長されたビデオ信号107を発生する。オーディオデコーダ112は、オーディオデータストリーム103を伸長し、伸長されたオーディオ信号108を発生する。伸長されたビデオ信号107は、ＰＣモニタあるいはその他のディスプレイユニットに結合され、伸長されたオーディオ信号108は、オーディオスピーカあるいはその他のオーディオ発生手段に結合される。ＭＰＥＧ符号化／圧縮されたデータストリームは、複数の符号化／圧縮されたビデオデータパケットあるいはブロックと、複数の符号化／圧縮されたオーディオデータパケットあるいはブロックとを含んでいることがある。ＭＰＥＧエンコーダは、ピクチャとも称されるビデオフレーム毎にこれらのビデオパケットを符号化／圧縮する。これらのピクチャすなわちフレームは、１個の輝度信号および２個のクロミナンス信号を表すマルチビットの数からなる３つの矩形マトリックスから構成される、ソースすなわち復元されたイメージデータである。図2Ａ〜図2Ｃは、利用される符号化／圧縮されたビデオフレームのタイプを図示している。図2Ａは、イントラフレームすなわちＩタイプのフレームを示している。Ｉタイプのフレームすなわちピクチャは、過去あるいは未来からの情報を用いずに符号化されたビデオデータのフレームであり、その他のタイプのフレームの復号化／伸長の基礎として利用される。図2Ｂは、予測フレームすなわちＰタイプのフレームを図示している。Ｐタイプのフレームすなわちピクチャは、過去のＩタイプのフレームまたはＰタイプのフレーム（この場合は、Ｉ₁200）からの動き補償された予測を用いて符号化／圧縮されるフレームである。つまり、ある与えられた現在のビデオデータフレームを符号化／圧縮するのに以前のフレームが用いられる。205aは、Ｐタイプのフレーム210をつくるための動き補償された予測情報を表している。図2Ｃは、双方向フレームすなわちＢタイプのフレーム220を図示している。Ｂタイプのフレームすなわちピクチャは、過去のＩタイプの参照フレーム（この例では、200）あるいはＰタイプの参照フレームおよび未来のＩタイプの参照フレームあるいはＰタイプの参照フレーム（この例では、210）、すなわちそれら両方の組み合わせから得られた動き補償された予測を用いて符号化／圧縮されるフレームである。図2Ｄは、表示順序Ｉ₁Ｂ₂Ｂ₃Ｐ₄Ｂ₅Ｐ₆と呼ばれるものにおけるグループオブピクチャを表している。この図は、Ｉタイプのフレームと、Ｐタイプのフレームとの間に挿入された複数のＢタイプのフレーム、および動き補償情報が流れる方向を示している。動き補償は、符号化／圧縮および復号化／伸長のための画素値予測効率を改善するために、あるフレームから次のフレームへと動きベクトルを用いることを指している。この予測方法は、オフセット値およびエラーデータを得るために動きベクトルを用いる。これらの動きベクトルは、ある与えられたビデオデータのフレームを圧縮／符号化するか、または伸長／復号化するためにエラーデータと共に用いられうる、復号化された画素値を有する過去または未来のビデオデータフレームを参照する。Ｐタイプのフレームを復号化／伸長する能力は、以前のＩタイプまたはＰタイプの参照フレームが利用可能であることを要求し、Ｂタイプのフレームは、後続するＩタイプまたはＰタイプの参照フレームが利用可能であることを要求する。例えば、以下のフレームシーケンスつまり表示順序を有する符号化／圧縮されたデータストリームを考える。すなわち、Ｉ₁Ｂ₂Ｂ₃Ｐ₄Ｂ₅Ｐ₆Ｂ₇Ｐ₈Ｂ₉Ｂ₁₀Ｐ₁₁ …Ｐ_n-3Ｂ_n-2Ｐ_n-1Ｉ_nを考える。与えられたこの表示順序に対応する復号化順序は、Ｉ₁Ｐ₄Ｂ₂Ｂ₃Ｐ₆Ｂ₅Ｐ₈Ｂ₇Ｐ₁₁Ｂ₉Ｂ₁₀…Ｐ_n-1Ｂ_n-2Ｉ_nとなる。この復号化順序は、表示順序とは異なる。なぜなら、Ｂタイプのフレームは、未来のＩタイプまたはＰタイプのフレームが復号化されることを必要とするからである。Ｐタイプのフレームは、以前のＩタイプの参照フレームが利用可能であることを要求する。例えば、Ｐ₄は、符号化／圧縮されたＩ₁、フレームが利用可能になるように、Ｉ₁が復号化されることを要求する。同様に、フレームＰ₆は、フレームＰ₆を復号化／伸長するためにはＰ₄が利用可能であることを要求する。例えばＢ₃のようなＢタイプのフレームは、復号化されるためには、Ｐ₄およびＩ₁ のような過去および未来のＩタイプまたはＰタイプの参照フレームを必要とする。Ｂタイプのフレームは、符号化のあいだに、Ｉタイプ、Ｐタイプあるいはそれらの組み合わせの間に挿入されるフレームであり、イメージを忠実に再生するためには必要ない。Ｉタイプのフレーム以前のフレーム（この例では、Ｐ_n-1など）は、Ｉタイプのフレームを復号化するのには必要ない。また、復号化／伸長されるために、Ｐ_n-1を必要とする未来のフレームはない。一般に、動きの１秒１秒がすべて、少なくとも２つのＩタイプのフレームを必要とする。Ｉタイプのフレームは、150キロビット／秒のサンプリングレートを有しており、一方、Ｐタイプのフレームは、50キロビット／秒のサンプリングレートを有している。表示処理は、復号化処理よりも遅くなることがある。例えば、240×16のピクチャは、3072のクロックサイクルが復号化される（40Ｍhzで76.8μs）ことを要求する。16ラインのビデオデータを75Ｈzのリフレッシュレートで表示するためには、200μｓ（13μs×16＝200μs）を要する。これらのビデオフレームは、表示される以前にバッファリングされる。通常、表示と復号化との間には１フレームの遅延がある。表示と復号化との間の差は、テアリング（tearing）として知られている状態をもたらす。テアリングは、表示フレームが、復号化されたフレームにより上書きされる時に発生する。図1Ｂは、テアリングを図示している。閉まっているドアのイメージ133を表すデータの復号化／伸長されたフレーム132が、現在、バッファ135に格納されている。この復号化／伸長されたフレームは、現在、ディスプレイユニット140に表示されている。この表示期間のあいだに、開いたドアのイメージ131を表すデータを有する別の復号化／伸長されたフレーム130が、バッファ135に格納される。この時点で、ディスプレイユニット140は、現在135に格納されている新しいフレームからの情報を用いて、表示を開始することになる。その結果、第１の格納されたイメージ141が部分的に表示され、新たに格納されたイメージ142も部分的に表示される。これが、テアリング効果である。ＭＰＥＧストリームを通常のビデオストリームと組み合わせるためのさまざまな方法は、図7Ａ〜図7Ｃから分かる。発明の要旨集積化されたシステムと、表示するビデオフレームを処理するのにより小さい記憶空間を用いる新規なメモリコントローラ回路を有するビデオデコーダと、を備えたマルチメディアシステムが記載される。このマルチメディアシステムは、符号化／圧縮されたデータストリームを復号化することによって、符号化／圧縮されたデータストリームを、符号化／圧縮されたオーディオデータと、符号化／圧縮されたビデオデータとに分離する、オーディオ／ビデオ復号化／伸長回路を有している。アドレシング可能な記憶装置を有するメモリは、圧縮されたオーディオデータおよび符号化／圧縮されたビデオデータを一時的に格納する第１の領域と、復号化／伸長されたビデオフレームを選択的に格納する複数のスロットを有する第２の領域と、にアドレス・パーティショニングされる。符号化／圧縮されたビデオデータを復号化し、復号化／伸長されたビデオデータを生成するデコーダが設けられる。フレームバッファメモリを効率よく用いることによって、マルチメディアシステムのコストを下げるための新規な方法が記載される。これらの方法は、符号化／圧縮されたビデオフレームを受け取ることと、それがＢタイプのフレームであるか、Ｐタイプのフレームであるか、あるいはＩタイプのフレームであるかを判定することと、を必然的に伴う。現在表示されている復号化／伸長されたビデオフレームのタイプもまた、判定される。次に、符号化／圧縮されたビデオフレームは復号化され、以下の表に従ってアドレス・パーティショニングされたメモリのさまざまなスロットへと書き込まれる。以下の表は、開示される本発明の作用を要約している。マルチメディアシステムの一部は、オーディオサウンドおよびビデオイメージを、時間情報と、ビデオデータの圧縮／符号化されたパケットと、オーディオデータの圧縮／符号化されたパケットとを含む、圧縮／符号化されたビットストリームに圧縮／符号化する。圧縮／符号化されたビットストリームは、後で再生できるようにＣＤＲＯＭあるいはその他の記憶装置へと記録されてもよいし、ビデオイメージおよびオーディオプレイバックの表示を与えるマルチメディアシステムの再生部に直接、転送されてもよい。マルチメディアシステムの再生部は、概略的には、コンパクトディスクの読み出し専用メモリの読み取り器と、プロセッサ回路と、オーディオ／ビデオデコーダ回路と、音声発生用のオーディオスピーカと、その音声再生に対応することのあるイメージを表示する１つ以上の表示装置と、を備えている。よって、本発明によれば、圧縮／符号化されたオーディオおよびビデオデータフレームを受け取るマルチメディアシステム内の表示を制御するのに必要なメモリ回路の個数およびサイズを最小化することによって、システム設計のコストを下げることができる。図面の簡単な説明図1Ａは、ＭＰＥＧ復号化システムの従来の技術によるブロック図である。図1Ｂは、フレームバッファメモリ内に同時に格納されている２つの異なるフレームからのフレームデータが表示装置上に表示される、従来の技術による装置内のテアリングの問題を示す図面である。図2Ａ〜図2Ｄは、ビデオフレームの従来技術による符号化／圧縮を示す図である。図3は、3スロットフレームバッファメモリアレイとインタフェースする本発明のブロック図である。図4は、4スロットフレームバッファメモリアレイとインタフェースする本発明のブロック図である。図5Ａ〜図5Ｇは、3スロットフレームバッファメモリを用いる本発明の復号化方法を表す図である。図6は、本発明がマルチメディアコンピュータシステムでどのように用いられるかを示す高レベルシステム図である。図7Ａ〜図7Ｃは、グラフィックスおよび符号化されたデータの転送を組み合わせるための本発明によるオプションの構成を図示している。発明の詳細な説明本発明の第１の実施の形態を示す図3を参照すると、メモリ321は、アドレス位置により多数の領域にパーティショニングされている。第１の領域（ビットストリームバッファ370と称される）は、オーディオ／ビデオの符号化されたデータパケットを一時的に格納するためのものである。メモリ321内の第２の領域（フレームバッファ350と称される）は、スロット371〜373と呼ばれる３つの副領域にアドレスパーティショニングされている。スロット1 371、スロット2 372およびスロット3 373は、それぞれ、復号化／伸長されたビデオフレームの１個の完全なフレームを格納することができる。モノリシックな集積回路（ここでは、「Ｖidsyst（ビデオシステム）デコーダ」と称される）は、本発明のアルゴリズムおよび回路を実現する。Ｖidsystデコーダ311は、プロセッサ（不図示）からＭＰＥＧデータストリーム101を受け取り、符号化されたデータパケットをシステムパーサ382にわたすホストインタフェース381を有している。システムパーサ382は、タイミング情報（ＶＰＴＳ 104、ＳＣＲ 105、ＡＰＴＳ 106）をデータパケットからパーシングするのと共に、ビデオの符号化されたデータパケットをオーディオの符号化されたデータパケットからパーシングする。ビデオの符号化されたデータパケットは、ビデオデータストリームとして送られ、メモリ321内のビットストリームバッファ370に一時的に格納される。オーディオの符号化されたデータパケットもまた、メモリ321内のビットストリームバッファに一時的に格納される。準備ができると、メモリ321 のビットストリームバッファ370内のビデオの符号化されたデータパケットは、読み出され、ビデオデコーダ383内で復号化・伸長されることによって、伸長されたビデオデータ107を生成する。さまざまなタイプの符号化されたフレームを復号化するためには、Ｐタイプの符号化されたフレームおよびＢタイプの符号化されたフレームを復号化するのに参照フレームを用いる必要がある。よって、データの伸長／復号化されたフレームは、通常、メモリ321へと保存しなおされ、他のフレームを復号化するのに利用される。もし、システムの遅延のために、伸長されたビデオデータフレームの表示が準備できていないのなら、このフレームはスキップされてもよい。準備ができると、メモリ321のビットストリームバッファ370内のオーディオの符号化されたデータパケットもまた、読み出され、オーディオデコーダ（不図示）へと復号化・伸長されることによって、伸長されたオーディオデータを生成する。ビデオの符号化されたデータパケットの中には、さまざまな符号化されたビデオフレームがある。これらの中で、Ｉタイプのフレームは、メモリのおよそ20キロバイトを必要とし、Ｐタイプのフレームは、およそ10キロバイトを必要とし、Ｂタイプのフレームは、およそ３キロバイトを必要とする。第１の実施の形態では、メモリ321内の第２の領域（フレームバッファ350と称される）は、アドレスによりパーティショニングされた３つのスロット371〜373を有している。スロット1 371、スロット2 372およびスロット3 373は、それぞれ、復号化／伸長されたビデオフレームの１個の完全なフレームを格納することができる。典型的には、スロット1およびスロット2は、復号化／伸長されたＩタイプおよびＰタイプのビデオフレームを格納するのに用いられ、スロット3は、通常、復号化／伸長されたＢタイプのフレームを格納するが、後述するように、復号化／伸長されたＩタイプおよびＰタイプのビデオフレームを格納してもよい。メモリアレイ321は、メモリ領域を適正にアドレシングするために、アドレスデコーダと、データバッファと、制御回路375とを備えている。典型的には、このメモリは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）タイプであるが、ビデオメモリ（ＶＭＥＭ）タイプであっても、あるいはスタティックランダムアクセスメモリ（ＳＲＡＭ）タイプであってもよい。Ｖidsystデコーダ311の中で、メモリコントローラ380は、その他の回路と協同して、メモリ321に対してアドレス122および制御123を発生する。発生されたアドレスおよび制御は、メモリ321へと書き込まれるか、またはそれから読み出される対応するデータと適正にタイミングが合わされる。図4は、本発明の第２の実施の形態を示している。ここで、メモリ421は、アドレス位置によって、ビデオデータのフレームを格納する４つの「スロット」を含む異なる複数の領域にパーティショニングされている。第１の領域370は、図3の場合と同様にビットストリームバッファであり、符号化されたビデオおよびオーディオパケットを一時的に格納するためのものである。メモリ421内の第２の領域（フレームバッファ450と称される）は、アドレスによりパーティショニングされた４つのスロット471〜473を有している。スロット1 471、スロット2 472、スロット3 473およびスロット4 474は、それぞれ、同じサイズの復号化／伸長されたビデオフレームの１個の完全なフレームを格納することができる。フレームバッファメモリが４つのスロットにパーティショニングされるとき、テアリングの問題はない。メモリのスロットは、現在表示されているフレームを有するスロット内へと書き込まなくても、利用可能である。さらに、4スロットメモリパーティショニングの場合、表示を止めることもできる。しかし、より低コストのコンピュータシステムには、より少ない量のメモリが好ましい。よって、3スロット解決手段を用いてメモリをより効率よく利用するほうが望ましい。いくつかのＢタイプフレームを落とし、選択されたいくつかのスロットにおけるフレームを上書きすることによって、従来の技術に見られ、図1Ｂに図示されているテアリングの問題は発生しなくなる。例えば、図5Ａ〜図5Ｇに図示されている以下のケースを考える。第１の例である図5Ａは、表示順序をＩ₁Ｂ₂Ｂ₃Ｐ₄とし、対応する復号化順序をＩ₁Ｐ₄Ｂ₂Ｂ₃としている。よって、ビデオデコーダ383は、まずＩ₁フレームを復号化し、復号化／伸長されたＩ₁フレームをスロット1 371に格納する。以前に格納された復号化／伸長されたＩ₁フレームを用いて、Ｐ₄フレームが次に復号化される。復号化／伸長されたＰ₄フレームは、スロット2 372に格納される。次に、それぞれスロット1 371およびスロット2 372内に格納されている復号化／伸長されたフレームＩ₁およびＰ₄の一方または両方を用いて、Ｂ₂フレームが復号化される。復号化／伸長されたＢ₂フレームは、スロット3 373内に格納される。次は、Ｂ₃フレーム505を復号化／伸長するのが望ましい。しかし、3スロットメモリアレイを用いれば、復号化／伸長されたＩ₁Ｐ₄およびＢ₂フレームと共に現在格納されているスロットのどれも、それらが表示される前には、上書きしたいとは思わない。復号化／伸長されたＩ₁およびＰ₄フレームの場合、これらのフレームは、Ｂ₃フレームを正しく復号化するのに必要とされる。復号化／伸長されたＢ₂フレームの場合、このフレームは、表示装置上に表示されていないかもしれないし、あるいは、表示装置上にその一部だけが表示されているかもしれない。もし復号化／伸長されたＢ₂フレームが復号化／伸長されたＢ₃フレームにより上書きされるのなら、テアリングの問題が発生する可能性がある（図1Ｂを参照のこと）。これを避けるために、復号化／伸長されたＢ₃フレームの情報は、メモリアレイ321に格納されず、表示されもしない。よって、復号化／伸長されたＢ₂フレームは完全に表示されうる。Ｂタイプのフレームは、伸長されたモーションビデオ^TMセグメントの実質的な再生には必須ではないので、現在表示中であるか、またはこれから表示される復号化／伸長されたＢタイプのフレームを上書きすることは、3スロットのフレームバッファシステムでは許されない。次に、表示順序がＩ₁Ｂ₂Ｐ₃Ｉ₄であり、対応する復号化順序がＩ₁Ｐ₃Ｂ₂Ｉ₄である第２の例を示す図5Ｂを参照する。ビデオデコーダ383は、まずＩ ₁ フレームを復号化し、復号化／伸長されたＩ₁、フレームをスロット1 371内に格納する。以前に格納された復号化／伸長されたＩ₁、フレームを用いて、Ｐ₃フレームが次に復号化され、スロット2 372に格納される。次に、スロット1 371に格納されている復号化／伸長されたフレームＩ₁およびスロット2 372に格納されている復号化／伸長されたフレームＰ₃を用いて、Ｂ₂フレームが復号化される。復号化／伸長されたフレームＢ₂は、スロット3 373に格納される。次に、復号化／伸長されたフレームＢ₂が現在表示されている間に、Ｉ₄515が復号化される。Ｉタイプのフレームは、他のいかなるフレームからの情報も必要としない。よって、最も古いＩタイプまたはＰタイプのフレームが上書きされうる。よって、ここでは、スロット1 371に格納されている復号化／伸長されたフレームＩ₁を復号化／伸長されたフレームＩ₄で上書きする。表示順序Ｉ₁Ｂ₂Ｐ₃Ｂ₄Ｐ₅を有する第３の例を考える。対応する復号化順序は、Ｉ₁Ｐ₃Ｂ₂Ｐ₅Ｂ₄である。図5Ｃに示されているように、ビデオデコーダ383は、まずＩ₁フレームを復号化し、復号化／伸長されたＩ₁フレームをスロット1 37 1内に格納する。以前に格納された復号化／伸長されたＩ₁フレームを用いて、Ｐ₃ フレームが次に復号化される。復号化／伸長されたＰ₃フレームは、スロット2 372に格納される。次に、スロット1およびスロット2にそれぞれ格納されている復号化／伸長されたフレームＩ₁およびＰ₃の両方を用いて、Ｂ₂フレームが復号化される。次にＰ₅を復号化するのが望ましい。Ｐ5は、復号化／伸長されたフレームＰ₃ を参照として必要とするが、復号化／伸長されたフレームＩ₁、は必要としない。よって、復号化／伸長されたＰ₅フレームは、Ｐ₃に比べるとより以前の、つまりより古いフレームである、371に格納されている復号化／伸長されたＩ₁を上書きしてもよい。次に、復号化／伸長されたフレームＰ₃およびＰ₅を用いて、Ｂ₄525を復号化する。Ｐ₃は、現在表示されている（501）復号化／伸長されたフレームであり、またＢ₂はＰ₃よりも前であるため既に表示されているので、復号化／伸長されたＢ₄ は、現在、スロット3 373に格納されているＢ₂を上書きすることができる。第４の例として、表示順序Ｉ₁Ｐ₂Ｂ₃Ｐ₄を有し、復号化順序Ｉ₁Ｐ₂Ｐ₄Ｂ₃を有する図5Ｄを考える。ビデオデコーダ383は、まずＩ₁フレームを復号化し、復号化／伸長されたＩ₁フレームをスロット1 371内に格納する。次に、以前に格納された復号化／伸長されたＩ₁フレームを用いて、Ｐ₂フレームが復号化される。復号化／伸長されたＰ₂フレームは、スロット2 372に格納される。次に、スロット 2内に格納されている復号化／伸長されたフレームＰ₂を用いて、Ｐ₄フレームが復号化される。復号化／伸長されたフレームＰ₄は、この時点で、スロット3 373 に格納される。復号化／伸長されたＩ₁フレームが現在表示されており（501）、符号化／圧縮されたＢ₃が次に復号化される（535）。Ｂタイプのフレームは、伸長されたモーションビデオＪのセグメントの実質的な再生には必須ではない。よって、符号化／圧縮されたＢタイプのフレームが捨てられるようにし、スロット2 372に格納されている復号化／伸長されたＰ₂フレームを表示させ、その後、スロット3 373 に格納されている復号化／伸長されたＰ₄フレームを表示させても、伸長されたモーションビデオＪのセグメントの解像度が大幅な損失を被ることはない。第５の例である図5Ｅを参照する。この例では、表示順序は、Ｉ₁Ｂ₂Ｐ₃であり、対応する復号化順序は、Ｉ₁Ｐ₃Ｂ₂である。ビデオデコーダ383は、まずＩ₁フレームを復号化し、復号化／伸長されたＩ₁フレームをスロット1 371に格納する。次に、以前に格納された復号化／伸長されたＩ₁、フレームを用いて、Ｐ₃フレームが復号化され、スロット2 372に格納される。図5Ｄの場合と同様に、復号化／伸長されたＩ₁フレームが現在表示されており（501）、符号化／圧縮されたＢタイプのフレームが次に復号化される。すなわち、Ｂ₂545である。しかし、この図では、空のスロット、すなわちスロット3 37 3 がある。よって、以前に格納された復号化／伸長されたＩ₁フレームおよび以前に格納された復号化／伸長されたＰ₃フレームを用いて、符号化／圧縮されたＢ₂ フレームが復号化／伸長され、スロット3 373へと格納される。表示順序Ｉ₁Ｂ₂Ｐ₃Ｐ₄を有し、対応する復号化順序Ｉ₁Ｐ₃Ｂ₂Ｐ₄を有する図5 Ｆに示されている第６の例を考える。ビデオデコーダ383は、まずＩ₁フレームを復号化し、復号化／伸長されたＩ₁フレームをスロット1 371に格納する。次に、以前に格納された復号化／伸長されたＩ₁フレームを用いて、Ｐ₃フレームが復号化され、スロット2 372に格納される。次に、以前に格納された復号化／伸長されたＩ₁フレームおよび以前に格納された復号化／伸長されたＰ₃フレームを用いて、Ｂ₂フレームが復号化される。復号化／伸長されたＢ₂フレームは、その後、スロット3 373に格納される。次に、スロット2 372に格納されており、現在表示されている（501）復号化／伸長されたフレームＰ₃を用いて、Ｐ₄フレーム555が復号化される。Ｐ₃は現在表示されており、Ｂ₂は、既に表示されたので、復号化／伸長されたフレームＰ₄は、スロット3 373に格納され、復号化／伸長されたフレームＢ₂を上書きする。表示順序がＩ₁Ｐ₂Ｐ₃Ｐ₄であり、その復号化順序がＩ₁Ｐ₂Ｐ₃Ｐ₄である図5Ｇに示されている第７の例をさらに考える。ビデオデコーダ383は、まずＩ₁フレームを復号化し、復号化／伸長されたＩ₁フレームをスロット1 371内に格納する。次に、以前に格納された復号化／伸長されたＩ₁フレームを用いて、Ｐ₂フレームが復号化される。復号化／伸長されたＰ₂フレームは、スロット2 372に格納される。次に、スロット2内に格納されている復号化／伸長されたフレームＰ₂を用いて、Ｐ₃フレームが復号化される。スロット3は、通常はＢタイプのフレームを格納するのに用いられる。しかし、スロット3は、Ｐタイプのフレームを収容することもできる。よって、Ｐ₃は、スロット3 373に格納される。次に、Ｐ₄フレーム565が復号化される。Ｐ₄は、現在、スロット3 373に格納されている、より新しい復号化／伸長されたフレームＰ₃から情報を引き出す。Ｐ₄ は、それよりも古い復号化／伸長されたフレームをもはや必要としないし、しかも、以前に復号化／伸長されたフレームからの情報を必要とするＢタイプのフレームはないので、最も古いＩタイプまたはＰタイプのフレームを上書きする。よって、Ｉ₁は、Ｐ₃をスロット1 371に格納することによって、上書きされる。符号化／圧縮されたＰタイプのフレームが復号化されている間に、復号化／伸長されたＩタイプのフレームが表示されている時、または、符号化／圧縮されたＩタイプのフレームが復号化されている間に、復号化／伸長されたＩタイプのフレームが表示されている時、この例により説明されたのと同じ作用が用いられる。マルチメディアシステム本発明のマルチメディアアプリケーションの一例が、図6により図示されている。例えばマルチメディアコンピュータのようなマルチメディアディジタルシステム600は、その内部でＣＤＲＯＭ読み取り器611およびオーディオ／ビデオデコーダ612に結合するメインシステムボード610を有している。このマルチメディアディジタルシステム600は、イメージソース601およびエンコーダ602を有し、例えば、ディジタルディスプレイ605、ＣＲＴモニタ606あるいはテレビジョン607 のような外部表示装置に結合されうる、符号化システムに外部で結合されてもよい。当初、符号化は、イメージデータを供給する何らかのソースからのデータに対してなされる。イメージデータを供給するソースの例をいくつか挙げれば、ビデオカメラ、ＴＶモニタ、コンピュータ、スキャナ、および静止カメラがある。ソースには関係なく、イメージデータは、バス635上をエンコーダ602へと供給される。イメージ603が例えばビデオカメラのようなイメージソース601により読み出されると、そのイメージをエンコーダ602により符号化されうるデータストリームにバス635上で変換する。用いられる規格のタイプ次第で、エンコーダ602は、ＭＰＥＧ Iエンコーダでも、ＭＰＥＧ IIエンコーダでも、ＪＰＥＧエンコーダでも、あるいは、圧縮／符号化されたデータを生成するその他のタイプのユニットでもよい。イメージデータが符号化された後、そのデータは、エンコーダ602から直接、プロセッサに結合されてもよいし、コンパクトディスク読み出し専用メモリ（ＣＤＲＯＭ）604上に書き込まれてもよい。もしＣＤＲＯＭ上に書き込まれるのなら、エンコーダ602から記録された圧縮／符号化されたデータをプロセッサ613に結合するためには、ディスクがＣＤＲＯＭ読み取り器611中に挿入されなければならない。プロセッサ613は、例えば、インテル80486のような標準的なマイクロプロセッサでもよいし、専用のタイプのプロセッサでもよい。プロセッサ 613は、圧縮／符号化されたデータをシステムメモリ614に格納することができる。このデータは、後に読み出されてシステムバス615上に送られる。あるいは、プロセッサ613は、圧縮／符号化されたデータをシステムバス615に直接、結合してもよい。システムバスは、ＩＳＡバス、ＰＣＩバス、あるいはその他の規格のコンピュータバスでよく、また、ある種の専用バスであってもよい。システムバス615上の圧縮／符号化されたデータストリームは、オーディオ／ビデオデコーダシステム612に結合される。システムバス615上の圧縮／符号化されたデータは、「Ｖidsyst」デコーダ311に結合される。Ｖidsystデコーダ311内で、システムデコーダ622は、圧縮／符号化されたデータを圧縮／符号化されたビデオデータ、圧縮／符号化されたオーディオデータおよびタイミング制御信号へとパーシングする。システムデコーダ622は、オーディオ／ビデオ同期回路620 に結合されており、それによって、タイミング制御信号を伝える。システムデコーダ622をオーディオデコーダ627に直接、結合して、圧縮／符号化されたオーディオデータを運ぶようにしてもよいし、オーディオデコーダ627に運ばれる以前に、圧縮／符号化されたオーディオデータのフレームを一時的に格納するＦＩＦＯ641を介して、オーディオデコーダ627に間接的に結合してもよい。また、システムデコーダがビデオデコーダ383に直接結合されることによって、圧縮／符号化されたビデオデータを運ぶようにしてもよい。あるいは、ビデオデコーダ383に運ばれる以前に、圧縮／符号化されたビデオデータのフレームを一時的に格納するＦＩＦＯ642を介して、システムデコーダ6 22をビデオデコーダ383に間接的に結合してもよい。メモリ321の圧縮／符号化されたエリア370内のビデオの符号化されたデータパケットが、読み出され、ビデオデコーダ383内で復号化・伸長されることによって、伸長されたビデオデータ1 07を生成し、かつ、後にＰタイプまたはＢタイプのフレームを復号化するのに必要とされる復号化／伸長されたフレーム124を生成する。この伸長されたビデオデータは、バス626上に供給され、スロット371〜373に格納されることによって、後続するフレームの復号化に用いられる。グラフィックスコントローラ625は、伸長されたビデオデータストリームを受け取り、ビデオディスプレイメモリ624と協同して、通常の手法により、ディジタルディスプレイ605あるいはＣＲＴモニタ606上のイメージをスキャンする。コーデック628は、伸長されたビデオデータストリームを受け取り、テレビジョン6 07が受け付けることのできる、ＹＵＶあるいはＲＧＢのようなデータフォーマットに変換する。コーデック628は、伸長されたビデオデータストリームを、ＮＴＳＣあるいはＰＡＬテレビジョン上に表示するためのＮＴＳＣあるいはＰＡＬフォーマットに変換する。ただし、未来のフォーマット変換を用いてもよい。オーディオデコーダ627は、圧縮／符号化されたオーディオデータストリームを、アナログ増幅装置（不図示）あるいはドライブスピーカ608に直接運ばれる、伸長されたオーディオアナログ信号に伸長／復号化する。あるいは、オーディオデコーダ627は、圧縮／符号化されたオーディオデータストリームを、バス609を介してディジタル増幅装置（不図示）に運ばれる、伸長されたディジタルオーディオデータストリームに伸長／復号化してもよい。組み合わされたビデオデータ図6は、また、グラフィックスデータと符号化されたデータとが、バス615および表示装置605〜607を共有する方法の一例を図示している。この場合、グラフィックスコントローラ625は、バス626上の伸長されたビデオデータストリームと、同一の表示装置モニタ606あるいはディジタルディスプレイ605上に表示される、バス615上のグラフィックスデータと、を組み合わせる内部マルチプレクサ（不図示）を有している。この場合、グラフィックスデータは、バックグラウンドウィンドウおよびディスプレイ上のその他のウィンドウ上に与えられ、伸長されたデータは、同一のディスプレイ上の別のウィンドウ内に表示される。ＴＶモニタは、同一のディスプレイ上で両タイプのデータを組み合わせることができる。図7Ａは、図6に対応する簡略化されたブロック図である。図6および図7Ａにおいて、バス615は、そのバスからＶidsystデコーダ619へとドライブされる符号化されたデータと、バス615からグラフィックスコントローラ625へとドライブされるグラフィックスデータとの間で、時間多重化される。グラフィックスコントローラは、グラフィックスデータと伸長されたビデオデータとを同一の表示装置上で多重化する内部マルチプレクサを含んでいる。図7Ｂは、グラフィックスデータおよび伸長されたビデオデータを同一の表示装置上に表示するための別の選択肢を図示している。この場合、バス615は、符号化されたデータと、グラフィックスデータと、符号化されたデータから生成された伸長されたビデオデータと、を時間多重化する。符号化されたデータは、バス615上に与えられ、双方向ポートを有するＶidsystデコーダ719により受け取られる。Ｖidsystデコーダ719は、符号化されたデータを復号化／伸長することによって、伸長されたデータをバス615へとドライブしなおす。グラフィックスコントローラ725は、ディジタルディスプレイ605、モニタ606あるいはＴＶ607のそれぞれの上でのほぼ同時の表示のため、内部で多重化されうるように、グラフィックスデータおよび伸長されたデータの両方を受け取る。この場合、グラフィックスコントローラ725は、２つのタイプのデータを適正に多重化するのみならず、グラフィックスデータおよび伸長されたビデオデータを、ＴＶ607上に表示されるＮＴＳＣ信号あるいはＰＡＬ信号へと適正に変換することもできるように、さらなる回路を含んでいる。図7Ｃは、外部機器を用いてグラフィックスデータおよび伸長されたビデオデータを同一の表示装置上に表示するための別の選択肢を図示している。図7Ａと同様に、バス615は、符号化されたデータおよびグラフィックスデータを時間多重化する。Ｖidsyst619は、バス615から符号化されたデータを受け取り、マルチプレクサ701により画素データとしてディジタルディスプレイ605に選択的に結合される、伸長されたビデオデータストリームを生成する。このビデオデータストリームは今度は、ディジタル・アナログ変換器704およびマルチプレクサ702を介し、アナログ信号としてモニタ606に選択的に結合され、ＮＴＳＣ/ＰＡＬコーデック628およびマルチプレクサ703を介し、ＮＴＳＣ信号あるいはＰＡＬ信号としてＴＶ607に選択的に結合される。グラフィックスコントローラ726は、バス615からグラフィックスデータを受け取り、画素データをディジタルディスプレイ605に供給し、アナロググラフィックス信号をモニタ606に供給し、ＮＴＳＣ/ＰＡＬ信号をＴＶ607に供給し、タイミング／制御信号をディスプレイ605〜607に供給し、マルチプレクサ制御信号をマルチプレクサ701〜703に供給する。マルチプレクサ701〜703を用いて、グラフィックスコントローラは、マルチプレクサ制御信号を発生し、Ｖidsystデコーダからのグラフィックスデータおよび伸長されたビデオデータがディスプレイ605〜607のいずれかに表示されるタイミングを発生する。グラフィックスコントローラ625および725内の内部マルチプレクサは、外部マルチプレクサ701〜703と同様に動作する。よって、以上には、マルチメディア用の新規なメモリコントローラ回路が記載された。ここで、メモリは、多数の領域にパーティショニングされ、それらの領域のうちの少なくとも１つが、復号化／伸長されたビデオデータのフレームを格納する多数のスロットを有している。データのフレームは、フレーム間の遷移からイメージのテアリングを排除しつつ、ＭＰＥＧ、あるいはその他の規格、要件に準じたアルゴリズムに従ってメモリへと供給され、メモリから読み出される。ここでは、本発明の好ましい実施の形態およびさまざまな代替の実施の形態が詳細に開示され、説明されたが、本発明の精神および範囲から離れることなく、形態および細部についてさまざまな変更がなされうることは、当業者には自明であろう。

───────────────────────────────────────────────────── フロントページの続き (72)発明者サン，チー−タアメリカ合衆国ニュージャージー 08540，プリンストン，ウォールナットレーン 439 (72)発明者ソーン，ジ−シエンアメリカ合衆国カリフォルニア 95014, クペルティーノ，コロンブスアベニュー 21712 (72)発明者チャン，リチャードアメリカ合衆国カリフォルニア 95131, サンホゼ，ソーンバレーコート 1291 (72)発明者チャン，ゾヤオアメリカ合衆国カリフォルニア 95070, サラトガ，マリラコート 20237 (72)発明者ハン，チア−ルンアメリカ合衆国カリフォルニア 95132, サンホゼ，ペニテンシアクリークロード 3116

Claims

【特許請求の範囲】１．符号化／圧縮されたデータストリームを復号化するオーディオ／ビデオ復号化／伸長回路を有する、マルチメディアシステムであって、該符号化／圧縮されたデータストリームを符号化／圧縮されたオーディオデータおよび符号化／圧縮されたビデオデータに分離する、パーサと、アドレシング可能な記憶装置を有し、該パーサに結合されているメモリであって、該圧縮されたオーディオデータおよび該符号化／圧縮されたビデオデータを一時的に格納する第１の領域と、復号化／伸長されたビデオフレームを選択的に格納する複数のスロットを有する第２の領域と、にアドレス・パーティショニングされる、メモリと、該メモリに結合され、符号化／圧縮されたビデオデータを復号化し、かつ復号化／伸長されたビデオデータを生成する、デコーダと、を備えている、マルチメディアシステム。２．前記メモリの前記第２の領域が、復号化／伸長されたビデオフレームを格納する３つのスロットを有している、請求項1に記載のオーディオ／ビデオ復号化回路。３．前記メモリの前記第２の領域が、復号化／伸長されたビデオフレームを格納する４つのスロットを有している、請求項1に記載のオーディオ／ビデオ復号化回路。４．前記デコーダおよびビデオモニタに結合されており、前記ビデオデータからグラフィックスデータを生成し、かつ該グラフィックスデータをイメージとして該ビデオモニタ上に表示する、グラフィックスコントローラをさらに備えている、請求項2に記載のオーディオ／ビデオ復号化回路。５．前記デコーダおよびビデオモニタに結合されており、前記ビデオデータからグラフィックスデータを生成し、かつ該グラフィックスデータをイメージとして該ビデオモニタ上に表示する、グラフィックスコントローラをさらに備えている、請求項3に記載のオーディオ／ビデオ復号化回路。６．前記デコーダおよびディジタルディスプレイに結合されており、前記ビデオデータからグラフィックスデータを生成し、かつ該グラフィックスデータをイメージとして該ディジタルディスプレイ上に表示する、グラフィックスコントローラをさらに備えている、請求項2に記載のオーディオ／ビデオ復号化回路。７．前記デコーダおよびディジタルディスプレイに結合されており、前記ビデオデータからグラフィックスデータを生成し、かつ該グラフィックスデータをイメージとして該ディジタルディスプレイ上に表示する、グラフィックスコントローラをさらに備えている、請求項3に記載のオーディオ／ビデオ復号化回路。８．前記デコーダおよびテレビジョンディスプレイに結合されており、前記ビデオデータからテレビジョンデータを生成し、かつ該テレビジョンデータをイメージとして該テレビジョンディスプレイ上に表示する、テレビジョン信号エンコーダをさらに備えている、請求項2に記載のオーディオ／ビデオ復号化回路。９．前記デコーダおよびテレビジョンディスプレイに結合されており、前記ビデオデータからテレビジョンデータを生成し、かつ該テレビジョンデータをイメージとして該テレビジョンディスプレイ上に表示する、テレビジョン信号エンコーダをさらに備えている、請求項3に記載のオーディオ／ビデオ復号化回路。 10．ビデオデータのフレームをメモリに格納するかどうかを判定する方法であって、符号化／圧縮されたビデオフレームを受け取るステップと、受け取られた符号化／圧縮されたビデオフレームのタイプを判定するステップと、現在表示されている復号化／伸長されたビデオフレームのタイプを判定するステップと、該受け取られた符号化／圧縮されたビデオフレームを復号化するステップと、Ｂタイプの復号化／伸長されたフレームが現在表示されており、かつ受け取られ、復号化された該符号化／圧縮されたビデオフレームがＢタイプのフレームである時に、該現在格納されているＢタイプのフレームを保持するステップと、を含んでいる、方法。 11．ビデオフレームデータをメモリに格納する方法であって、符号化／圧縮されたビデオフレームを受け取るステップと、受け取られた符号化／圧縮されたフレームのタイプを判定するステップと、現在表示されている復号化／伸長されたフレームのタイプを判定するステップと、最も古いＩタイプまたはＰタイプの復号化／伸長されたフレームが現在、メモリのどこに格納されているかを判定するステップと、該受け取られた符号化／圧縮されたフレームを復号化するステップと、Ｂタイプの復号化／伸長されたフレームが現在表示されており、かつ受け取られ、復号化された該符号化／圧縮されたフレームがＩタイプまたはＰタイプのフレームである時に、該受け取られた復号化／伸長されたフレームを、該最も古いＩタイプまたはＰタイプの復号化／伸長されたフレームが格納されている、メモリの部分に書き込むステップと、を含んでいる、方法。 12．ビデオフレームデータをメモリに書き込む方法であって、符号化／圧縮されたビデオフレームを受け取るステップと、受け取られた符号化／圧縮されたフレームのタイプを判定するステップと、現在表示されている復号化／伸長されたフレームのタイプを判定するステップと、該受け取られた符号化／圧縮されたフレームを復号化するステップと、ＩタイプまたはＰタイプの復号化／伸長されたフレームが現在表示されており、かつ該受け取られた符号化／圧縮されたビデオフレームがＢタイプのフレームである時に、該受け取られた復号化／伸長されたフレームを、該メモリのスロット３に書き込むステップと、を含んでいる、方法。 13．ビデオデータのフレームをメモリに格納するかどうかを判定する方法であって、符号化／圧縮されたビデオフレームを受け取るステップと、受け取られた符号化／圧縮されたビデオフレームのタイプを判定するステップと、現在表示されている復号化／伸長されたビデオフレームのタイプを判定するステップと、該受け取られた符号化／圧縮されたビデオフレームを復号化するステップと、ＩタイプまたはＰタイプの復号化／伸長されたフレームか現在表示されており、ＩタイプまたはＰタイプの復号化／伸長されたフレームが該メモリのスロット 3に格納されており、かつ復号化された該符号化／圧縮されたビデオフレームがＢタイプのフレームである時に、該メモリの該スロット3に格納されている、現在格納されているＩタイプまたはＰタイプの復号化／伸長されたフレームを保持するステップと、を含んでいる、方法。 14．ビデオフレームデータをメモリに書き込む方法であって、符号化／圧縮されたビデオフレームを受け取るステップと、受け取られた符号化／圧縮されたフレームのタイプを判定するステップと、現在表示されている復号化／伸長されたフレームのタイプを判定するステップと、該メモリのスロット3が空であるかどうかを判定するステップと、該受け取られた符号化／圧縮されたフレームを復号化するステップと、ＩタイプまたはＰタイプの復号化／伸長されたフレームが現在表示されており、該受け取られた符号化／圧縮されたビデオフレームがＢタイプのフレームであり、かつ該メモリの該スロット3が空である時に、該受け取られた復号化／伸長されたフレームを、該メモリの該スロット3に書き込むステップと、を含んでいる、方法。 15．ビデオフレームデータをメモリに格納する方法であって、符号化／圧縮されたビデオフレームを受け取るステップと、受け取られた符号化／圧縮されたフレームのタイプを判定するステップと、現在表示されている復号化／伸長されたフレームのタイプを判定するステップと、該メモリのスロット3に、表示されているＢタイプのフレームが格納されているかどうかを判定するステップと、該受け取られた符号化／圧縮されたフレームを復号化するステップと、該メモリの該スロット3に格納されている該Ｂタイプの復号化／伸長されたフレームが表示されており、かつ受け取られ、復号化された、該符号化／圧縮されたフレームが、ＩタイプまたはＰタイプのフレームである時に、該受け取られた復号化／伸長されたフレームを、該メモリの該スロット3に書き込むステップと、を含んでいる、方法。 16．ビデオフレームデータをメモリに格納する方法であって、符号化／圧縮されたビデオフレームを受け取るステップと、受け取られた符号化／圧縮されたフレームのタイプを判定するステップと、現在表示されている復号化／伸長されたフレームのタイプを判定するステップと、最も古いＩタイプまたはＰタイプの復号化／伸長されたフレームが現在、メモリのどこに格納されているかを判定するステップと、該受け取られた符号化／圧縮されたフレームを復号化するステップと、ＩタイプまたはＰタイプの復号化／伸長されたフレームが現在表示されており、かつ、受け取られ、復号化された、該符号化／圧縮されたビデオフレームがＩタイプまたはＰタイプのフレームである時に、該受け取られた復号化／伸長されたフレームを、メモリ内の、該最も古いＩタイプまたはＰタイプの復号化／伸長されたフレームが格納されている部分に書き込むステップと、を含んでいる、方法。