JPH11510989A - 符号化ディジタルビデオ信号を復号化する方法および装置 - Google Patents

Abstract

(57)【要約】 本発明は、量子化パラメータを、与えられた画素のブロックに含まれるデータのダイナミックレンジ値と直接関係するものとして規定された他のパラメータによって制御する量子化および符号化小組み立て部品（３８）を含む、ビデオ符号化方法およびシステムに関係する。用途：ＭＰＥＧビデオデコーダ。

Description

【発明の詳細な説明】 符号化ディジタルビデオ信号を復号化する方法および装置発明の分野 本発明は、画像の列の画素に対応するディジタルビデオデータを符号化し、少 なくとも、入力ビデオデータをブロックに分割するブロック形成ステップと、各 々のブロックに対応するデータを量子化し、量子化データを符号化する量子化お よび符号化ステップと、前記量子化および符号化ステップの量子化パラメータを 、各々のブロックの内容に依存する他のパラメータに従って制御する制御ステッ プとを具える符号化方法に関係する。 本発明は、この方法を実行するために、画像の列の画素に対応するディジタル ビデオデータを符号化し、少なくとも、ある画像に関係する入力ビデオデータを ブロックに分割するブロック変換器と、各々のブロックに対応するデータを量子 化し、量子化データを符号化する量子化および符号化小組み立て部品と、前記量 子化および符号化小組み立て部品の量子化パラメータを、各々のブロックの内容 に依存するパラメータに従って制御する制御小組み立て部品とを具える符号化シ ステムにも関係する。 このような発明を、特に、ＭＰＥＧ標準（例えば、文献「“MPEG : a video c ompression standard for multimedia applications”，D．Le Gall，Communica tions of the ACM，April 1991，vol.3，n°4，pp.46-58」において説明されて いる）に従う、ディジタルテレビジョンの分野において使用することができ、よ り一般的に、マルチメディア用途の分野において興味あるものである。発明の背景 大部分のＭＰＥＧデコーダは、通常、１６．８メガビット（１メガビット＝２²⁰ ビット）の外部メモリを具え、これらのデコーダがメインレベル／メインプロ ファイルにおける復号化をサポートしなければならない場合、さらにより多くの 外部メモリを具える。例えば、入力ビットストリームを入力バッファ（ＶＢＶバ ッファ）に格納しなければならず、その理論的な容量は１．８３５メガビットに 等しいことが知られている。しかしながら、実際のデコーダは瞬時に復号化でき ないことから、いくらかの追加のバッファを必要とし、この追加のバッファは前 記入力バッファを２．５メガビットの容量に増加する。さらに、双方向動き補償 をサポートするために、前記デコーダは２つの基準フレームを含まなければなら ない。１つの基準フレームのための記憶容量は、５０Ｈｚシステムに関して５メ ガビットであり、６０Ｈｚシステムに関して４．１メガビットである。双方のフ レームの復号化を可能にするために、双方の基準フレームの記憶のために前記デ コーダに１０メガビットを設けなければならない。復号化後のＭＰＥＧビデオ信 号の再構成はマクロブロックの位において生じるが、表示すべき情報を飛び越し 走査フォーマットとする必要があることも思い出さなければならない。マクロブ ロックは符号化されたフレームであるため、双方のフィールドの情報を復号化中 に得なければならず、復号化フレームマクロブロックフォーマットから飛び越し 走査フォーマットへの変換は、一般的にシステム（５０Ｈｚまたは６０Ｈｚ）に 従って５メガビットまたは４．１メガビットの変換メモリを必要とする。したが って、必要なメモリの合計は、６０Ｈｚデコーダに関して（２．５＋（３×４． １））＝１４．８メガビットに等しくなり、５０Ｈｚデコーダに関して（２．５ ＋（３×５））＝１７．５メガビットに等しくなる。したがって、この最後のも のに関して、実際の１６メガビット制限を越える。 さらに、現在利用可能な集積回路技術は、ビデオ復号化以外の他の機能、例え ば、オーディオ復号化および２次元グラフィックスとの組み合わせを行うことを 可能にし、次世代のＭＰＥＧデコーダは、おそらくデマルチプレクス機能および 改善されたプロセッサを含むであろう。すべてのこれらの追加の機能はメモリを 要求するものであり、これらの性能は利用可能なメモリ容量によって決定される 。 この問題を解決するために（４メガビットの）付加的なメモリをＭＰＥＧデコ ーダに追加しているが、このような解決法は暫定的であり、おそらく近い将来に おいて廃れるであろう。そのときは、より高価な１６ビットメモリが追加される であろう。 欧州特許出願公開明細書第０６１８７２２号に記載の他の提案されている解決 法は、表示変換のためのメモリ容量を減少することにある。前記表示メモリを、 フィールドを基礎とするよりもマクロブロックライン方法において使用すること によって、前記表示メモリの容量は５メガビットから３．５メガビット程度に減 少した。このとき５０ＨｚＭＰＥＧデコーダに対して必要なメモリは、１６メガ ビットの実際の制限よりも少なくなるが、いわゆる３：２プルダウンモードのた めに、この関係する原理を６０Ｈｚシステムにおいて簡単に用いることはできな い。 欧州特許出願公開明細書第０７１４２０８号および第０７１６３９５号に記載 のメモリ容量のさらなる減少は、ＭＰＥＧデコーダにおける復号化速度を２倍に することによって達成されている。このとき、表示に必要なフィールドラインを 適切な速度において直接得ることができ、反対のフィールドからの必要ないライ ンを復号化プロセスの終了時に破棄する。この解決法によって、５０Ｈｚの復号 化に必要なメモリは１３メガビット程度になり、６０Ｈｚデコーダに用いること もできる（１１．１メガビット程度）。しかしながら、近い将来において、ＭＰ ＥＧデコーダに必要なメモリは大幅に増加し、１６メガビットの境界を６０Ｈｚ システムに関しても越えてしまうであろうと思われる。発明の要約 したがって本発明の第１の目的は、メモリ容量の一層の減少を顕著な画質の劣 化なしに得る、符号化ディジタルビデオ信号を復号化する他の形式の方法を提案 することである。 この目的のために、本発明は、前記依存パラメータを各々のブロックのデータ のダイナミックレンジ値に従って規定し、前記ダイナミックレンジを、各々のブ ロックの最大値および最小値間の差か、この差に直接関係する値かに等しくした 、本説明の序文において規定したような符号化方法に関係する。 欧州特許出願公開明細書第０６１８７３３号も、ブロック変換器と、量子化お よび符号化サブシステムと、各々のブロックのある内容に従って量子化パラメー タを変更する制御小組み立て部品とを含む符号化システムを記載していることに 注意してもよい。しかしながらこの文献において、考慮する内容は、入力ビデオ データにおいて行われるＤＣＴ（離散コサイン変換）後に得られる高周波有効係 数の各々のブロックにおける分布である。この種の量子化制御は、特にビデオテ ープレコーダにおいて符号化情報量のより良い調節をするようにすることを意図 しているが、本発明によって提案される技術的解決法は、必要なメモリ容量を減 少するために、より高い圧縮比にしなければならない。 本発明の他の目的は、前記符号化方法を実行させる符号化システムを提案する ことである。 この目的のために、本発明は、前記システムが、ダイナミックレンジ値の規定 のための第３小組み立て部品と、前記レンジ値に各々関係する可能な量子化計画 に関するコスト計算、およびそれに続く前記コスト計算に関係するコスト規準に 従うこれらの計画のうち１つの選択のための第４小組み立て部品とをさらに具え る、本説明の序文において規定したような符号化システムに関係する。 本発明の他の目的は、上述した符号化方法に従って符号化された信号を復号化 することを可能にする復号化方法を提供することである。 この目的のために、本発明は、元の画像の列の画素に対応するディジタル符号 化ビデオ信号を復号化し、少なくとも、ブロックにおいて配置された前記符号化 信号を復号化する復号化ステップと、前記復号化信号からＭＰＥＧ Ｉ、Ｐおよ びＢデータを得る再構成ステップと、フォーマット変換ステップとを具える復号 化方法において、前記再構成ステップが、前記復号化データの記憶ステップと、 このステップの前および後の、各々のブロックのデータのダイナミックレンジ値 に関係する追加の圧縮ステップおよび対応する伸張ステップとを具える復号化方 法に関係する。 本発明の他の目的は、元の画像の列の画素に対応するディジタル符号化ビデオ 信号を復号化し、少なくとも、ブロックに配置された前記符号化信号を復号化す るために設けた復号化小組み立て部品と、前記復号化小組み立て部品の復号化出 力信号を第１入力部において受ける加算器と、ＭＰＥＧ Ｐ画像の予測またはＭ ＰＥＧ Ｂ画像の双方向補間のために設けた２個の並列基準メモリを含む記憶段 とを直列に具える復号化システムにおいて、前記２個の並列基準メモリの出力部 を前記加算器の第２および第３入力部に接続し、前記加算器の出力部を変換メモ リの入力部に接続したシステムにおいて、前記記憶段の前に追加の圧縮手段を具 え、前記記憶段の後に追加の伸張手段とを具え、前記追加の圧縮手段を前記各々 のブロックのデータのダイナミックレンジ値に関係付けた復号化システムに関係 する。図面の簡単な説明 本発明の特徴および利点は、以下の説明および付随する図からより明らかにな るであろう。 図１および図２は、ブロックベース符号化システムを、フィードバックおよび フィードフォワードの場合において各々示す。 図３は、本発明による圧縮システムに関するフィードフォワード配置の説明図 である。 図４は、単純化した慣例的なブロック予測ビデオデコーダを示し、図５は、Ｍ ＰＥＧの場合におけるこのようなデコーダを示し、図６は、本発明をこのような ビデオデコーダに用いた場合の同様の配置を示し、図７は、本発明による前記デ コーダによって復号化しなければならない符号化画像の列に関する対応するタイ ミング図を示す。 図８および９は、本発明によるデコーダの場合において便利な２ブロック構成 を示し、図１０は、ＭＰＥＧマクロブロック内のこのようなブロックの可能な配 置を表す。 図１１は、メインレベル５０Ｈｚ画像に関して、量子化器セグメントのフレー ムベースマッピングを示し、図１２は、フィールドベースマッピングを示す。 図１３および１４は、輝度および色光度に関して、ＭＰＥＧの場合における予 測領域の一例を示す。 図１５は、画素当たり０ないし８ビット間のビットコストのすべての値に関し て、外部メモリにおける圧縮された画素データに対する記憶フォーマットの一例 を示し、図１６によって与えられる２×８ＡＤＲＣブロックにおける画素数およ び空間位置間の関係に関して、図１７は、記憶しなければならない追加の制御デ ータを考慮した場合の前記外部メモリにおける可能な全体的なフォーマットの一 例を与える。 図１８は、前記外部メモリにおけるＡＤＲＣ制御データの記憶の一例を与え、 図１９は、ＡＤＲＣブロックの個々の開始アドレスをデータ再生のためにどのよ うに計算するかを説明する。 図２０は、前記外部メモリにおける不必要なアクセスを禁止するために与えた 、ＡＤＲＣブロックの可能な部分的アクセスの説明図である。好適実施形態の説明 上述したように、本発明は、記憶前の基準フレーム情報の圧縮を基礎としてい る。ここで圧縮方法の２つの例を説明する。双方の方法は予測符号化に基づいて いるため、このような符号化プロセスを最初に説明する。 図１および図２は、ブロックベース符号化システムを、フィードバックおよび フィードフォワードの場合において各々示す。双方の場合において、入力ビデオ データＩＶＤをブロック変換器（１１および１２の各々）においてブロックに変 換し、各々のブロックの内容をブロック予測器（１２および２２の各々）におい て予測する。次に、各々の予測化標本を予測前の対応する入力標本から（減算器 １３および２３の各々において）減算し、これらの標本差のみを（量子化器１４ および２４の各々において）量子化し、（符号化器１５および２５の各々におい て）符号化する。 図１のフィードバックの場合において、前記予測は、前に量子化されたブロッ クに基づく（量子化器１４の出力部から得られた標本差から予測器１２の入力部 における完全な標本を再構成するために、加算器１６をフィードバックループ内 に設ける）。量子化器１４は、その出力部において一定のビットレート、例えば 、その入力部における８ビットの代わりに４ビット／標本をもたらす。図２のフ ィードフォワードの場合において、前記予測は、ブロックの現在の組に基づく。 したがって、予測器２２の出力部において利用可能な予測値を、過去のみを知っ ているデコーダに伝送しなければならず、この目的のため、予測器２２と量子化 および符号化小組み立て部品（２４，２５）との間に接続部２６を設ける。この 小組み立て部品における最終的な量子化および符号化の前に、ここではセグメン トと呼ぶブロックのグループを、最適量子化の決定のために分析する。前記予測 値を考慮することによって、この分析を、減算器２３の出力部と小組み立て部品 （２４，２５）との間に挿入した量子化試験器２７において行う。前記減算器２ ３と小組み立て部品（２４，２５）との間に挿入したセグメントメモリ２８は、 セ グメント当たりの一定のビットレートをもたらす量子化器戦略を見つけるために 、現在のセグメント全体の完全な分析に十分な期間だけ、前記標本差を遅延させ る。記憶されたセグメントを読み出す間、この最適量子化器戦略を行う。一定の ビットレートを使用する場合、前記セグメントメモリはもはや必要なく、そのと きこのセグメントメモリを省くことができる。以下において、最高の画質を与え るため（そしてブロックデータに対する局所的アクセスを許可するため）、フィ ードフォワード符号化システムのみを考察する。 ブロックベース予測に関して、数種類の予測が、それらの簡単さのため、魅力 的である。ＭＰＥＧの場合において、ブロック内のすべての標本インデックスｉ に対する標本平均（ＳＵＭＳ（ｉ））として与えられる最高の予測と、ブロック のすべての標本の内で最小のもの（ＭＩＮＳ（ｉ））を選択することから成る最 も簡単な予測との間で妥協をすることができ、すなわち、ブロックサイズが大き すぎない場合に能率的である予測を、最小の標本値（すなわち最小ＭＩＮＳ（ｉ ））および最大の標本値（すなわち最大ＭＡＸＳ（ｉ））の和を選択および平均 することによって得る。最大標本値マイナス最小標本値によって規定される、符 号化しなければならない標本差のダイナミックレンジは、ブロックごとに変化し てもよい。次に、前記符号化器は、前記量子化器をこのダイナミックレンジの関 数として適合させる。この技術を、適応性ダイナミックレンジ符号化、すなわち ＡＤＲＣと呼ぶ。 ＡＤＲＣ圧縮システムのフィードフォワード符号化配置の説明図を図３におい て示す。入力ビデオデータＩＶＤをブロック変換器３１において、対称的または 非対称的に選択してもよいブロックジオメトリ（例えば、代表的な１６画素に関 して、４×４か、２×８または１×１６）を以てブロックに変換する。変換器３ １に検出器３２を続け、この検出器３２は、各々のブロックの最小標本値（＝最 小ＭＩＮＳ（ｉ））および最大標本値（最大ＭＡＸＳ（ｉ））を選択する。次に 、検出器３２の出力部において設けたブロック予測器３３において、各々のブロ ックの予測を、前記最小および最大値間の平均を計算し、２で割り、その結果を 丸めることによって決定する。これらの最小および最大値をダイナミックレンジ 決定回路３４にも送り、このダイナミックレンジ決定回路３４は、前記最大値の 前 記最小値による減算を実行する。 次に、（例えば、最小および最大振幅の双方がこのような分解能を有する場合 、８ビット分解能において）得られたダイナミックレンジを、以下に説明するよ うに、本圧縮システムにおける量子化器選択を制御するために使用する（例えば 、エッジがブロックの内側の場合、前記ダイナミックレンジは大きくなり、より 粗い量子化が許可される）。異なるダイナミックレンジ値の数がある程度多く、 復号化部分は、（前記圧縮システムに対応する伸張システムにおいて）どのレン ジを量子化に使用したかを知らなければならないため、このダイナミックレンジ パラメータを、この場合においては８個のクラスに分割する。このような分割の ２つの例（１）および（２）を以下の表において与える。 これらのクラス間の推移は、圧縮性能を決定し、選択された予測方法（および量 子化パラメータ）に依存し、この表の第１の例（平均（ＭＩＮＳ（ｉ）＋ＭＡＸ Ｓ（ｉ））／２）において、これらの推移は実バイナリ数に対応し、最小ブロッ クからの予測（この表の第２の例）によって、これらの推移はわずかに異なる位 置におけることに注意しなければならない。 本発明によるこの原理を実行するために、ブロックのグループを、ダイナミッ クレンジ決定回路３４の出力部において設けたメモリ３６に一時的に記憶し、各 々のグループをセグメントと呼ぶ（セグメントの代表的なサイズを、１６個の標 本の１００個のＡＤＲＣブロックとし、すなわち、ＭＰＥＧ標準の場合において いくつかのマクロブロックである）。同時に、最適量子化配置を見つけるために 、 前記グループを前記メモリ３６と並列に設けた分析回路３７において分析する。 セグメントメモリ３６および分析回路３７の双方は、同じ入力、すなわち、ダイ ナミックレンジ決定回路３４の出力と、ブロック予測器３３の出力をブロック変 換器３１の出力部において利用可能な各々の標本Ｓ（ｉ）から減算する減算器３ ５の出力とを受ける。次に、あるＡＤＲＣブロックｊ内の標本差ＳＤ（ｉ，ｊ） を実際に量子化し、すなわち、分析回路３７において、ある量子化器を選択した 場合の出力ビットコストを計算する。すべて同様の量子化器に基づくこの場合に おいて８個の異なる量子化戦略を、以下の式、 ＱＳＤ（ｉ，ｊ）＝（ＳＤ（ｉ，ｊ）／ＱＳＴＥＰ）＋０．５ （１） ＲＳＤ（ｉ，ｊ）＝ＱＳＤ（ｉ，ｊ）×ＱＳＴＥＰ （２） に従って使用し、ここで、ＱＳＤ（ｉ，ｊ）は量子化標本差を示し、ＲＳＤ（ｉ ，ｊ）は再構成された標本値を示し、ＱＳＴＥＰは量子化期間の長さを与える整 数（例えば、この場合において２の累乗）を示す。このビットコスト計算を、８ つの戦略に並列に対応する以下の表のような表から得ることができる。 前記メモリはすべてのセグメントすなわちブロックのグループを記憶するため、 １ブロックに対するビットコストは、上に示したビットコスト表の適切な列内の 数の１６倍であり、次に、個々のブロックコストを累積し、前記戦略の各々に対 するセグメント当たりのビットコストを与える。 前記量子化の制御は以下の通りである。検出器３２と、ブロック予測器３３と 、決定回路３４と、減算器３５とを含む第１小組み立て部品が前記レンジ値を規 定 することを可能にする場合、メモリ３６と、分析回路３７と選択器３９とを含む 第２小組み立て部品は、（メモリ３６に記憶された）ブロックの各々のグループ に対して、前記レンジ値に各々関係する可能な量子化戦略の各々に関してコスト 計算を行い（この計算を回路３７において行う）、その後の最も低い計算された コストに対応する戦略の（選択器３９による）選択を行う。次に、この戦略を、 量子化および符号化小組み立て部品３８において行う。 小組み立て部品３８の量子化部分は、上で与えた式（１）および（２）を基礎 とし、これらについて、これらが線形（適応性定数との加算および乗算）である ことを思い出すことができる。ＭＰＥＧシステムの場合において圧縮および伸張 ステップを多数回行うことから、直接係数（ＤＣ）に関係する各々の誤差を、例 えば、完全に対称的な量子化特徴を保証するわずかな符号依存補償によって、量 子化プロセスにおいて明らかに防止すべきである。最終的に、前記量子化器の出 力部におけるレベルの数を、以下の表（８つの同じ戦略０ないし７に対応する） のような表によって規定する。 前記表の使用の一例を与えることができる。例えばクラス６、分割の第１の例 （１）および戦略３に関して、ダイナミックレンジは、量子化の前に７ビットを 見積もることができる６４ないし１２７（表１）である（このとき、表２によれ ば戦略０に等しい）。４の量子化ステップによって、結果は１６ないし３１（表 １）になり、これは５ビットにおける符号化を必要とする（表２および３は、“ クラス６／戦略３”に対応する位置において、ＱＳＴＥＰ＝４およびビットコス ト＝５を与える）。圧縮すべき信号の性質および実現すべき圧縮率に応じて異な った内容を必要とするかもしれないこれらの表は、単なる例であるが、圧縮（お よび伸張）システム全体の性能は、これらによって決定される。ＭＰＥＧデコー ダにおいて、これらを、システムコントローラによって動的に適応させることが できるダウンロード可能な表として供給してもよい。 小組み立て部品３８の符号化部分は、その量子化部分の出力レベルのビットパ ターンへのマッピングを行い、結果として生じるデータを、前記復号化部分に再 構成のために送らなけばならない他のデータ（特に、戦略の値であり、セグメン ト毎に１回伝送する）と多重送信する。ブロックごとのフォーマットは、ブロッ ク予測と、ダイナミックレンジクラスと、量子化した差とを含む。 図１ないし３は符号化プロセスに関係したが、本発明の基本的な原理を、復号 化プロセス中にも用いることができる。図４は、単純化した慣例的なブロック予 測デコーダに関係するブロック図を示す。メモリから（ＭＰＥＧの場合において 、２個のＭＰＥＧ基準メモリのうち一方から）（符号化側において符号化された データの伝送および／または記憶ステップの後に）取り出した入力符号化データ ＩＣＤを、いくつかのデータブロックまたはセグメント（ブロックのグループ） のサイズを有するデータバッファ４１に送る。前記符号化データを、デマルチプ レクス回路４２において分離し、分離される情報は、量子化戦略ＱＳＴと、ダイ ナミックレンジクラスＤＲＣと、量子化した標本差ＱＳＤとである。これらの量 子化した標本差ＱＳＤを逆量子化器４３に送り、この逆量子化器４３において、 量子化器レベルを、前記量子化器ステップサイズおよびビットコスト表の助けを かりて、個々の標本差に変換し、次に、これらを加算器４４において、エンコー ダの出力信号と一致する予測器４５の出力信号に加算する。加算器４４の出力部 において利用可能なビデオ標本を、最終的にフォーマット変換器４６において、 必要とされるビデオフォーマットに変換する。 図５に対応するＭＰＥＧの場合において、ビデオデコーダのブロック図は以下 の通りである。入力バッファ５１に記憶された入力符号化データＩＣＤを、復号 化小組み立て部品５２において画素データＤＰＤおよび動きベクトルＭＶＴに伸 張し、復号化する。前記小組み立て部品の出力部において利用可能な画素データ ＤＰＤをフレームの形式に従って処理し、 （ａ）予測符号化フレーム（Ｐフレーム）に関して、復号化された画素データ を加算器５４において、ＭＰＥＧデコーダの２個の基準メモリ（５３ａまたは５ ３ｂ）の内の一方から来る、予測され、対応する動きベクトルＭＶＴによって制 御されたデータに加算し、加算器５４の出力部における結果を他方の基準メモリ （５３ｂまたは５３ａ）に記憶し、 （ｂ）双方向補間フレーム（Ｂフレーム）に関して、双方の基準メモリ５３ａ および５３ｂからベクトル制御された予測されたデータを、復号化された画素デ ータＤＰＤに加算し、 （ｃ）内部符号化フレーム（Ｉフレーム）に関して、完全な表示画素を表す画 素データを慣例的に復号化し（この目的において、復号化小組み立て部品５２は 、可変長デコーダと、逆量子化回路と、逆離散コサイン変換回路とを含む）、２ 個の基準メモリ５３ａおよび５３ｂの内の一方に記憶し、この場合において他の データを復号化されたデータＤＰＤに加算しない。 どのような形式のフレームでも、表示のために、加算器５４の出力を変換メモ リ５６を経てデコーダの出力部に供給する。 ＡＤＲＣをこのようなビデオデコーダに用いる場合、図５のブロック図を図６ に示すように変更し、基準メモリ（５３ａおよび５３ｂ）に記憶すべきすべての データをＡＤＲＣ圧縮回路６６（このようなＡＤＲＣ圧縮回路６６は、符号化側 における本発明の実施に関係して上述した要素３９と、３２ないし３７と同様の 回路を具える）において圧縮し、これらのメモリから取り出すべきすべてのデー タをＡＤＲＣ伸張回路（６７ａ，６７ｂ）において、他のどのような処理（この ような伸張回路は次に逆演算を行う）も行う前に伸張する。対応するタイミング 図を図７において、符号化画像の列Ｉ₀，Ｐ₃，Ｂ₁，Ｂ₂，Ｐ₆，Ｂ₄，Ｂ₅，Ｐ₉， Ｂ₇，Ｂ₈（Ｂ画像の双方向補間を考慮して、符号化およびデータの順序の変更を 行う前の、元の列Ｉ₀，Ｂ₁，Ｂ₂，Ｐ₃，Ｂ₄，Ｂ₅，Ｐ₆，Ｂ₇，Ｂ₈Ｐ₉に対応する ）に関して示す。この符号化画像の列および復号化データは同じ順序であり、し たがって、２番目のものだけを図７の第１ライン（ＤＥＣＯ Ｄ）において示す。第２ラインＲＥＦＭ１（基準メモリ）は２個の基準メモリの うちの一方（例えば５３ａ）に記憶された復号化データＩ₀，Ｐ₆，．．．を示し 、第３ラインＲＥＦＭ２は、他方のメモリ５３ｂに記憶された復号化データＰ₃ ，Ｐ₉，．．．を示す。これらの第１および第２ライン間の矢印と、第１および 第３ライン間の矢印とは、各々、メモリ５３ａおよび５３ｂにおける記憶ステッ プの前に、圧縮回路６６において行われるＡＤＲＣ圧縮を示す。この圧縮ステッ プの後に、前記メモリの出力部における、回路６７ａおよび６７ｂによって実行 され、第２ラインＲＥＦＭ１からまたは第３ラインＲＥＦＭ２から来る矢印によ って示される対応するＡＤＲＣ伸張を続ける。第１ラインＤＥＣＯＤから来る点 線矢印は、メモリ５３ａおよび５３ｂに記憶された基準画素によって補間された Ｂ画像に対応する。 表示変換をフィールドまたはフレームメモリによって行う場合、このメモリを 、図６において図式的に示すように、回路６６または回路（６７ａ，６７ｂ）と 各々同様のＡＤＲＣ圧縮および伸張回路によって取り囲んでもよい。設けた場合 、このＡＤＲＣ圧縮を、図７の第４ラインＤＩＳＰＭ（表示メモリ）に達する矢 印と、この第４ラインから、関係するＡＤＲＣ伸張に対応する第５ラインＤＩＳ ＰＬ（表示）に進む矢印とによって示す。前記第４ラインは、前記表示メモリの 内容を、前記基準メモリに連続的に記憶された基準データＩ₀，Ｐ₃，Ｐ₆，Ｐ₉， ．．．から、または、補間されたデータＢ₁，Ｂ₂，Ｂ₃，Ｂ₄，Ｂ₅，Ｂ₆，Ｂ₇， ．．．から得られる連続フィールドの形態において示し、前記第５ラインは、飛 び越し走査（奇数，偶数）において（元の画像と同じ順序で）連続的に表示され る画像Ｉ₀，Ｂ₁，Ｂ₂，Ｐ₃，Ｂ₄，Ｂ₅，Ｐ₆，Ｂ₇，．．．を示す。明らかに、こ の復号化配置において、２つのＡＤＲＣ圧縮／伸張のうちの一方のみを実行する ことができる。図７のタイミング図から分かるように、すべての記憶動作のため の圧縮回路網を時間多重において使用し、１個の圧縮回路のみが実際に必要にな るようにしてもよい。 すべてのこれらの状況において、各々のＡＤＲＣステップは、好適には１６画 素のブロックを基礎として動作し、これはＭＰＥＧ標準において見られる８×８ ＤＣＴブロックサイズに適合する（動き予測および表示データは、この標準にお いてフィールドを基礎として再生されるため、フィールドを基礎としてＡＤＲＣ 圧縮伸張を用いることによって、メモリアクセス要求は最少になる）。このＭＰ ＥＧシステム内で、図８および９（異なるＡＤＲＣブロックに属する画素を、導 入したサブブロック番号付けに従って１、２、９および１０によって示す）に示 すように、２つのＡＤＲＣブロック構成を提案することができ、双方は同じジオ メトリを有するが、第２のものは、水平に隣接する画素のより高度な訂正のため 、ＭＰＥＧの場合において好適である。さらに、ＭＰＥＧデコーダにおける復号 化された基準データは、マクロブロックの順序においてＡＤＲＣ圧縮回路に達す るため、ＡＤＲＣブロックとＭＰＥＧマクロブロックとの関係は重要であり、１ ６×１６ＭＰＥＧマクロブロック内の２×２ＡＤＲＣブロック（μＢによって示 す）の可能な配置を図１０において示す（輝度Ｙの奇数および偶数フィールドの 各々に関して１×８ＡＤＲＣブロック、色光度に関して同様に１×８ＡＤＲＣブ ロック）。分かるように、２４ＡＤＲＣブロック（μＢブロック）が１マクロブ ロックにおいて位置する。しかしながらマクロブロック内で他の配置も可能であ 、重要な点は、ＭＰＥＧ動き予測の場合における最少アクセス要求をかんがみて この配置を最適化する必要性である。 第２のＡＤＲＣパラメータはセグメント長であり、何故なら最適量子化戦略を これに関係して選択するからである。１００ＡＤＲＣブロック程度のセグメント が、良い選択として考えられており、これはＭＰＥＧの場合における４または５ マクロブロックを意味する。すべてのマクロブロックを水平および垂直動きベク トルを基礎として別々にアクセス可能にしなければならないことを考慮すると共 に、前記セグメントを符号化画像サイズに適合させるために、図１１に示すよう に、ライン当たり７２０画素（したがって１マクロブロックラインにおいて４５ マクロブロック）を有するメインレベル／メインプロファイルＭＰＥＧデコーダ と、フレームを基礎として動作する量子化とに関して、量子化器セグメントを５ マクロブロックに等しく選択した場合、マクロブロックライン当たりのセグメン ト数は整数（ここでは９）になる。前記量子化をフィールドを基礎として行う場 合において、結果として生じる構造を図１２において示す。 ＭＰＥＧの場合におけるＡＤＲＣ解決法と慣例的なビデオシステムとの顕著な 違いは、（画素またはサブ画素精度でもって、マクロブロックを基礎として起こ る）動き予測のベクトル制御アクセスに関係する。奇数フィールド輝度予測の一 例を図１３において示す（色光度予測の一例を図１４において示す）。分かるよ うに、４つの異なったマクロブロックからのＡＤＲＣブロックが予測のために必 要であるが、これらのマクロブロック内のＡＤＲＣブロックのすべては使用しな い。メモリアクセスにおけるオーバヘッドを最小に制限するために、すべてのＡ ＤＲＣブロックを別々にアクセス可能とし、ＡＤＲＣブロック内の画素のサブセ ットにもアクセスできる場合、アクセス数をさらに減少させなければならない。 １６単位に配置された外部メモリを有するＭＰＥＧデコーダに関して、上述し たＡＤＲＣ原理は、圧縮後に画素当たり０ないし８ビットのビットコストでもっ て、１６画素のブロックにおいて動作する。したがって、１個のＡＤＲＣブロッ クは、１６ビットの０ないし８データワードを使用し、このメモリにおける画素 データの可能なマッピングを図１５に示し、この図は、ビットコストのすべての 値に関して、前記外部メモリにおける圧縮された画素データに関する記憶フォー マットの一例を示し、図１６は、２×８ＡＤＲＣブロックにおける画素数と空間 位置との関係を思い出させる。 記憶しなければならない追加のデータを考慮した場合（さらに画素データに、 ダイナミックレンジクラスおよび予測値におけるある程度の制御データを与える ）、前記外部メモリにおける可能な全体的なフォーマットを、１６ビット幅と仮 定して、図１７に示す。この図において分かるように、可変圧縮レートの場合に おいて、画素記憶領域は変化し、前記制御データは一定であるため、実際の画素 データを、制御データＤＲおよびｐｒｅｄから分離する。図１７において分かる ように、量子化戦略探索を、５個の連続するマクロブロックＭＢ１ないしＭＢ５ を基礎としてフレームにおいて行い（前記探索を、量子化器セグメントｑｓ１， ｑｓ２，ｑｓ３，．．．，ｑｓ３２３，ｑｓ３２４に対して行う）、５個のマク ロブロック（＝５×２４ＡＤＲＣブロック）の各々のデータパケットの固定長は 、上述した例において４８０ワードに等しく、これは、実際の画素データに関し て、２の圧縮比または４ビット／画素の符号化効率を意味する。圧縮された画素 データ領域の目標長を変化させることによって、前記圧縮比を、例えば、９６０ （無 圧縮）ないし３２０メモリワードのデータパケットサイズを意味する１ないし３ で可変にすることができる。 第１に前記制御データが一定のままであり（前記画素記憶領域は変化する）、 さらに双方のデータＤＲ（ダイナミックレンジに関係する）およびｐｒｅｄ（こ の場合において各々３ビットおよび８ビット）は、１６ビット幅メモリ配置に適 合しないため、これらのデータを、図１７に示すように、別個のメモリ領域に記 憶する（ＡＤＲＣブロック当たり１１ビット、すなわち０．７ビット／画素に対 応するこれらの制御データに関して、実際の圧縮比は、上述した例における２の 代わりに、１．７である）。 さらに、最低アクセスレートにおいて動き補償をサポートするために、量子化 器セグメントｑｓ内のＡＤＲＣブロックを、各々のＡＤＲＣブロックに対するア クセス点を見つけるために、例えば、すべての５×２４ＤＲ値を読み出し、これ らをビットコストに変換し、これらの個々のビットコスト値を加算することによ って別個にアクセス可能とすべきである（これは、ある程度のメモリアクセスお よび計算を必要とし、この場合において、ＤＲ値を予測値ｐｒｅｄと別々に記憶 すべきであることは明らかである）。他の可能性は、各々のＡＤＲＣブロックの 開始アドレスを圧縮中に計算し、これらの完全なアドレスを制御データとして前 記メモリに記憶することである（これは、ＡＤＲＣブロック当たり１０ビット、 すなわち０．６ビット／画素のコストが掛かる）。実際には、最適条件を、メモ リアクセスの数と、必要とされる記憶容量との間で見つけなければならない。 １６ビット幅で配置された外部メモリにおけるＡＤＲＣ制御データの記憶に関 する一例を図１８において、３ステップアプローチ、 （１）各々の量子化器セグメントｑｓ１ないしｑｓ３２４に関して、量子化器 戦略ＱＳ（４ビットまで符号化され、実際は大部分３ビットに符号化される）お よび開始位置ｓｔｍｂ（または開始アドレス、３ビットに符号化される）を、マ クロブロック２ないし５に関して、１メモリワードに記憶し（データパケットの 真に最初に位置するため、各々のセグメントの第１マクロブロックの開始位置ｓ ｔｍｂ１を符号化する必要はない）、 （２）各々のマクロブロック（ＭＢ１，ＭＢ２，ＭＢ３，ＭＢ４，ＭＢ５）を 、 Ｙ−奇数、Ｙ−偶数（輝度）および色光度に関する情報を表す８ＡＤＲＣブロッ クの３つのグループ（しばしば、一方のフィールドの輝度データと、双方のフィ ールドの色光度データとが必要であるため、３グループ）に分割し、８個の関係 するＡＤＲＣブロックの開始アドレスおよびダイナミックレンジクラスｄｒｃを ２メモリワードに記憶し、 （３）２個のＡＤＲＣブロック（１，２；３，４；５，６；７，８）の予測を 一方のメモリワードに結合し、別個のメモリ領域に記憶する（輝度に関して、２ 個の垂直に隣接するＡＤＲＣブロックの予測を結合し、色光度に関して、同じ空 間位置のＵおよびＶの予測を結合する）に従って示す。 データ再生に関して、図１９は、ＡＤＲＣブロックの開始アドレスをどのよう に計算するかを理解させる。ＤＲ値ｄｒｃ１ないしｄｒｃ７を（メモリｒｏｍに おいて、量子化器戦略ＱＳの助けを借りて）、関係するＡＤＲＣブロックに関す るメモリワード数を表すビットコスト（ｂｃ１ないしｂｃ７）に変換する。個々 のビットコストを加算することによって（アドレス１９１ないし１９７のため） 、ＡＤＲＣブロック内の各々の項目を見つけることができる。絶対アドレスを見 つけるために、５ＭＢ大ｑｓ領域のアンカーアドレスを加え続けなければならな い（加算器１９８）。これらの演算がマクロブロックを基礎としていることから 、ｒｏｍおよび加算器ブロック（ｒｏｍ１ないしｒｏｍ７；加算器１９１ないし １９７）を逐次的に使用することができ、一回だけ実行する必要がある。 前記外部メモリに対する不必要なアクセスを禁止するために、ＡＤＲＣブロッ クに、大部分の場合において部分的にアクセスすることができる。図２０に示す ように、ＡＤＲＣブロック内の画素の垂直グループ化のために画素対に制限され た、１６の部分的なアクセスが可能である。これらの画素の前記外部メモリへの マッピングは、図１５に示すようにビットコストに依存する。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＪＰ，ＫＲ，ＵＳ

Claims (1)

1. 【特許請求の範囲】 １．画像の列の画素に対応するディジタルビデオデータを符号化し、少なくとも 、入力ビデオデータをブロックに分割するブロック形成ステップと、各々のブロ ックに対応するデータを量子化し、量子化データを符号化する量子化および符号 化ステップと、前記量子化および符号化ステップの量子化パラメータを、各々の ブロックの内容に依存する他のパラメータに従って制御する制御ステップとを具 える符号化方法において、前記依存パラメータを各々のブロックのデータのダイ ナミックレンジ値に従って規定し、前記ダイナミックレンジを、各々のブロック の最大値および最小値間の差か、この差に直接関係する値かに等しくしたことを 特徴とする符号化方法。 ２．画像の列の画素に対応するディジタルビデオデータを符号化し、少なくとも 、ある画像に関係する入力ビデオデータをブロックに分割するブロック変換器と 、各々のブロックに対応するデータを量子化し、量子化データを符号化する量子 化および符号化小組み立て部品と、前記量子化および符号化小組み立て部品の量 子化パラメータを、各々のブロックの内容に依存するパラメータに従って制御す る制御小組み立て部品とを具える符号化システムにおいて、ダイナミックレンジ 値の規定のための第３小組み立て部品と、前記レンジ値に各々関係する可能な量 子化計画に関するコスト計算、およびそれに続く前記コスト計算に関係するコス ト規準に従うこれらの計画のうち１つの選択のための第４小組み立て部品とをさ らに具えることを特徴とする符号化システム。 ３．請求の範囲２に記載の符号化システムにおいて、前記第３小組み立て部品が 、関係する画像の各々のブロックの最大および最小値を選択する検出器と、前記 ブロックの各々に関して前記値間の平均を決定し、２で割り、その結果を丸める 予測器と、前記最大値を前記最小値によって減算するダイナミックレンジ決定回 路と、前記予測器の出力、および前記ブロック変換器の出力部において利用可能 な各々の標本間の差を規定する減算器と、前記ブロックをセグメントと呼ばれる グループづつ記憶するメモリと、前記量子化戦略の各々に対してコストを計算す る分析回路と、最も低い計算されたコストに対応する量子化戦略を 選択する選択器とを具えることを特徴とする符号化システム。 ４．元の画像の列の画素に対応するディジタル符号化ビデオ信号を復号化し、少 なくとも、ブロックに配置された前記符号化信号を復号化する復号化ステップと 、前記復号化信号からＭＰＥＧ Ｉ、ＰおよびＢデータを得る再構成ステップと 、フォーマット変換ステップとを具える復号化方法において、前記再構成ステッ プが、前記復号化データの記憶ステップと、このステップの前および後の、各々 のブロックのデータのダイナミックレンジ値に関係する追加の圧縮ステップおよ び対応する伸張ステップとを具えることを特徴とする復号化方法。 ５．元の画像の列の画素に対応するディジタル符号化ビデオ信号を復号化し、少 なくとも、ブロックに配置された前記符号化信号を復号化するために設けた復号 化小組み立て部品と、前記復号化小組み立て部品の復号化出力信号を第１入力部 において受ける加算器と、ＭＰＥＧ Ｐ画像の予測またはＭＰＥＧ Ｂ画像の双 方向補間のために設けた２個の並列基準メモリを含む記憶段とを直列に具える復 号化システムにおいて、前記２個の並列基準メモリの出力部を前記加算器の第２ および第３入力部に接続し、前記加算器の出力部を変換メモリの入力部に接続し たシステムにおいて、前記記憶段の前に追加の圧縮手段を具え、前記記憶段の後 に追加の伸張手段とを具え、前記追加の圧縮手段を前記各々のブロックのデータ のダイナミックレンジ値に関係付けたことを特徴とする復号化システム。 ６．請求の範囲５に記載の復号化システムにおいて、前記追加の圧縮手段が、前 記ダイナミックレンジ値の決定のために設けた第１小組み立て部品と、各々が前 記レンジ値に関係する可能な量子化戦略に関するコスト計算、および、前記コス ト計算に関係するコスト規準に従う前記戦略の内の１つの選択のために設けた第 ２小組み立て部品とを具えることを特徴とする復号化システム。 ７．請求の範囲２または３に記載の符号化システムにおいて、各々の画像をＭＰ ＥＧマクロブロックに再分し、各々のマクロブロックが整数個のＡＤＲＣブロッ クを具えるようにしたことを特徴とする符号化システム。 ８．請求の範囲５または６に記載の復号化システムにおいて、前記復号化信号が ＭＰＥＧマクロブロックに再分された画像に対応し、各々のマクロブロックが 整数個のＡＤＲＣブロックを具えるようにしたことを特徴とする復号化システム 。