JPH08275149A

JPH08275149A - データ符号化方法

Info

Publication number: JPH08275149A
Application number: JP8036725A
Authority: JP
Inventors: James D Greenfield; ジェームズ・デビッド・グリーンフィールド; Diane M Mauersberg; ダイアン・マリィ・マウアスバーグ; Agnes Yee Ngai; アグネス・イー・ガイ
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1995-03-27
Filing date: 1996-02-23
Publication date: 1996-10-18
Also published as: US6198767B1

Abstract

(57)【要約】【課題】符号化プロセス、特に離散余弦変換符号化プ
ロセスの速度を向上するシステムを提供する。【解決手段】ルミナンス成分及びクロミナンス成分を
有するデジタル・ビデオ・イメージ・データを符号化す
る方法が開示され、クロミナンス成分がルミナンス成分
の空間分解能の１／４に符号化される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はビデオ符号器に関
し、特に、例えば離散余弦変換符号化ビデオ信号などの
ビデオ信号を符号化し、更に圧縮することを目的とする
ビデオ符号器に関する。本発明は特に、デジタル・ビデ
オ信号の符号化のための動的に区分化可能なデジタル・
ビデオ・プロセッサに関する。ここで使用される動的に
区分化可能なデジタル・ビデオ・プロセッサは、ｎ単位
プロセッサ（例えば４バイト幅プロセッサ）として、ま
たｎ個の１単位プロセッサ（例えば４個の１バイト幅プ
ロセッサ）として機能することを意味する。本発明の方
法、装置及びシステムは、同報信号、有線テレビ信号、
及びデジタル・ネットワーク信号を符号化する際に、ま
た高品位テレビ、対話式テレビ、マルチメディア、ビデ
オ・オン・デマンド、ビデオ会議、及びデジタル・ビデ
オ記録において、ビデオ信号を圧縮するために有用であ
る。本発明の方法及び装置は、特にルミナンス（輝度）
成分及びクロミナンス（色差）成分を有するデジタル・
ビデオ・イメージ・データの符号化方法に関し、クロミ
ナンス成分がルミナンス成分の空間分解能の１／４に符
号化される。

【０００２】

【従来の技術】ＭＰＥＧ−２草案規格（ＭＰＥＧはMovi
ng Picture Experts' Groupの略称）は、デジタル・ビ
デオ・アプリケーションにおける圧縮／伸長規格であ
る。この規格は、無損失圧縮によりフォローされる本来
的な有損失圧縮による実質的な帯域幅の低減に帰する符
号化方法を記述する。符号化され、圧縮されるデジタル
・ビデオ・データは、実質的にＭＰＥＧ−２草案規格準
拠の復号器により伸長され、復号化される。

【０００３】ＭＰＥＧ−２草案規格については、例えば
C．A．Gonzales及びE．Viscitoによる"Motion Video Ad
aptive Quantization In The Transform Domain"、IEEE
Trans Circuits Syst Video Technol、Volume 1、No．
4、Dec．1991、pp．374-378、E．Viscito及びC．A．Gon
zalesによる"Encoding of Motion Video Sequencesfor
the MPEG Environment Using Arithmetic Coding"、SPI
E、Vol．1360、pp．1572-1576、（1990）、D．LeGallに
よる"MPEG：A Video Compression Standardfor Multime
dia Applications"、Communications of the ACM、Vo
l．34、No．4、（April 1991）、pp．46-58、S．Purcel
l及びD．Galbiによる"C Cube MPEG Video Processor"、
SPIE、v．1659、（1992）、pp．24-29、及びD．J．LeGa
llによる"MPEG Video Compression Algorithm"、Signal
Process Image Commun、v．4、n．2、（1992）、pp．1
29-140などで述べられている。

【０００４】ＭＰＥＧ−２草案規格は、フレーム内符号
化だけでは達成不能な圧縮を達成する一方で、純粋なフ
レーム内符号化のランダム・アクセスの利点を保存する
超高圧縮技術を指定する。ＭＰＥＧ−２草案規格におけ
る周波数領域フレーム内符号化と補間的／予測的フレー
ム間符号化との組み合わせは、フレーム内符号化だけの
場合とフレーム間符号化だけの場合の間のバランスを保
つ結果となる。

【０００５】ＭＰＥＧ−２草案規格は、動き補正される
補間的かつ予測的符号化のために時間的冗長性を利用す
る。すなわち、局所的に現ピクチャが過去及び（また
は）将来におけるピクチャの変換としてモデル化されう
る。ここで"局所的"とは、変位の大きさ及び方向がピク
チャ内の至る所で同一でないことを意味する。

【０００６】ＭＰＥＧ−２草案規格は、予測的かつ補間
的フレーム間符号化及び周波数領域フレーム内符号化を
指定し、時間的冗長性の低減のためのブロック・ベース
の動き補正と、空間的冗長性の低減のための離散的余弦
変換ベースの圧縮とを有する。ＭＰＥＧ−２草案規格の
下では、動き補正は予測符号化、補間的符号化、及び可
変長符号化動きベクトルにより達成される。動きに関す
る情報は、１６×１６ブロックにもとづき空間情報と一
緒に伝送される。またこれはハフマン・コードなどの可
変長コードにより圧縮される。

【０００７】ＭＰＥＧ−２草案規格は、様々な予測的か
つ補間的ツールの使用を通じ、時間的冗長性の低減を提
供する。これが図１に示される。図１は３つのタイプの
フレームまたはピクチャを示し、それらは内部ピクチ
ャ"Ｉ"、予測ピクチャ"Ｐ"、及び双方向補間ピクチャ"
Ｂ"である。

【０００８】内部ピクチャ"Ｉ"は適度な圧縮を提供し、
ビデオ・テープまたはＣＤ−ＲＯＭの場合には、ランダ
ム・アクセスのためのアクセス・ポイントに相当する。
都合上、１つの内部ピクチャ"Ｉ"は約０．５秒毎に提供
される。内部ピクチャ"Ｉ"は自身からのみ情報を獲得
し、予測ピクチャ"Ｐ"または双方向補間ピクチャ"Ｂ"か
らは情報を受信しない。場面カット（scene cut）は、
好適には内部ピクチャ"Ｉ"において発生する。

【０００９】予測ピクチャ"Ｐ"は過去のピクチャに関し
て符号化される。予測ピクチャ"Ｐ"は将来のピクチ
ャ（"Ｐ"及び"Ｂ"の両ピクチャ）の基準として使用され
る。

【００１０】双方向符号化ピクチャ"Ｂ"は最も高い圧縮
率を有する。これらは復元のために過去のピクチャ及び
将来のピクチャの両方を要求する。双方向ピクチャ"Ｂ"
は基準としては決して使用されない。

【００１１】動き補正はピクチャ間の冗長性につなが
る。内部ピクチャ"Ｉ"からの予測ピクチャ"Ｐ"の形成、
及び１対の過去及び将来ピクチャからの双方向符号化ピ
クチャ"Ｂ"の形成は、ＭＰＥＧ−２草案規格技術の主要
な特長である。

【００１２】ＭＰＥＧ−２草案規格の下での動き補正単
位はマクロブロック単位である。ＭＰＥＧ−２草案規格
マクロブロックは１６×１６画素マクロブロックであ
る。動き情報は、前方予測マクロブロックに対する１ベ
クトル、後方予測マクロブロックに対する１ベクトル、
双方向予測マクロブロックに対する２ベクトルを含む。
各１６×１６マクロブロックに関連付けられる動き情報
は、基準マクロブロック内に存在する動き情報に関し差
別的に符号化される。このように、１６×１６マクロブ
ロックの画素が、過去または将来ピクチャからの１６×
１６マクロブロックの画素の変換により予測される。

【００１３】原始画素と予測画素との差が対応ビット・
ストリーム内に含まれる。復号器は、復元ブロックを生
成するために修正項を予測画素のブロックに追加する。

【００１４】上述のように、また図１に示されるよう
に、予測ピクチャ"Ｐ"の各１６×１６画素ブロックが、
最も近い過去の内部ピクチャ"Ｉ"、または最も近い過去
の予測ピクチャ"Ｐ"に関して符号化される。

【００１５】更に、上述され、図１に示されるように、
双方向ピクチャ"Ｂ"の各１６×１６画素ブロックは、最
も近い過去の"Ｉ"または"Ｐ"ピクチャからの前方予測に
より、または最も近い将来の"Ｉ"または"Ｐ"からの後方
予測により、或いはまた双方向的に、最も近い過去の"
Ｉ"または"Ｐ"ピクチャと最も近い将来の"Ｉ"または"
Ｐ"ピクチャの両方を用いて符号化される。双方向予測
は最小ノイズ予測である。

【００１６】動き情報は、予測子（predictor）として
使用される基準ピクチャの部分を示すために、各１６×
１６画素ブロックと共に送信される。

【００１７】上述のように、動きベクトルが過去の隣接
ブロックの動きベクトルに関し、差別的に符号化され
る。差別的動きベクトルを符号化するために可変長符号
化が使用され、あるブロックの動きベクトルが先行ブロ
ックの動きベクトルにほぼ等しい一般的な場合では、動
きベクトルを符号化するために少数のビットだけが必要
とされる。

【００１８】空間的冗長性はピクチャ内の冗長性であ
る。上述の動き補正プロセスのブロック・ベースの性質
により、ＭＰＥＧ−２草案規格では空間的冗長性を低減
するブロック・ベースの方法を使用することが望ましか
った。選択の方法は離散余弦変換、及びピクチャの離散
余弦変換符号化である。離散余弦変換符号化は、更に静
止レベルの圧縮を達成するために重み付けスカラ量子化
及びラン・レングス符号化と結合される。

【００１９】離散余弦変換は直交変換である。直交変換
は周波数領域解釈を有するので、フィルタ・バンク（fi
lter bank）指向である。離散余弦変換はまた局所化さ
れる。すなわち、符号化プロセスが、６４個の変換係数
またはサブバンドを計算するために十分な８×８空間ウ
ィンドウ上でサンプリングする。

【００２０】離散余弦変換の別の利点は、高速符号化及
び復号化アルゴリズムが使用可能なことである。更に、
離散余弦変換のサブバンド分解は、精神的視覚的基準
（psychovisual criteria）の効果的な使用を可能にす
るように振る舞う。

【００２１】変換後、多くの周波数係数、特に高い空間
周波数の係数は０である。これらの係数は図２に示され
るようにジグザグに編成され、走行振幅（run-amplitud
e）（ランレベル）対に変換される。各対はゼロ係数の
数及び非ゼロ係数の振幅を示す。これは可変長コードに
より符号化される。

【００２２】離散余弦変換符号化は、図２に示されるよ
うに３つのステージにおいて実行される。第１のステー
ジは離散余弦変換係数の計算である。第２のステージは
係数の量子化である。第３のステージは、データをジグ
ザグ走査順序に再編成した後の量子化変換係数の（走行
振幅）対への変換である。

【００２３】量子化は非常に高度な圧縮及び高出力ビッ
ト・レートを可能にし、高いピクチャ品質を保持する。

【００２４】量子化は適応的であり、内部ピクチャ"Ｉ"
は"ブロッキング"を回避するように、密な量子化を有す
る。このことは、内部ピクチャ"Ｉ"が全ての周波数にお
いてエネルギーを含むために重要である。それに対し
て、"Ｐ"及び"Ｂ"ピクチャはもっぱら高い周波数エネル
ギーを含み、粗な量子化により符号化される。

【００２５】ＭＰＥＧ−２草案規格は、構文及びビット
・ストリームの層化構造を指定する。ビット・ストリー
ムは論理的に別個のエンティティに分離されて、曖昧性
を阻止し、復号化を容易にする。６つの層が下記の表１
に示される。

【表１】ＭＰＥＧ−２草案規格層 "層" "目的" シーケンス層ランダム・アクセス単位及びコンテキストピクチャ・グループ層ランダム・アクセス単位及びビデオ符号化ピクチャ層１次符号化単位スライス層再同期単位マクロブロック層動き補正単位ブロック層ＤＣＴ単位

【００２６】符号化はハードウェアまたはソフトウェア
により達成されうる。ハードウェア符号化は、一般にソ
フトウェア符号化よりも高速である。しかしながら、ビ
デオ・イメージのビット・レート及び伝送媒体の狭い帯
域幅を考慮すると、ハードウェア符号化であっても遅
い。この理由の１つは、離散余弦変換の形成及びその全
ての係数の計算において多くのステップが要求されるか
らである。

【００２７】

【発明が解決しようとする課題】本発明の目的は、符号
化プロセス、特に離散余弦変換符号化プロセスの速度を
向上するシステムを提供することである。

【００２８】本発明の別の目的は、ピクチャの符号化に
要求されるクロック・サイクル数を低減することであ
る。

【００２９】

【課題を解決するための手段】本発明のこれらの及びそ
の他の目的が、本発明のデジタル信号符号器システムに
より獲得される。本システムは、事前処理され部分的に
符号化された非圧縮マクロブロックを受信し、それらの
離散余弦変換を形成するために有用である。本発明のプ
ロセッサは、量子化器、可変長コード符号器、及びＦＩ
ＦＯデータ出力バッファなどの符号器システムの他の要
素と協動して、統合システムを提供する。

【００３０】本発明のプロセッサは、デジタル・ビデオ
符号器プロセッサ内で離散余弦変換符号化のために使用
される。離散余弦変換符号化は、次の符号化ステップ、
すなわち（１）離散余弦変換フィールドまたはフレーム
のタイプを決定するステップ、及び（２）個々の画素を
アドレス指定するステップであって、（ｉ）連続する奇
数及び偶数フィールド・ライン上の垂直方向に隣接する
画素を指定するステップ、（ｉｉ）最初に連続奇数フィ
ールド・ライン上の垂直方向に隣接する画素を指定し、
次に連続偶数フィールド・ライン上の同様の画素を指定
するステップ、または（ｉｉｉ）最初に連続偶数フィー
ルド・ライン上の垂直方向に隣接する画素を指定し、次
に連続奇数フィールド・ライン上の同様の画素を指定す
るステップを含む。これらの減算は、（ｉ）連続ライン
間、（ｉｉ）奇数ライン間、または（ｉｉｉ）偶数ライ
ン間で実行されうる。次のステップでは上記減算の最小
の分散（variance）を見い出し、離散余弦変換符号化タ
イプを決定する。減算は、複数のデータパスを有する動
的に区分化可能なプロセッサにおいて実行される。デー
タパスが実行オペコードの活動により、（ｉ）単一幅デ
ータパス、及び（ｉｉ）複数の狭いデータパスに区分化
されて２画素間の差の絶対値を計算し、減算結果を累算
する。

【００３１】本発明の別の態様によれば、デジタル・イ
メージ符号器において符号化の間のメモリ帯域幅要求を
最小化するメモリ管理方法が提供される。本方法は、時
間的及び空間的冗長性を有するモーション・ビデオ・デ
ータと共に使用され、そこではクロミナンス及びルミナ
ンス・データが一時的に記憶される。開示される方法に
よれば、クロミナンス及びルミナンス・データがメモリ
内の別のロケーションに記憶される。ルミナンス・デー
タはメモリからフェッチされて、動き予測のために使用
される唯一のイメージ・データである。クロミナンス・
データは、イメージ復元のために、クロミナンス−ルミ
ナンス対としてメモリからフェッチされる。復元された
イメージはメモリに記憶され、動き予測のためにメモリ
からフェッチされる。

【００３２】更に本発明の別の態様によれば、ルミナン
ス及びクロミナンス成分を有するデジタル・ビデオ・イ
メージ・データを符号化する方法が提供され、クロミナ
ンス成分がルミナンス成分の空間分解能の１／４に符号
化される。

【００３３】更に本発明の別の態様によれば、デジタル
・ビデオ・イメージの離散余弦変換方法が提供される。
開示される方法では、フィールド分散及びフレーム分散
が計算される。フィールド分散がフレーム分散よりも小
さい場合、フィールド離散余弦変換タイプの変換が実行
される。代わりに、フレーム分散がフィールド分散より
も小さい場合には、フレーム離散余弦変換タイプの変換
が実行される。

【００３４】更に本発明の別の態様によれば、ビットス
トリーム・ヘッダを符号化する方法が提供され、そこで
はビットストリーム・ヘッダのテンプレートがバッファ
に記憶される。テンプレートはプログラマブル命令によ
りアドレス指定可能であり、プロセッサは各ヘッダ・タ
イプに対応するビットを含むステータス・レジスタを有
する。ステータス・レジスタは、ビットストリームの符
号化に必要なヘッダを示すデータ・パターンの符号化プ
ロセスの間に変更されうる。このようにして、ビットが
１にセットされるとき、予め定義されたヘッダ・タイプ
が生成されてビットストリームに転送され、ヘッダが、
ヘッダ・タイプに関連付けられるヘッダ・バッファ・テ
ンプレート・エントリを処理することにより生成され
る。

【００３５】本発明の更に別の態様によれば、符号器に
おいて、低フレーム・レートのデジタル・ビデオ・ソー
ス・イメージを高フレーム・レートのデジタル・ビデオ
・ターゲット・イメージに符号化する方法が提供され
る。そこでは、繰り返しフィールドが高フレーム・レー
トのデジタル・ビデオ中間イメージに導入される。

【００３６】

【発明の実施の形態】デジタル・ビデオ・ピクチャ内の
あらゆる画素は、１バイトのルミナンス及び１バイトの
クロミナンス情報により表現される。これは４：２：２
ＭＰＥＧ規格において指定される。７２０×４８０画素
の最大ピクチャ・サイズ及び３０ピクチャ／秒の伝送レ
ートでは、ビデオ・イメージの記憶は大量のメモリを必
要とする。更に、ビデオ・イメージを伝送媒体を介して
伝送するために、高い帯域幅が要求される。デジタル・
ビデオ圧縮は、メモリ要求及び伝送媒体帯域幅要求を低
減するために導入される。圧縮の最終結果によれば、デ
ジタル・ビデオ・イメージのデータ・バイトは、オリジ
ナル・ピクチャよりも少ないものの、可能な限りの多く
の情報を有する。

【００３７】ビデオ圧縮の１ステップは、ピクチャの１
セグメント当たりの量子化値を決定することである。量
子化の概念は、セグメント内の各画素の値をステップサ
イズにより低減し、できるだけ多くの０が生成されるよ
うにすることである。一般に、続く圧縮及び符号化技術
の結果、０はその表現のために少ないデータ・ビットを
要求する。量子化ファクタまたは定数の値が人間の視覚
モデルにもとづき選択される。量子化値の選択は、セグ
メント内のあらゆる画素を巻き込む計算を要求する。
４：２：２ＭＰＥＧ規格では、１マクロブロック当たり
２５６バイトのルミナンス・データが存在する。あらゆ
る画素を巻き込むためには２５６回の演算が要求され
る。計算を高速化するために演算が並列に実行される。

【００３８】本発明のプロセッサ１１はマイクロコード
を記憶する命令記憶２１を有する。プロセッサ１１は４
バイト幅算術論理演算ユニット（ＡＬＵ）３１を有し、
これは４個の１バイトＡＬＵ３３、３５、３７及び３９
から構成される。プロセッサ１１は、２レベル・セット
の汎用ワーキング・レジスタ４１、特殊目的レジスタ４
３のグループ、命令アドレス・スタック、及び条件レジ
スタ４５を有する。

【００３９】プロセッサ１１は、パイプラインＡＬＵ３
１内で４バイト幅の算術論理演算を実行することができ
る。パイプラインＡＬＵ３１は、４個の個々の１バイト
ＡＬＵ３３、３５、３７及び３９から構成される。これ
らの４個の特殊算術論理演算ユニット（ＡＬＵ）３３、
３５、３７及び３９は算術論理演算のコアである。プロ
セッサ・オペレーションは次の４パイプライン・サイク
ル内で発生する。１．フェッチ２．解読３．実行４．書戻し

【００４０】マイクロコード命令が最初に命令記憶２１
からフェッチされ、次に解読される。ＡＬＵ制御装置３
０は、解読された命令、及びデータ・パイプライン化に
おける以前の命令の結果にもとづき、レジスタ／メモリ
・インタフェース・ユニット４７及び命令フェッチ／解
読ユニット２３のそれぞれから、ＡＬＵ制御ユニット３
０を介してＡＬＵ３３、３５、３７及び３９にデータ／
制御信号を提供する。

【００４１】プロセッサ１１は、レジスタ／メモリ・イ
ンタフェース・ユニット４７からのレジスタ／メモリ・
データ、または専用画素バス４９を介してプロセッサに
送信される画素データのいずれかに対して作用すること
ができる。分岐／ループ命令は、別の分岐／ループ・プ
ロセッサ・ユニット２５により実行される。

【００４２】データはＡＬＵ３３、３５、３７及び３９
により実行サイクルにおいて処理され、書戻しサイクル
の間に、レジスタ／メモリ・インタフェース・ユニット
４７を介してレジスタ／メモリ４１、４３及び４５に記
憶される。プロセッサ１１は、プロセッサ１１の内部に
ある２レベル・セットの汎用ワーキング・レジスタ４
１、及び特殊目的レジスタ４３のグループをアクセスで
きる。外部ソースからレジスタ／メモリをアクセスする
ために、画素バス４９も提供される。プロセッサ１１の
ブロック図が、図３に示される。

【００４３】各命令は２７ビット幅である。このプロセ
ッサ１１では、複数の命令形式が定義される。典型的な
命令は、オペコード、モード・ビット、宛先フィール
ド、及び２つのソース・フィールドを有する。オペコー
ドは、プロセッサにより実行される機能を示すために使
用される。

【００４４】モード・ビットはプロセッサに、命令に対
して如何に作用すべきかを伝える。"ＵＮＩ"と"ＬＰ"の
２つのモードが存在する。"ＵＮＩ"モードは１つの４バ
イト・オペレーションとして作用し、"ＬＰ（論理区
分）"モードは、互いに独立な４個の１バイト・オペレ
ーションとして作用する。ソース・フィールドは、オペ
レーションへの入力のロケーションを指定する。宛先フ
ィールドは、オペレーション結果を記憶するロケーショ
ンを指定する。

【００４５】算術論理演算ユニット３１は、４個の１バ
イト独立型算術論理演算ユニット（ＡＬＵ）３３、３
５、３７及び３９から成る。命令が４バイト・オペレー
ションを指定する場合、各ユニットの最上位ビットから
のキャリーが、次により高位のユニットに伝播される。

【００４６】各算術論理演算ユニット内には累算機能が
存在する。１ＡＬＵ当たりの累算器は１６ビット幅であ
る。加算累算命令は、加算結果と前回データとの累算を
累算器内で可能にするように体系化される。加算回路
は、２つの８ビット入力を１６ビット累算器に加算す
る。この機能は最大２５６ビットの入力データの累算を
可能にする。

【００４７】８個の８×８乗算器がプロセッサに導入さ
れ、１ＡＬＵ当たり２個が割当てられる。３２×３２乗
算演算もプロセッサ内において体系化される。

【００４８】３２×３２乗算のサブセットは３２×１６
乗算である。各ユニット内の２個の８×８乗算器が結合
され、８×１６乗算器を形成する。更に隣接ユニットの
２個の８×１６乗算器が結合され、単一の１６×１６乗
算器を形成する。入力オペランドが解析され、Ｈ×Ｌ及
びＬ×Ｌ乗算を可能にする。２つの１６×１６乗算の結
果が結合され、３２×１６乗算を形成する。この設計は
回路の最大再利用性を可能にする。

【００４９】ＭＰＥＧ−２で採用される圧縮技術の１つ
は、離散余弦変換（ＤＣＴ）符号化である。このプロセ
スは、空間領域イメージ・データを周波数領域イメージ
・データに変換するために使用される。ピクチャ・イメ
ージが、８×８画素の小サブセットとして、ＤＣＴプロ
セスに供給される。８×８画素ブロックはマクロブロッ
クとして定義される。

【００５０】ＤＣＴプロセスに画素の連続ラインが供給
される場合、この技術はフレームＤＣＴタイプとして定
義される。代わりに、１つ置きのラインの画素イメージ
・データが連結され、８×８ＤＣＴ入力を形成する場
合、この技術はフィールドＤＣＴタイプとして定義され
る。一般に、しばしばインタレース式ピクチャにおいて
発生するように、ピクチャの２つのフィールド間で動き
が存在する場合、画素データは連続ライン間で大きな差
を有する。フィールド間で動きが存在しない場合には、
画素データの連続ライン間にはほとんど分散が存在しな
い。通常、画素分散が小さいほど達成されうる圧縮効率
は高くなる。

【００５１】符号器は、入力画素イメージの分散を計算
することによりＤＣＴタイプ（例えばフィールドまたは
フレーム）を決定する。入力はアドレス指定モード設定
命令により指定されるアドレス・モードに従い、フェッ
チされる。この命令は６つの固有のアドレス・モードの
１つを設定する。'モード１'は、マクロブロック内の連
続する奇数及び偶数フィールド・ライン上の垂直方向に
隣接する画素をアドレス指定する。'モード２'は、最初
に連続奇数フィールド・ライン上の２つの垂直方向に隣
接する画素をアドレス指定し、次に連続偶数フィールド
・ラインに切り替える。'モード３'は、最初に連続偶数
フィールド・ライン上の２つの垂直方向に隣接する画素
をアドレス指定し、次に連続奇数フィールド・ラインに
切り替える。モード４、５及び６は、マクロブロックの
各奇数または偶数ライン内の１画素が、２画素の代わり
にアドレス指定される以外は、モード１、２及び３とそ
れぞれ同じである。１画素アドレス指定モードは、ＤＣ
Ｔタイプの計算では使用されない。

【００５２】ＤＣＴタイプの計算は、図４に示されるよ
うに３つの異なる減算を含む。これらは連続ライン間の
減算、奇数ライン間の減算、及び偶数ライン間の減算で
ある。

【００５３】上記減算の最小の分散が、ＤＣＴ符号化タ
イプを決定するために使用される。この画素分散の計算
はあらゆる画素を巻き込み、計算集中的である。各マク
ロブロック当たり２５６画素が存在し、フレームＤＣＴ
計算につき１２８回の減算及び１２８回の加算が要求さ
れ、フィールドＤＣＴ計算につき別の１２８回の減算及
び１２８回の加算が要求される。最終ステップでは、４
つの累算値の合計が累算器加算命令ＡＣＣＳＵＭにより
加算される。より小さなフレームＤＣＴまたはフィール
ドＤＣＴの分散を決定するために、比較命令が必要とな
る。従来、使用されたプロセッサでは、この決定は５１
２回の計算を要求する。本発明のプロセッサでは、１サ
イクル内で４回の計算の実行を指定するためにモード・
ビットが使用される。この計算を実行するために要求さ
れるサイクル数は４分の１に改良され、１２８サイクル
が計算の実行に要求されることになる。絶対値減算（SU
BABS）命令及び加算累算器（ADDACC）命令の組み合わせ
により、６４サイクルだけが要求される。

【００５４】分散の計算には、ＳＵＢＡＢＳとＡＤＤＡ
ＣＣの２つの命令が要求されるだけである。これら２つ
の命令はサブルーチンを形成し、マクロブロック内の全
ての画素が使用されるまでループされる。ループはフレ
ームＤＣＴ計算において１度使用され、フィールドＤＣ
Ｔ計算において再度使用される。ＳＵＢＡＢＳ命令は２
画素間の差の絶対値を計算するために使用される。ＡＤ
ＤＡＣＣ命令はＳＵＢＡＢＳ命令の結果を累算するため
に使用される。

【００５５】ＳＵＢＡＢＳの結果をＡＤＤＡＣＣの入力
にパイプライン化することにより、中間メモリ読出しま
たは書込み命令が必要とされない。このオペレーション
・モードでは、上記命令が１計算当たりに要求されるサ
イクル数を低減することにより性能を改良する。

【００５６】本発明のプロセッサ１１は、デジタル・ビ
デオ符号器プロセッサ内で離散余弦変換符号化のために
使用される。離散余弦変換符号化は、次の符号化ステッ
プ、すなわち（１）離散余弦変換フィールドまたはフレ
ームのタイプを決定するステップ、及び（２）個々の画
素をアドレス指定するステップであって、（ｉ）連続す
る奇数及び偶数フィールド・ライン上の垂直方向に隣接
する画素を指定するステップ、（ｉｉ）最初に連続奇数
フィールド・ライン上の垂直方向に隣接する画素を指定
し、次に連続偶数フィールド・ライン上の同様の画素を
指定するステップ、または（ｉｉｉ）最初に連続偶数フ
ィールド・ライン上の垂直方向に隣接する画素を指定
し、次に連続奇数フィールド・ライン上の同様の画素を
指定するステップを含む。これらの減算は、（ｉ）連続
ライン間、（ｉｉ）奇数ライン間、または（ｉｉｉ）偶
数ライン間で実行されうる。次のステップでは、上記減
算の最小の分散を見い出し、離散余弦変換符号化タイプ
を決定する。減算は、複数のデータパス３３、３５、３
７、３９を有する動的に区分化可能なプロセッサにおい
て実行される。データパス３３、３５、３７、３９が、
実行オペコードの活動により、（ｉ）単一幅データパス
３１、及び（ｉｉ）複数の狭いデータパスに区分化され
て、２画素間の差の絶対値を計算し、減算結果を累算す
る。

【００５７】ＤＣＴ係数の計算に続く別の圧縮技術は量
子化である。量子化は１マクロブロック当たりのステッ
プサイズを決定するプロセスである。ステップサイズは
マクロブロックの光強度分散にもとづく。マクロブロッ
クの光強度の平均が最初に計算される。各ブロックの分
散が次に計算される。マクロブロックのステップサイズ
を選択するために最小の分散が使用される。ここで述べ
られるプロセッサでは、平均強度がＡＤＤＡＣＣ及びシ
フト命令により計算されうる。ＡＤＤＡＣＣ命令は１命
令のサブルーチンを形成し、８×８ブロック内の全ての
画素が使用されるまでループされる。累算結果が右シフ
ト命令により６４で除算される。

【００５８】ＬＰモード・オプションは、性能改良のた
めに使用される。全てのルミナンス画素の加算は、４個
のＡＬＵ３３、３５、３７、３９により並列に実行され
る。次に各グループの平均が、結果に対して右シフトを
実行することにより計算される。

【００５９】分散強度がＳＵＢＡＢＳ及びＡＤＤＡＣＣ
命令により計算される。ＳＵＢＡＢＳ命令はブロックの
平均からの各画素データの差を決定するために使用され
る。ＡＤＤＡＣＣ命令は各ブロック内の差を累算するた
めに使用される。４ブロック間の最小の累算が、マクロ
ブロックのステップサイズを決定するために使用され
る。ＬＰモードを選択することにより４ブロックの計算
が同時に実行される。

【００６０】プロセッサ１１内の命令及び実行ユニット
設計のアーキテクチャが、単一の４バイト・データフロ
ーの動的な区分化を可能にし、単一の４バイト・データ
フロー・ユニットとして、または４個の１バイト実行ユ
ニットとして動作させる。動的な区分化能力はプロセッ
サ出力を向上させ、それにより符号化プロセス、特に離
散余弦変換符号化プロセスの速度を向上させ、ピクチャ
を符号化するために要するクロック・サイクル数を低減
するシステムを提供する。

【００６１】色変換のための方法及び装置：ＭＰＥＧ−
２規格はビデオ入力ソースを４２２または４２０形式に
指定する。ＹＵＶ色空間ではほとんどの高周波成分がＹ
成分に集中する。しかしながら、人間の視力（visual a
cuity）は、高周波クロミナンス成分には最も感度が低
く、低周波ルミナンス成分には最も感度が高い。この理
由から、ビデオ・ソースがＲＧＢから４２２または４２
０色形式に圧縮される場合、ビデオ・ソースの高い圧縮
が獲得されうる。４２０への色変換は水平及び垂直の両
次元における低減を要求し、ルミナンス成分の空間分解
能の１／４のクロミナンス成分を生成する。

【００６２】進歩的なビデオでは、フィールド間で動き
は存在しない。クロミナンス成分を低減するためにリニ
ア・フィルタが使用されうる。インタレース式フル・モ
ーション・ビデオでは時間差が存在し、従ってフレーム
構造ピクチャ内の２つのフィールド間で動きが存在す
る。２つの隣接フィールドのクロミナンス成分はほとん
ど相関が無いので、リニア・フィルタが人為結果（arti
facts）を生成する。従って、クロミナンス低減におい
て動き補正が考慮されなければならない。

【００６３】ここで述べられる本発明では、１フィール
ドのクロミナンス成分だけが使用される。１フィールド
のクロミナンス情報が両方のルミナンス・フィールドに
供給される。この方法ではクロミナンス動き補正が必要
とされない。１フィールドを排除することにより垂直成
分も低減される。フィールドの全ての水平成分は時間間
隔内に存在するので動きは存在せず、水平成分を低減す
るためにリニア・フィルタが使用される。

【００６４】色低減はこの経済的なフィルタにより達成
され、ビデオ圧縮を向上させる。

【００６５】フィールド及びフレーム符号化：イメージ
圧縮の１つの形式は、空間的冗長性と呼ばれる冗長デー
タの除去により達成される。この形式の冗長性は隣接画
素データ間の相関情報により発生する。

【００６６】インタレース式フル・モーション・ビデオ
ではフィールド間で時間差が存在し、従って隣接フィー
ルド間に動きが存在する。この動きはフレーム内の隣接
ライン間で不連続性を生む。

【００６７】ＭＰＥＧ−２規格は、より良好な圧縮を達
成するために、フィールド及びフレーム離散余弦変換タ
イプの使用を可能にする。フレーム処理は、動きが存在
しないか、ほとんど存在しないときに良好に作用する。
フレーム形式にはより多くのラインが存在し、従って圧
縮率を向上するためのより多くの相関が存在する。しか
しながら、フィールド形式処理は垂直方向の詳細な動き
に対してより良好に作用する。このような場合では、フ
レーム・データよりもフィールド・データがより相関付
けられる。

【００６８】離散余弦変換タイプの決定、すなわちフィ
ールドまたはフレーム決定は各マクロブロックに対して
計算される。本発明の符号化方法は観測にもとづき、ピ
クチャの２つのフィールドが２つの異なる時間に由来す
る場合、フィールド内の隣接ライン間のデータがフレー
ム内の隣接ラインのデータよりも一般に値的により近
い。

【００６９】符号器は、マクロブロックのフレーム構造
の隣接ライン間の合計差（total differences）を計算
し、次にマクロブロック内のフィールド構造の隣接ライ
ンの合計差を計算する。フィールド総分散の方が小さい
と、フィールド離散余弦変換タイプが選択される。しか
しながらフレーム総分散の方が小さいと、フレーム離散
余弦変換タイプが選択される。

【００７０】フレーム分散は、フレーム構造内の隣接ラ
イン間の絶対差の合計により計算される。フレーム構造
内のラインは、１、２、３、．．．のように昇順に番号
付けられるものとする。フレーム分散は、ライン１とラ
イン２、ライン３とライン４などの絶対差の合計であ
る。

【００７１】フィールド分散は２つの部分、すなわちフ
ィールド１及びフィールド２において計算される。フィ
ールド１は、フレーム構造内の隣接奇数ライン間の絶対
差の合計である。上記と同様の番号付けによりフィール
ド１分散は、ライン１と３、ライン５と７などの絶対差
の合計である。フィールド２は、偶数ライン番号が使用
される以外はフィールド１と同様に計算される。フィー
ルド２分散は、ライン２と４、ライン６と８などの絶対
差の合計である。

【００７２】フレーム分散がフィールド１＋フィールド
２よりも小さいと、フレーム離散余弦変換が選択され
る。それ以外ではフィールド離散余弦変換が選択され
る。

【００７３】ＭＰＥＧヘッダの生成：ＭＰＥＧ−２規格
で定義されるビットストリーム・ヘッダは、接続ビット
ストリームに関する情報を含む。ヘッダの構文は復号器
に符号化ピクチャの復元方法を伝えるために使用される
ので、厳密でなければならない。ヘッダの使用はアプリ
ケーション依存である。特定のアプリケーション要求に
対する容易な適応化を可能にする柔軟な設計が要求され
る。貴重な時間がピクチャの符号化から奪われないよう
に、性能も重要である。

【００７４】本発明の符号器では、プレロードされるテ
ンプレートがプログラマブル命令のセットと共に使用さ
れて、ヘッダ・ビットストリームを生成する。１９０×
２７ビットのオンチップ・ヘッダ・バッファが、ＭＰＥ
Ｇ−２規格において指定されるヘッダ・タイプのテンプ
レートＭＰ＠ＭＬを含む。このバッファは、外部プロセ
ッサからパワーオン・リセット時に初期化される。

【００７５】各ヘッダ・タイプはバッファ内の複数エン
トリを占有する。本発明のヘッダ発生器はステータス・
レジスタを含み、これはヘッダ・バッファと協動する本
発明のプロセッサにより書込み可能である。ステータス
・レジスタは、各ヘッダ・タイプに対応して１ビットを
含む。符号化プロセスの間、ステータス・レジスタは、
必要とされるヘッダ・タイプを示すデータ・パターンに
より変更される。"シップ・ヘッダ（ship header）"コ
マンドが発行されるとき、ヘッダ発生器がステータス・
レジスタを左から右に１度に１ビットずつ処理する。あ
るビットが１にセットされると、予め定義されたヘッダ
・タイプが生成され、ビットストリームに転送（ship）
される。ヘッダは、ヘッダ・タイプに関連付けられるヘ
ッダ・バッファ・テンプレート・エントリを処理するこ
とにより生成される。

【００７６】ヘッダ・バッファ内の各エントリは次のフ
ィールドを含む。１．有効２．長さ３．コマンド４．データ

【００７７】初期化の間、全ての有効ビットは"オフ"に
設定される。有効ビットは、関連データが１アプリケー
ションにつきビットストリーム内で必要とされるとき、
マイクロコードによってのみ設定される。"シップ・ヘ
ッダ"処理の間、"有効"フィールドが"オン"であれば"デ
ータ"・フィールドの内容がビットストリーム内に置か
れる。

【００７８】"長さ"フィールドは初期化プロセスの間に
ロードされる。これは"有効"ビットが"オン"の時に、ビ
ットストリームに転送される"データ"・フィールド内の
データの長さを示すために使用される。

【００７９】"コマンド"・フィールドには３ビットが存
在する。"コマンド"・フィールドは、プロセッサのヘッ
ダ発生器にデータのロケーション、データの生成方法、
及びビットストリームに挿入されるデータ量を伝えるた
めに使用される。"コマンド"・コードは次の様に定義さ
れる。００１データ・フィールドの内容をビットストリーム
に転送。０１０２０ビットの０をデータ・フィールドの内容に
連結し、ビットストリームに転送。０１１データ・バッファ内の次の６４バイト・データ
をビットストリームに転送。１００マクロブロック・データをビットストリームに
転送。１０１２つの連続データ・エントリの内容をビットス
トリームに転送。１１０データ・フィールドの内容をビットストリーム
に転送し、有効ビットをリセット。１１１ユーザ・データをビットストリームに転送。０００コードは未定義である。

【００８０】データ・フィールドの内容は外部プロセッ
サにより初期化され、後にマイクロコードにより変更さ
れうる。

【００８１】ヘッダ・バッファの内容は、外部または内
部プロセッサのいずれかにより書込み可能である。これ
は柔軟性を提供する。内部プロセッサ、すなわち本発明
のプロセッサは、シップ・ヘッダ・コマンドが発行され
るときに幾つかのレジスタをセット・アップしなければ
ならないだけである。ヘッダ・ハードウェアがヘッダを
生成し、これをビットストリームに転送する間、プロセ
ッサは他の作業を処理するように解放されるので性能が
改良される。

【００８２】メモリ構成：時間的冗長性は時間に渡る冗
長なイメージ情報、すなわち類似であったり、時間に渡
りフレーム間で繰り返されるデータである。動き予測
は、ビデオ・イメージの時間的冗長性を低減するために
使用されるプロセスである。動き予測は、イメージ・シ
ーケンス内のオブジェクトの動きを決定するプロセスで
ある。時間的冗長性の除去は、ＭＰＥＧ−２規格の主要
部分でもある。しかしながら、ＭＰＥＧ−２規格は動き
予測を達成する方法については指定していない。ＭＰＥ
Ｇ−２規格は、ＭＰＥＧ−２準拠の復号化を可能にする
ために必要なヘッダ、ビットストリーム・アーキテクチ
ャ、及びプロトコルを指定するに過ぎない。

【００８３】動き予測は符号器に３つの課題を提供す
る。それらはメモリ帯域幅、計算要求、及びノイズであ
る。本発明によれば、動き予測のために領域的ブロック
・マッチングが使用される。領域的ブロック・マッチン
グは、フレームの小領域へのセグメント化、及び基準フ
レーム内の可能な領域間で最適なマッチを生成する変位
（displacement）の探索を含む。フレームのサイズはＭ
ＰＥＧ−２規格で定義されるように、水平方向に７２０
画素行、垂直方向に４８０画素ラインとして定義され
る。１ピクチャ当たりのデータ量は、符号器チップ内に
含むには余りにも大き過ぎるのでこれは外部メモリに記
憶される。動き予測機能には３つの主要ステップが要求
される。それらはメモリからのデータ検索、データ計
算、及び予測選択である。

【００８４】外部メモリから検索されるデータの量は探
索ウィンドウに直接比例する。大きな探索ウィンドウ
は、大量のデータ内でより近いマッチを見い出す高い確
率を提供するので、メモリ帯域幅に対するより大きな要
求を生成する。小さな探索ウィンドウについては逆のこ
とが言え、メモリ帯域幅に対する要求は小さいがより近
いマッチを見い出す確率は低い。

【００８５】メモリ帯域幅を最大化するために本発明の
符号器メモリ制御システム及び方法は、別々のルミナン
ス及びクロミナンス・ロケーションを記憶するルミナン
ス及びクロミナンス対（ＵＶ対）、メモリ・アクセス優
先順位付け、並びにルミナンス及びクロミナンスのため
の物理的に別個のメモリを含む。

【００８６】ルミナンス及びクロミナンス・データが別
々のロケーションに記憶される。ルミナンス及びクロミ
ナンス・データの両方において動きが発生する。しかし
ながらルミナンス及びクロミナンスの動きは互いに追跡
し合う。計算要求を最小化するためにルミナンス・デー
タだけが動き予測において使用される。画素データが外
部メモリから検索されるとき、メモリ・アクセス時間は
列アドレス選択（ＣＡＳ）時間、及び行アドレス選択
（ＲＡＳ）時間に依存する。各新たなＲＡＳアクセスに
対してはＲＡＳ内の隣接ＣＡＳよりも長い遅延が要求さ
れる。この理由から、ルミナンス・データがクロミナン
ス・データとは別に記憶される。このことは動き予測の
間の隣接ＣＡＳを最大化する。クロミナンス・データが
ＵＶ対としてメモリ制御に送信され、ＤＲＡＭに記憶さ
れ、そこからフェッチされるので、ピクチャ記憶または
マクロブロック（ＭＢ）・フェッチの処理時におけるメ
モリ帯域幅が節約される。

【００８７】ＭＰＥＧ−２規格で定義されるように、ピ
クチャは小さなサブイメージまたはマクロブロックに分
割される。マクロブロックは互いに独立に符号化され
る。マクロブロックは水平方向に１６画素、垂直方向に
１６ラインとして定義される。更に、マクロブロック内
の画素単位が全画素（full pel）または半画素（half p
el）のいずれかであるように定義される。ここでｘ及び
ｙをピクチャ内の隣接画素とすると半画素は次の様に定
義される。次式内の記号"／"は丸みを伴う除算を意味す
る。

【数１】（ｘ＋ｙ）／２

【００８８】１６画素をハーフ単位で形成するために、
符号器は１７バイトを外部メモリから検索しなければな
らない。４バイト幅の入力メモリ・バス設計では、１７
バイトのデータを検索するために５回のメモリ・アクセ
スが必要となる。しかしながら最後のアクセスでは１バ
イトだけが有用である。これはルミナンス及びクロミナ
ンス・データ（Ｕ及びＶ）に当てはまる。Ｕ及びＶを対
として記憶することにより、１ラインのクロミナンス・
データに対応して９回のメモリ・アクセスだけしか要求
されない。それに対してルミナンス及びクロミナンス
（Ｕ及びＶ）が別々のメモリ・ロケーションに記憶され
る場合には、１０回のメモリ・アクセスが要求される。

【００８９】符号器では、符号化を開始するために十分
なデータが保存されるまで、入力イメージが蓄積され
る。次に符号化プロセスの間にデータが外部メモリから
フェッチされる。符号化データからイメージが復元され
る。この復元されたイメージもまた外部メモリに保存さ
れる。外部メモリ内の復元イメージは、続くピクチャの
動き予測のための基準データとして後に検索される。符
号化プロセスの間、画素データ片が複数回記憶され、フ
ェッチされる。衝突を最小化するため、本発明の符号器
内の外部メモリは異なるセグメントに物理的に分離され
る。各セグメントは、複数のメモリ・セグメントが同時
に動作しうるように独自の制御及びデータパスを有す
る。セグメントは符号器内でのそれらのデータ・フロー
にもとづき選択される。入力イメージがあるメモリ・セ
グメントに保存され、復元イメージが別のメモリ・セグ
メントに保存される。

【００９０】復元された基準データのフェッチ及び記憶
の実行の際、ＤＲＡＭがメモリ・アクセスを優先順位付
けすることにより帯域幅を節約する。ピクチャ・タイ
プ、ＩＰまたはＩＰＢモード、デュアル・プライム（du
al prime）、及び基準フィールド数などのピクチャの符
号化パラメータが、改良探索パス内の各ユニットがマク
ロブロック当たりに有するフェッチ回数の予測を支援す
る。１ユニット当たりのフェッチ回数が予測されるとメ
モリ制御がＤＲＡＭフェッチを実行し、そのピクチャの
パターンを記憶する。全ての異なる符号化過程における
パターンが予め定義され、チップを通じて最大データ・
フローを提供するように状態マシンにマップされる。各
ユニットが必要時にデータを受信できるようにＤＲＡＭ
フェッチ及び記憶をマップすることにより、最大データ
・フローが達成される。基準データは、改良ユニットが
以前のフェッチ・データによりビジーとなると判断され
るとき、ＤＲＡＭに記憶し戻される。メモリ・アクセス
は、マクロブロック処理における休止を回避するように
可能な限り合理化される。こうした休止は、データの受
信以前に別のフェッチまたはマクロブロック記憶を終了
するために、メモリ制御を待機しなければならないユニ
ットによる。

【００９１】上記特長の組み合わせが帯域幅を最大化
し、本発明の符号器設計におけるメモリ要求を最小化す
る。

【００９２】まとめとして、本発明の構成に関して以下
の事項を開示する。

【００９３】（１）ルミナンス成分及びクロミナンス成
分を有するデジタル・ビデオ・イメージ・データを符号
化する方法であって、上記クロミナンス成分を上記ルミ
ナンス成分の空間分解能の１／４に符号化する、方法。

【図面の簡単な説明】

【図１】ピクチャ・グループを形成する内部フレーム、
予測フレーム、及び双方向フレームの関係を示す図であ
る。

【図２】離散余弦変換符号化の３つのステージのフロー
チャートを示す図である。

【図３】本発明の動的に区分化可能なデジタル・ビデオ
符号器プロセッサのブロック図である。

【図４】連続ライン間、奇数ライン間、及び偶数ライン
間での画素の減算を示す図である。

【符号の説明】

１１プロセッサ２１命令記憶２３命令フェッチ／解読ユニット２５分岐／ループ・プロセッサ・ユニット３１算術論理演算ユニット（ＡＬＵ）３３、３５、３７、３９１バイトＡＬＵ４１汎用ワーキング・レジスタ４３特殊目的レジスタ４５条件レジスタ４７レジスタ／メモリ・インタフェース・ユニット４９インタフェース・バス

───────────────────────────────────────────────────── フロントページの続き (72)発明者ジェームズ・デビッド・グリーンフィールドアメリカ合衆国13904、ニューヨーク州ビンガムトン、ウォルフィンガー・ウェイ 34 (72)発明者ダイアン・マリィ・マウアスバーグアメリカ合衆国13827、ニューヨーク州オゥエゴ、ウッドヘブン・ドライブ 335 (72)発明者アグネス・イー・ガイアメリカ合衆国13760、ニューヨーク州エンドウェル、パートリッジ・プレース 725

Claims

【特許請求の範囲】

【請求項１】ルミナンス成分及びクロミナンス成分を有
するデジタル・ビデオ・イメージ・データを符号化する
方法であって、上記クロミナンス成分を上記ルミナンス成分の空間分解
能の１／４に符号化する、方法。