JP3529624B2 - ピクチャの符号化方法および符号化装置 - Google Patents

ピクチャの符号化方法および符号化装置

Info

Publication number
JP3529624B2
JP3529624B2 JP13516798A JP13516798A JP3529624B2 JP 3529624 B2 JP3529624 B2 JP 3529624B2 JP 13516798 A JP13516798 A JP 13516798A JP 13516798 A JP13516798 A JP 13516798A JP 3529624 B2 JP3529624 B2 JP 3529624B2
Authority
JP
Japan
Prior art keywords
macroblock
block
coefficients
picture
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13516798A
Other languages
English (en)
Other versions
JPH118849A (ja
Inventor
ジョン・アシュレイ・マードック
アンガス・イー・ガイ
ステファン・フィリップ・ポクリンチャク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH118849A publication Critical patent/JPH118849A/ja
Application granted granted Critical
Publication of JP3529624B2 publication Critical patent/JP3529624B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、一般的には、ピク
チャ内の冗長度およびピクチャ間の冗長度を減少させる
空間的（ピクチャ内）圧縮および時間的（ピクチャ間）
圧縮を含む、ディジタル画像の符号化装置および符号化
方法に関する。ピクチャ内の冗長度は、離散コサイン変
換、量子化、および可変長符号化によって減少または除
去される。ピクチャ間の冗長度は、動きベクトルを使用
することによって減少または除去される。ピクチャ内圧
縮の１つの局面では、ピクチャの品質および詳細度（デ
ィテール）を維持しながら、最適ビット・レートを達成
するようにビットが調整される。本発明は、特にビデオ
・エンコーダの量子化および可変長符号化機能のため
の、強力なマクロブロック・ビット調整に関する。
【０００２】
【従来の技術及びその課題】過去１０年の間に、世界的
な電子通信システムの出現は、人々が情報を送受信する
方式を進歩させた。特に、近年では、リアルタイムのビ
デオ・オーディオ・システムが著しく進歩した。ビデオ
・オン・デマンドおよびビデオ会議などのサービスを加
入者へ提供するためには、膨大なネットワーク帯域幅が
必要である。事実、ネットワーク帯域幅は、そのような
システムの効率性を阻害する主な要因となる場合が多
い。
【０００３】ネットワークによって生じる制約を克服す
るために、圧縮システムが出現した。これらのシステム
は、ピクチャ・シーケンス中の冗長度を除去することに
よって、伝送しなければならないビデオおよびオーディ
オのデータ量を削減する。受信端では、ピクチャ・シー
ケンスが圧縮を解かれ、リアルタイムで表示される。
【０００４】現在検討されているビデオ圧縮標準は、Ｍ
ＰＥＧ標準である。ＭＰＥＧ標準では、ビデオの圧縮は
１つのピクチャ内および複数のピクチャ間で定義され
る。１つのピクチャのビデオ圧縮は離散コサイン変換、
量子化、可変長符号化、およびハフマン符号化によりデ
ィジタル像を時間領域から周波数領域へ変換することに
よって達成される。複数のピクチャ間のビデオ圧縮は、
動き推定と呼ばれる処理によって達成される。動き推定
では、動きベクトルおよび差分データが１つのピクチャ
から他のピクチャへの、画素（ペル）集合の変換を記述
する。
【０００５】ＩＳＯ ＭＰＥＧ２標準は、ビットストリ
ームのシンタックスおよび復号処理のセマンティックス
を指定するにすぎない。符号化パラメータの選択、およ
びパフォーマンス対複雑性のトレードオフは、エンコー
ダの開発者に任せられている。
【０００６】ＭＰＥＧ２に準拠した符号化処理の１つの
局面では、ビデオの詳細度および品質を維持しながら、
ディジタル・ビデオ像ができるだけ小さなビットストリ
ームへ圧縮される。ＭＰＥＧ標準はビットストリームの
サイズに制限を設けており、またエンコーダが符号化処
理を実行できることを要求している。したがって、所望
のピクチャ品質と詳細度を維持するためにビット・レー
トを最適化することは困難である。たとえば、ＭＰＥＧ
標準はピクチャの各水平行で、ビット・レートの制限
（４：２：０フォーマットでは、４６０８ビット）を超
えるマクロブロックは２つまでと定めている。シーン・
チェンジおよびアクション・ビデオの場合、フレーム間
の急激な変化によってビット・レートが急速に消費され
る。その結果、ピクチャの品質と詳細度は悪影響を受け
る。
【０００７】ＭＰＥＧ２に準拠した符号化処理の他の局
面では、パフォーマンス問題が非イントラ・マクロブロ
ックの符号化との間の圧縮ストア・インタフェースで生
じる。この問題は、マクロブロックの一部でありＭＰＥ
Ｇ標準によって要求される符号化ブロック・パターン
が、マクロブロックのすべての量子化された係数が可変
長符号化されるまで決定できないという事実から生じ
る。圧縮ストア・インタフェースは、符号化ブロック・
パターンを待っている間、係数をバッファに入れて、現
在のマクロブロックのマクロブロック・ヘッダが、圧縮
されたビットストリーム中で、エンコーダから出力され
る符号化係数の前に確実に多重化されるようにしなけれ
ばならない。さらに、それはＭＰＥＧ標準に準拠するた
めに必要である。イントラ・マクロブロックでは、係数
をバッファに入れる必要はない。なぜなら、イントラ・
マクロブロックはデータを含むことが必要であり、符号
化ブロック・パターンを有しないからである。非イント
ラ・マクロブロック中の符号化係数データの量は、バッ
ファからデータを読み取って圧縮されたビットストリー
ムへ多重化するのに時間がかかるので、エンコーダのパ
フォーマンスに影響を与える。
【０００８】本発明は、標準的な量子化、可変長符号
化、および圧縮ストア・インタフェースの処理に内在す
る上記の問題を解決する、ビデオ・エンコーダのための
マクロブロック・ビット調整方式を提供する。
【０００９】
【課題を解決するための手段】 簡単に説明すると、本
発明は、第一の局面では、複数のマクロブロックを有
し、各マクロブロックが複数のブロックに配列された係
数を含むピクチャを符号化する方法と装置を提供する。
本発明のアプローチは、各マクロブロックについて次の
ことを行う。すなわち、マクロブロックの係数を符号化
し、マクロブロックのために目標ビット・レートを決定
し、目標ビット・レートが所定のレートよりも小さいと
きにマクロブロックの所定の係数をゼロにする制約パタ
ーンに基づいてマクロブロックの係数のうち一部の係数
をゼロにする。更に、ピクチャが非イントラ・ピクチャ
であるかどうかを決定し、ピクチャが非イントラ・ピク
チャであるときは、各マクロブロックについて、該マク
ロブロックの係数が符号化される前に、マクロブロック
内のどのブロックが符号化されているか示す符号化ブロ
ック・パターン（ＣＢＰ）として、マクロブロック内の
すべてのブロックが符号化されていることを示す固定符
号化ブロック・パターンを生成し、マクロブロック・ヘ
ッダの一部としてビットストリーム中に出力する。続い
て、上記固定符号化ブロック・パターンが示すようにマ
クロブロックの全てのブロックが符号化されていること
を保証するために、マクロブロックの各ブロックが少な
くとも１つの非ゼロ係数を含むように各ブロックの係数
を調整する。
【００１０】他の局面では、本発明は、複数のマクロブ
ロックを有し、各マクロブロックが複数のブロックに配
列された係数を含むピクチャのマクロブロックを符号化
する方法および装置を提供する。この方法および装置
は、各マクロブロックについて次のことを行う。すなわ
ち、ピクチャが非イントラ・ピクチャであるかどうかを
決定し、ピクチャが非イントラ・ピクチャであるとき、
各マクロブロックについて、該マクロブロックの各ブロ
ックの係数が符号化される前に、マクロブロック内のど
のブロックが符号化されているか示す符号化ブロック・
パターン（ＣＢＰ）として、マクロブロック内のすべて
のブロックが符号化されていることを示す固定符号化ブ
ロック・パターンを生成し、マクロブロック・ヘッダの
一部としてビットストリーム中に出力する。続いて、上
記固定符号化ブロック・パターンが示すようにマクロブ
ロックの全てのブロックが符号化されていることを保証
するために、マクロブロックの各ブロックが少なくとも
１つの非ゼロ係数を含むように各ブロックの係数を調整
する。
【００１１】
【００１２】言い換えれば、本発明により、ビデオ・エ
ンコーダの量子化および可変長符号化を改良するために
使用できるいくつかのマクロブロック・ビット調整方式
が実現される。マクロブロック中の係数を選択的および
部分的に制約することによって、ビット・レートの調整
が達成され、ビット・レートとピクチャ品質の改良され
たバランスが得られる。たとえば、高周波数係数をゼロ
にする制約パターンを設定することによって、それだけ
低周波数係数に多くのビットを割り振ることができる。
したがって、より細かな量子化ステップ・サイズ（ｍｑ
ｕａｎｔ）を使用して、より詳細なピクチャ・ディテー
ルを捕捉することができる。パターンの制約は、すべて
のマクロブロックに適用するか、非イントラ・マクロブ
ロックのみに適用することができる。広い範囲の部分制
約パターンが使用可能である。
【００１３】さらに、ＭＰＥＧ標準によって可変長符号
化ユニットからの出力として定義された符号化ブロック
・パターンを固定する（あらかじめ決定する）ことによ
って、パフォーマンスを改善することができる。符号化
ブロック・パターンをあらかじめ決定することによっ
て、マクロブロック全体の量に相当する可変長符号化デ
ータを圧縮ストア・インタフェースでバッファする必要
はない。これは特にビット・レートが高いときに都合が
よい。なぜなら、符号化されないブロックの存在確率は
小さいからである。
【００１４】低ビット・レートのマクロブロックの場
合、パターン制約によって、マクロブロックの全体的サ
イズが減少し、圧縮ストア・インタフェースがバッファ
した後に読み出す必要があるデータの量も減少する。そ
れは、圧縮ストア・インタフェースが非イントラ・マク
ロブロックをバッファする必要性を除くものではない
が、パフォーマンスを改善する。
【００１５】
【発明の実施の形態】本発明は、ＭＰＥＧおよびＨＤＴ
Ｖに準拠したスケーラブルなエンコーダおよび符号化処
理に関する。このエンコーダによって実行される符号化
機能は、データの入力、空間圧縮、動き推定、マクロブ
ロック・タイプの生成、データの再構成、エントロピ符
号化、およびデータの出力を含む。空間圧縮は離散コサ
イン変換（ＤＣＴ）、量子化、およびエントロピ符号化
を含む。時間圧縮は逆離散コサイン変換、逆量子化、お
よび動き補償のような集中的再構成処理を含む。動き推
定および動き補償は時間圧縮機能である。空間圧縮およ
び時間圧縮は、高度の計算要件を伴う反復機能である。
【００１６】さらに具体的には、本発明は離散コサイン
変換、量子化、エントロピ符号化、動き推定、動き補
償、および予測を含む空間的および時間的圧縮を実行す
るプロセッサに関し、さらに具体的には、空間的および
時間的圧縮を達成するシステムに関する。
【００１７】このスケーラブルなプロセッサ・システム
は、離散コサイン変換プロセッサ、量子化ユニット、可
変長符号化ユニット、ＦＩＦＯバッファ、および圧縮ス
トア・インタフェースを備えたＩフレーム専用ビデオ・
エンコーダ・モジュールを有する。さらに、このシステ
ムは参照メモリ・インタフェース、動き推定および補償
能力、逆量子化、および逆離散コサイン変換、および動
き補償手段を備えた第二のプロセッサ素子すなわちＲプ
ロセッサ（再構成プロセッサ）を含み、さらに動き推定
手段を備えた少なくとも１つの第三のプロセッサ素子を
含んでいる。このシステムは単一の集積回路チップであ
っても複数の集積回路チップであってもよい。後者の場
合、各プロセッサ、すなわちＩフレーム・ビデオ・エン
コーダ・モジュール、第二のプロセッサ素子、および第
三のプロセッサ素子に１つの集積回路チップが存在す
る。第三のプロセッサ・ユニットは、１つまたは複数が
存在してよい。
【００１８】最初の圧縮ステップは空間冗長度の除去
（たとえば「Ｉ」フレーム・ピクチャの静止画における
空間冗長度の除去）である。空間冗長度とは、１つのピ
クチャ内の冗長度である。後述するように、動き補償の
処理はブロックをベースに行われるから、ブロック・ベ
ースの方法を使用して空間冗長度を減少させることが、
ＭＰＥＧ２の標準草案に合致した。選択される方法は離
散コサイン変換であり、ピクチャの離散コサイン変換符
号化である。離散コサイン変換符号化は、さらに圧縮レ
ベルを高めるために、重みづけられたスカラー量子化お
よびランレングス符号化と組み合わせられる。
【００１９】離散コサイン変換は直交変換である。直交
変換は周波数領域の分析を含むためフィルタ・バンク指
向である。さらに、離散コサイン変換は局所化される。
すなわち、符号化処理は、６４個の変換係数（すなわち
サブバンド）を計算するのに十分な８ｘ８の空間ウィン
ドウ上でサンプルする。
【００２０】離散コサイン変換の他の利点は、高速の符
号化および復号アルゴリズムを使用できることである。
さらに、離散コサイン変換のサブバンド分解は、心理視
覚基準の有効な使用を可能にする。
【００２１】変換の後、周波数係数の多くはゼロであ
る。特に、高い空間周波数の係数はそうである。これら
の係数はジグザグ・パターンへ構成され、ラン・振幅
（ラン・レベル）の対へ変換される。各々の対はゼロ係
数の数と非ゼロ係数の振幅を示す。これは可変長符号へ
符号化される。
【００２２】動き補償は、ピクチャ間の冗長度を減少さ
せるか、さらには除去するために使用される。動き補償
は、現ピクチャをブロック（たとえばマクロブロック）
へ分割し、前に伝送されたピクチャの中で同様な内容を
もつ近隣のブロックを探索することによって時間冗長度
を利用する。現ブロックの画素と、参照ピクチャから抽
出された予測ブロックの画素との差分だけが実際に圧縮
され伝送される。
【００２３】動き補償および予測の最も単純な方法は、
「Ｉ」ピクチャ中の各画素の輝度と色差（すなわち、強
度とカラー）を記録し、後続するピクチャ中のすべての
特定の画素について輝度と色差（すなわち、強度とカラ
ー）の変化を記録することである。しかし、これは伝送
媒体の帯域幅、メモリ、プロセッサ能力、および処理時
間の点で非経済的である。なぜなら、オブジェクトはピ
クチャ間で移動する（すなわち、画素内容は、１つのピ
クチャ中の１つの位置から、後続するピクチャ中の異な
った位置へ移動する）からである。さらに進んだアイデ
アは、先行または後続のピクチャを使用して、後続また
は先行するピクチャの中で画素のブロックが存在する場
所を予測し（たとえば動きベクトルを使用して）、その
結果を「予測ピクチャ」または「Ｐ」ピクチャとして書
くことである。具体的には、これは、ｉ番目のピクチャ
の画素またはそのマクロブロックが、（ｉ−１）番目ま
たは（ｉ＋１）番目のピクチャ中のどこにあるかを最良
に予測することを含む。画素のブロックが中間ピクチャ
（すなわち「Ｂ」ピクチャ）中のどこにあるかを予測す
るために後続ピクチャおよび先行ピクチャの双方を使用
することは、さらに一歩進んだ方法である。
【００２４】注意すべきは、ピクチャの符号化順序とピ
クチャの伝送順序は、必ずしもピクチャの表示順序と一
致しないことである（図２を参照）。Ｉ−Ｐ−Ｂシステ
ムでは、入力ピクチャの伝送順序は符号化順序と異なっ
ており、入力ピクチャは符号化に使用されるまで一時的
に記憶される必要がある。バッファは、この入力が使用
されるまで、それを記憶している。
【００２５】例として、ＭＰＥＧ準拠の符号化を示す概
略的フローチャートが図１に示される。このフローチャ
ートで、動きベクトルを生成するために、ｉ番目のピク
チャと（ｉ＋１）番目のピクチャの画像が処理される。
動きベクトルは、画素のマクロブロックが先行または後
続ピクチャのどこに存在するかを予測する。全体の画像
の代わりに動きベクトルを使用することが、ＭＰＥＧお
よびＨＤＴＶ標準における時間圧縮の重要な点である。
図１に示されるように、動きベクトルが一度生成される
と、それは、ｉ番目のピクチャから（ｉ＋１）番目のピ
クチャへ画素のマクロブロックを変換するために使用さ
れる。
【００２６】図１に示されるように、符号化処理では、
ｉ番目のピクチャおよび（ｉ＋１）番目のピクチャの画
像がエンコーダ１１の中で処理されて、たとえば（ｉ＋
１）番目および後続するピクチャが符号化され伝送され
る形式の動きベクトルが生成される。後続するピクチャ
のピクチャ入力１１１（入力画像）は、エンコーダの動
き推定ユニット４３へ送られる。動きベクトル１１３は
動き推定ユニット４３の出力として形成される。これら
のベクトルは、先行または将来のピクチャからマクロブ
ロック・データ（「参照」データと呼ばれる）を引き出
し、また出力するために、動き補償ユニット４１によっ
て使用される。動き補償ユニット４１の１つの出力は、
動き推定ユニット４３からの出力とマイナス加算され、
離散コサイン変換ユニット２１の入力へ送られる。離散
コサイン変換ユニット２１の出力は量子化ユニット２３
の中で量子化される。量子化ユニット２３の出力は２つ
の出力（ピクチャ出力１２１、フィードバック・ピクチ
ャ出力１３１）へ分割される。ピクチャ出力１２１は、
伝送の前にさらに圧縮と処理を行うために、ランレング
ス符号化器のような下流の可変長符号化ユニット２５へ
送られる。フィードバック・ピクチャ出力１３１は画素
の符号化マクロブロックの再構成を経てフレーム・メモ
リ４２に記憶される。例として図示されているエンコー
ダでは、フィードバック・ピクチャ出力１３１は、差分
マクロブロックの非可逆バージョンを戻すために、逆量
子化ユニット２９および逆離散コサイン変換ユニット３
１を通る。このデータは、動き補償ユニット４１の出力
と加算され、元のピクチャの非可逆バージョンをフレー
ム・メモリ４２へ戻す。
【００２７】図２に示されるように、三種のピクチャが
存在する。「イントラ・ピクチャ」すなわち「Ｉ」ピク
チャは、全体が符号化されて伝送され、動きベクトルを
定義される必要はない。これらの「Ｉ」ピクチャは動き
ベクトルの源として使用される。「予測ピクチャ」すな
わち「Ｐ」ピクチャは、先行するピクチャからの動きベ
クトルによって形成され、他のピクチャの動きベクトル
の源として使用することができる。最後に、「双方向性
ピクチャ」すなわち「Ｂ」ピクチャは、他の２つのピク
チャ（１つは過去のピクチャ、１つは将来のピクチャ）
からの動きベクトルによって形成され、動きベクトルの
源として使用することはできない。動きベクトルは
「Ｉ」ピクチャおよび「Ｐ」ピクチャから生成され、
「Ｐ」ピクチャおよび「Ｂ」ピクチャを形成するために
使用される。「Ｐ」ピクチャおよび「Ｂ」ピクチャは
「非イントラ」ピクチャまたは「インター」ピクチャと
も呼ばれる。
【００２８】図３に示されるように、動き推定が実行さ
れる１つの方法は、ｉ番目のピクチャのマクロブロック
２１１から、次のピクチャの領域を全面的に探索して、
最良一致のマクロブロック２１３を見つけることであ
る。この方法でマクロブロックを変換すると、図４に示
されるように、（ｉ＋１）番目のピクチャのためにマク
ロブロックのパターンを作り出す。このようにして、ｉ
番目のピクチャは、たとえば動きベクトルおよび差分デ
ータによって少しだけ変更され、（ｉ＋１）番目のピク
チャが生成される。符号化されるものは動きベクトルお
よび差分データであって、（ｉ＋１）番目のピクチャそ
れ自体ではない。動きベクトルは画像の位置をピクチャ
間でと変換し、差分データは色差、輝度、および彩度の
変化（すなわち濃淡と明暗の変化）を伝える。
【００２９】再び図３を参照する。ここで、ｉ番目のピ
クチャと（ｉ＋１）番目のピクチャの同じ位置から開始
して、良好な一致を探すことになる。ｉ番目のピクチャ
に探索ウィンドウが作り出される。この探索ウィンドウ
内で最良一致を探索する。それが一度見つかると、その
マクロブロックの最良一致動きベクトルが符号化され
る。最良一致のマクロブロックの符号化は動きベクトル
を含む。この動きベクトルは、ｙ方向およびｘ方向のそ
れぞれで、何個の画素が次のピクチャ中で変位して最良
一致を与えるかを示す。さらに、現在のマクロブロック
と最良一致参照マクロブロックとの間の色差および輝度
の差を表す差分データ（「予測誤差」とも呼ばれる）が
符号化される。
【００３０】ＭＰＥＧ２エンコーダの動作機能は３つの
基本的デバイスで実行される。それらの基本的デバイス
とは、Ｉデバイス（イントラ・デバイス）、Ｒデバイス
（再構成デバイスまたは参照デバイス）、およびＳデバ
イス（探索デバイス）である。これらの機能はアプリケ
ーションの必要性、シリコンのサイズ、ツールおよびデ
ザインの複雑性、およびパフォーマンスに従って区分さ
れる。
【００３１】図６に示されるように、画素インタフェー
ス６４１、ホスト・インタフェース６１１、および圧縮
ストア・インタフェース６７９（出力データ・インタフ
ェース）を含むすべての外部通信は、単一のＩデバイス
（チップ）６０１の中で行われる。Ｉデバイス６０１
は、エンコーダのマスタ・インタフェースであり、図５
に示されるような本発明のチップ・セットを使用するビ
デオ圧縮アプリケーションでは基本的な必須構成要素で
ある。内部ＲＩＳＣプロセッサ６２１（プログラム可能
プロセッサ）は、エントロピ符号化機能（すなわち、離
散コサイン変換プロセッサ６７１、量子化ユニット６７
３、および可変長符号化器（ＶＬＥ）６７５）と共にこ
のチップに組み込まれている。その結果、このデバイス
はＩピクチャだけの符号化を必要とするアプリケーショ
ンでも使用することができる。さらに、再構成インタフ
ェースが付加されて、機能拡張を可能としている。符号
化の前に適用される処理機能もこのデバイスに含まれて
いる。
【００３２】マクロブロックの再構成処理は、すべての
非Ｉピクチャの符号化（すなわちＰピクチャおよびＢピ
クチャの符号化）に必要である。逆離散コサイン変換
（ＩＤＣＴ）、逆量子化（ＩＱ）、および動き補償（Ｍ
Ｃ）のような機能は単一のチップであるＲチップ（Ｒプ
ロセッサ）８０１に組み込まれている（図５を参照）。
Ｒチップ（Ｒプロセッサ）は再構成チップとも呼ばれ
る。さらに、動きの少ないアプリケーションを処理する
ために、プログラム可能なプロセッサを備えた簡単な動
き推定機能が付加されている。動きの速いアプリケーシ
ョンのために、結果探索インタフェースが設けられてい
る。その結果、ＩチップおよびＲチップを組み合わせて
遠距離学習、ビデオ会議、査察などの動きの少ないアプ
リケーションに使用することができる。
【００３３】動き推定は反復的機能であり、厳しい計算
要件を有する。ハードウェア・デバイスであるＳチップ
（Ｓプロセッサ）９０１が外部プログラム可能レジスタ
と共にこの機能に使用される。探索範囲を大きくするた
めには、拡張インタフェースが設けられる。放送のよう
なアプリケーションには、３チップ構成を使用すること
ができる。高速の科学写真アプリケーションのように動
きが速い場合、Ｓチップ（Ｓプロセッサ）９０１を追加
すれば、ピクチャ品質が向上すると共に、探索範囲が大
きくなる。これは、アーキテクチャのスケーラブルな特
徴である。
【００３４】これから、チップの区分化について説明す
る。３つのエンコーダ・チップの接続は図５に示され
る。図５はプロセッサ素子を含む３つのエンコーダ・チ
ップの組み合わせを示す。これらのチップはＩ（イント
ラ）チップ（Ｉプロセッサ）６０１、Ｒ（参照）チップ
（Ｒプロセッサ）８０１、Ｓ（探索）チップ（Ｓプロセ
ッサ）９０１であり、これらのチップにＲＡＭチップ５
３１、５３３、および５３５（ＤＲＡＭチップおよびＳ
ＲＡＭチップを含む）が関連づけられている。Ｉチップ
（Ｉプロセッサ）はホスト・プロセッサ・インタフェー
スであり、ディジタル化されフィルタされたビデオ入力
５４１を受け取り、圧縮されたビデオ出力５４３を生成
する。
【００３５】図６に示されるＩチップ６０１は、エンコ
ーダ・システムのビデオ入力５４１（入力データ）およ
びビデオ出力５４３（出力ビットストリーム）を処理す
る（図５を参照）。到着する画素データはフレーム・ス
トアと呼ばれる外部ＤＲＡＭ５３１へフレーム形式で記
憶される。このチップはＩフレーム符号化に必要な中心
機能を実行する。画素データは、必要であれば、ＲＧＢ
形式からＹＣｂＣｒ形式へ変換される。画素データはシ
ーン・チェンジおよび３：２プルダウンによって作り出
される反復フィールドの有無を監視される。さらに、到
着する画素データはＨＨＲ出力形式を作り出すために調
節される。エンコーダは、入力方法がどのようなもので
あっても、フィールドまたはフレーム入力形式を受け取
り、フィールドまたはフレーム符号化データを出力する
ことができる。４：２：２の入力データは４：２：２ま
たは４：２：０の出力として符号化することができる。
オンチップの内部ＲＩＳＣプロセッサ６２１は適応ＤＣ
Ｔ、適応量子化、およびレート制御に責任を有する。こ
のプロセッサは動的に区分化可能な構造を有し、１つの
４バイト・エンジンまたは４つの１バイト・エンジンと
して動作することができる。それは１９９５年３月２７
日に出願された米国特許出願第０８／４１１，２３９号
に説明されている。
【００３６】符号化されたマクロブロックは、米国特許
第５，５２６，０５４号に説明されるようにしてヘッダ
情報とマージされる。それによって、最終的なＭＰＥＧ
−２またはＭＰＥＧ−１出力ビットストリームが作成さ
れる。エンコーダは、このビットストリームを、たとえ
ば圧縮ストア・インタフェース６７９を通して、外部Ｄ
ＲＡＭへ記憶するかＦＩＦＯへ送ることができる。ピク
チャがＤＲＡＭへ記憶されると、ユーザは、そのピクチ
ャを、ホスト・インタフェースを通して非リアルタイム
で読み出すことができる。
【００３７】Ｒチップ（Ｒプロセッサ）８０１はリファ
インメント・チップまたは再構成チップとも呼ばれ、動
き推定探索のリファインメントおよび動き補償のための
ピクチャの再構成に責任をもつ。動き推定機能をサポー
トするために、外部ＤＲＡＭ５３３が使用される。Ｒチ
ップ（Ｒプロセッサ）の機能ユニットは、ピクチャの再
構成および動き推定に必要なすべての基本的機能を実行
する。このような機能には、フレーム差分の計算と処理
が含まれる。
【００３８】このプロセッサの主な機能はマクロブロッ
ク・タイプの決定、ピクチャごとの探索範囲の調節、動
き推定の援助である。量子化データおよびＳチップの探
索結果は、共通のチップ・インタフェースを通して受け
取られる。次に、量子化されたデータはマトリクス・テ
ーブルを４つまで使用して逆量子化される。ＩＤＣＴは
２次元逆変換を通して係数を画素データへ変換する。こ
の再構成されたピクチャ・データは、後続のピクチャ符
号化のためにメモリ・インタフェースによって参照デー
タとして保存される。動き推定はＩ、Ｐ、およびＢピク
チャと共に半画素解像度へのフィールド、フレーム二重
プライム、双方向動きタイプをサポートすることができ
る。
【００３９】２チップ構成（ＩチップおよびＲチップ）
は＋／−８Ｈおよび＋／−７Ｖ探索範囲までをサポート
することができ、３チップ構成（Ｉチップ、Ｒチップ、
Ｓチップ）は＋／−６４Ｈおよび＋／−５６Ｖまでをサ
ポートすることができる。動き推定の結果が必要である
とき、探索ウィンドウのサイズおよび最良一致の結果が
決定され、フレーム差分データが生成される。
【００４０】Ｓチップ（Ｓプロセッサ）９０１は動き推
定の大部分に責任をもつ。動き推定の目的は、現ピクチ
ャからのマクロブロック（現ピクチャ・マクロブロッ
ク、すなわち「ＣＭＢ」）の位置を、参照ピクチャの中
で見つけることである。この位置は最良一致を見つける
ことによって決定される。最良一致は、ＣＭＢデータを
参照ピクチャのデータと比較することによって決定され
る。
【００４１】参照ピクチャ全体をリアルタイムで探索す
ることはできない。したがって、参照ピクチャのサブセ
ットが探索される。このサブセットは探索ウィンドウと
呼ばれる（図３を参照）。探索ウィンドウが大きくなれ
ば、それだけＣＭＢの完全一致を見つけるチャンスが高
くなる。探索ウィンドウは、追加の探索チップを使用す
ることによって非常に大きくすることができる。効果的
な動き推定は高品質のビデオと高圧縮のビットストリー
ムを生成する。探索プロセッサは、リファインメント／
再構成プロセッサから探索ウィンドウ・パラメータを受
け取り、ピクチャ構造に基づいてイントラ・チップから
フレーム形式またはフィールド形式で輝度ピクチャ・デ
ータを受け取る。
【００４２】参照ピクチャはフレーム形式でチップ外の
ＳＲＡＭに記憶される。動き推定ユニットはＣＭＢおよ
び参照ピクチャ上でフィールド探索を実行する。フレー
ム構造のピクチャに対するフレーム結果と共に、４つの
フィールド結果が計算される。これらの結果は差分デー
タの形式をしており、先行するピクチャの動き特性に基
づいてバイアスされている。バイアスされた差分データ
は、動きベクトルと共にＲチップ（Ｒプロセッサ）８０
１へ送られ、たとえばフレーム差分の計算に使用され
る。
【００４３】次に、処理の流れを説明する。Ｉチップ
（Ｉプロセッサ）６０１は前処理機能とエントロピ符号
化機能を含む。前処理機能は符号化機能の前に実行され
る。エントロピ符号化はピクチャ処理の最後の部分であ
る。そのブロック図は図６に示される。
【００４４】本発明はＩチップ（Ｉプロセッサ）６０１
のエントロピ符号化機能に関連している。Ｉチップ、Ｒ
チップ、およびＳチップは、１９９７年４月１日に出願
された米国特許出願第０８／８３１１５７号で詳細に説
明されている。
【００４５】本発明の１つの局面に従うビット調整は、
量子化ユニット６７３で実行することができる。量子化
ユニット６７３の詳細な実施例は図７に示される。本発
明のこの局面では、ビット・レートを調整するメカニズ
ムとして、マクロブロック・パターンが制約される。マ
クロブロックを構成するブロック中の係数を、所定の制
約パターンに基づいて選択的に制約することにより、ビ
ット・レートとピクチャ品質の最適バランスが達成され
る。制約パターンはマクロブロック中の高周波数係数を
ゼロにするように選択するのが望ましく、それによって
多くのビットを低周波数係数に割り振ることができる。
その結果より多くのピクチャ・ディテールを捕捉するた
めにより細かな量子化ステップ・サイズ（ｍｑｕａｎ
ｔ）を使用することができる。
【００４６】エンコーダへのホスト書き込みを使用する
ことによって、ユーザは所望の制約パターンをプログラ
ムすることができる。たとえば、ユーザは、マクロブロ
ック中の係数の三分の一、半分、または三分の二を制約
するために制約パターンを設定することができる。この
ような制約は、後に図９から図１２までを参照して説明
するように、斜行パターンで行われることが望ましい。
選択されたパターンは、すべてのマクロブロックに適用
するか、非イントラ・マクロブロックだけに適用するこ
とができる。
【００４７】量子化ユニット６７３は離散コサイン変換
プロセッサ６７１（図６を参照）からの離散コサイン変
換（ＤＣＴ）係数を量子化し、その係数を可変長符号化
（ＶＬＥ）ユニット６７５（図６を参照）へ送る責任を
有する。量子化は、ＭＰＥＧ標準では、２ステップの処
理でＤＣＴ係数をスケーリングする。最初に、ＤＣＴ係
数はＤＣＴ係数個別量子化ロジック７００へ入力され
る。ＤＣＴ係数個別量子化ロジック７００は、マクロブ
ロックの問題のブロック内の係数の相対的位置に基づい
てその係数を量子化する。この量子化は、量子化ユニッ
ト６７３中の量子化マトリクス・テーブル７０２内に記
憶された重みの値を参照してなされる。量子化ユニット
は一時にマクロブロックの１つのブロックを処理する。
４：２：０マクロブロック内には６つのブロックが存在
し、４：２：２マクロブロックには８つのブロックが存
在する。したがって、この最初のステップは、１６ｘ１
６マクロブロックの８ｘ８ブロック内の係数の相対的位
置に基づいてその係数を量子化することである。
【００４８】第二の量子化ステップは、マクロブロック
中のすべての係数をスケーリングすることである。この
スケールＤＣＴ係数の量子化７０４は全体的な量子化で
あり、この量子化は、たとえばビット・レートを考慮し
てプロセッサによって設定される。このスケーリング
は、選択された量子化ステップ・サイズ（ｍｑｕａｎ
ｔ）７０６を参照してなされる。ステップ・サイズは、
ビット・レートが目標のビット・レートよりも上か下か
に基づいて調節することができる。
【００４９】本発明に従って、量子化ユニット６７３
は、１つまたは複数の制約パターン７１２にアクセスす
るパターン制約ロジック７１０を含むように変更され
る。制約するかどうかの決定は、マクロブロックのビッ
ト・レートに基づいて行うか、１つの行内の２つの先行
するマクロブロックがビット・レートの制限を超過した
かどうかに基づいて行うことができ、その制約は行内の
すべての後続するマクロブロックについて開始される。
一度、パターン制約がマクロブロックについて設定され
ると、複数の制約パターンの中のどの制約パターンが適
用されるかを、ユーザ・インタフェースによって命令す
ることができる。後で、図９から図１２までを参照し
て、望ましい各種のパターンを説明する。
【００５０】図８は、本発明に従った、量子化ユニット
６７３におけるパターン制約の１つの処理の流れを示
す。この流れは、ピクチャの各マクロブロック（ＭＢ）
の処理に反復される（ステップ７５０）。最初の質問
は、目標のビット・レートが所定のｘメガビット／秒
（Ｍｂｐｓ）（たとえば１５Ｍｂｐｓ）よりも大きいか
どうかを決定する（ステップ７５２）。ビット・レート
が所定のＭｂｐｓよりも大きいと仮定すると、前述した
ように、マクロブロックの各ブロックの係数が従来の量
子化処理に従って量子化される（ステップ７５６）。
【００５１】ビット・レートが所定のＭｂｐｓよりも小
さければ、処理は、ビット・レートの制限がピクチャの
対応するスライス内のｎ個のマクロブロック（ｎはあら
かじめ選択された数で、たとえばｎ＝２）によってすで
に超過されているかどうかを質問する（ステップ７５
４）。この例では、ＭＰＥＧ標準に従って２つのマクロ
ブロックが選択されているから、そのスライスにおける
それらのマクロブロックの後では、マクロブロックにつ
いてビット・レート制限を超過しないように制約がなさ
れる。ビット・レートの制限がスライス内の２つの先行
するマクロブロックによって超過されていれば、制約モ
ードが能動化され、部分制約パターンが選択される（ス
テップ７５８）。
【００５２】ビット・レートの制限がスライス内の２つ
の先行するマクロブロックによって超過されていない
が、マクロブロックが非イントラ・マクロブロックであ
り（ステップ７５５）、パフォーマンスが考慮される場
合（ステップ７５７）、制約モードが能動化され、部分
制約パターンが選択される（ステップ７５８）。制約モ
ードでは、マクロブロックの各ブロック内の係数が、量
子化ユニットの第一および第二ステップによって従来の
ように量子化され（ステップ７６０）、選択された制約
パターンがマクロブロックの各ブロックへ適用される
（ステップ７６２）。部分的に制約された結果のブロッ
クは可変長符号化ユニット（ＶＬＥ）６７５へ出力され
る（図６を参照）。マクロブロック内のすべてのブロッ
クが出力されると、量子化はそのマクロブロックについ
て完了する（ステップ７６４）
【００５３】各種の制約パターンが可能である。１つの
実施例では、本発明に従う制約はマクロブロックの個々
のブロック内の高周波数係数をゼロにし、低周波数係数
を維持する。通常、低周波数係数は係数の各ブロックの
左上部分に存在するから、望ましい１つの制約パターン
は図９に示されるような斜行パターンとなる。このパタ
ーンでは、８ｘ８の係数配列の左上部分にある「ＡＣ」
および「ＤＣ」係数は保持され、右下部分にある係数は
クリップすなわちゼロにされる。
【００５４】さらなる改良として、制約パターンは、た
とえば実際のビット・レートに基づいてすなわち選択す
ることができる。図１０で、係数ブロックに対する図９
の標準的制約パターンは、係数配列のほぼ中央を通る斜
線を付けられている。この斜線は維持される係数とクリ
ップされる係数とを分けている。図１１には、制約が少
なくてよい高ビット・レートに対する制約パターンが示
され、図１２には、大きな制約が望まれる低ビット・レ
ートに対する制約パターンが示される。したがって、制
約される係数と制約されない係数とを分ける斜線を動か
すことによって、制約パターンを実現することができ
る。
【００５５】特別の例として、範囲が１５〜３０Ｍｂｐ
ｓの平均的ビット・レートには、図１０の標準の制約パ
ターンを使用し、図１１の高ビット・レートの制約パタ
ーンは３０〜５０Ｍｂｐｓに使用し、図１２低ビット・
レートの制約パターンは１５Ｍｂｐｓ未満に使用するこ
とができる。当業者は、本発明の教示に従って他の制約
パターンを容易に実施することができる。本発明は、実
施される特定の制約パターンがどのようなものであれ、
マクロブロックの各ブロック中の係数の一部分を選択的
に制約する概念を包含する。
【００５６】以下に、図１３から図１５までを参照し
て、本発明に従う他のビット調整の概念を説明する。こ
の概念は、ＭＰＥＧ標準によって、各非イントラ・マク
ロブロックのためにエンコーダからビットストリームの
一部として出力される符号化ブロック・パターン（ＣＢ
Ｐ）に関連する。符号化ブロック・パターンは２進数
（４：２：０形式では６ビット、４：２：２形式では８
ビット）であり、所与のマクロブロック中のどのブロッ
クが符号化されているか（すなわち、どのブロックが少
なくとも１つの非ゼロ係数を含んでいるか）を定義す
る。たとえば、４：２：０形式の符号化ブロック・パタ
ーンのパターン番号（符号化ブロック・パターンを１０
進数で表現したもの）は３２＊Ｐ１＋１６＊Ｐ２＋８＊
Ｐ３＋４＊Ｐ４＋２＊Ｐ５＋１＊Ｐ６で表される。ここ
で、Ｐｎは０または１の値をとり、マクロブロックを構
成するｎ番目のブロックが符号化されているブロックで
あればＰｎは１であり、そうでなければ、０である。イ
ントラ・マクロブロックについては、すべてのブロック
が符号化される必要があり、したがって符号化ブロック
・パターンは不要である。符号化ブロック・パターンは
非イントラ・マクロブロックにのみ必要である。
【００５７】本発明に従ったビット調整のこの局面は、
現マクロブロックの係数が符号化される前に符号化ブロ
ック・パターンを決定することができれば、圧縮ストア
・インタフェース６７９（図６）は係数をバッファする
必要はないという認識に基づいている。したがって、本
発明は符号化ブロック・パターンを「固定」して、現マ
クロブロックの係数が符号化される前に、符号化ブロッ
ク・パターンとして、非イントラ・マクロブロック内の
すべてのブロックが符号化されていることを示す固定符
号化ブロック・パターン（ＦＣＢＰ）を生成する。固定
符号化ブロック・パターンのパターン番号は、上述のパ
ターン番号の式、３２＊Ｐ１＋１６＊Ｐ２＋８＊Ｐ３＋
４＊Ｐ４＋２＊Ｐ５＋１＊Ｐ６において、Ｐ１からＰ６
までの全Ｐｎを１とすることにより求められ、値６３を
とる。一度これが行われると、エンコーダは、各ブロッ
クが符号化されている（すなわち、量子化後のブロック
の係数がオール・ゼロでない）ことを確実にするように
される。すなわち、ブロックの係数がオール・ゼロであ
る場合には、エンコーダは６４番目の係数位置に「１」
を符号化するように命令され、すでにビットストリーム
中に置かれた固定符号化ブロック・パターンが示すよう
に、非イントラ・マクロブロック内のすべてのブロック
が符号化されているようにブロック係数データが調整さ
れる。この方式では、圧縮ストア・インタフェースが、
マクロブロック・ヘッダの出力前に非イントラ・マクロ
ブロックのすべてのブロックの処理を待つ必要性がなく
なるので、パフォーマンスが向上する。
【００５８】次に図１３を参照する。可変長符号化器Ｖ
ＬＥ６７５の主な機能は、ＭＰＥＧ標準によって定義さ
れた手法を使用して、変換され量子化された画素データ
を符号化することである。この主な機能のほかに、ＶＬ
Ｅ６７５はマクロブロック・ヘッダ中で使用されるマク
ロブロック・パラメータを決定し符号化する。これらの
パラメータの１つは前述した符号化ブロック・パターン
である。マクロブロック・ヘッダ生成ユニット８００
（ハードウェアまたはソフトウェア）は、入力としてマ
クロブロック・ヘッダ・データおよび動きベクトルを受
け取る。マクロブロック・ヘッダを生成するためには、
動きベクトル（ＭＶ）符号化ユニット８０２および符号
化ブロック・パターン（ＣＢＰ）生成ユニット８０４が
使用される。マクロブロック・ヘッダは、圧縮ストア・
インタフェース６７９（図６）から出力されるビットス
トリーム内のマクロブロックに先行する必要がある。
【００５９】本発明に従えば、量子化ユニット６７３か
らの量子化された係数は、最初に固定符号化ブロック・
パターン（ＦＣＢＰ）モード・インタフェース８１０で
受け取られる。このインタフェースは、非イントラ・マ
クロブロックのブロック内の係数が非ゼロの値に変換さ
れる必要があるかどうか決定される場所である。たとえ
ば、図１５に示されるように、オール・ゼロのブロック
内の６４番目の係数は、本発明に従って１へ変換するこ
とができる。ＦＣＢＰモードであると仮定すると、現時
点で、すなわち、マクロブロックのブロックを処理する
前に、オール１（すなわちＦＣＢＰ）のヘッダを出力す
るように、信号がＣＢＰ生成ユニット８０４へ送られ
る。ＦＣＢＰモードであると決定され、ヘッダが送られ
ると、量子化された係数は可変長符号化（ＶＬＣ）ユニ
ット８１２へ送られ、可変長符号化データとして出力さ
れる。オール・ゼロのブロックを、少なくとも１つの非
ゼロ係数を含むように（たとえば６４番目の位置に）変
更することは、ＶＬＣユニット８１２（量子化された係
数の符号化ブロック）内で実施することができる。
【００６０】図１４は、本発明に従った固定符号化ブロ
ック・パターン処理の１つの実施例を表す。マクロブロ
ック（ＭＢ）の可変長符号化はステップ９００で始ま
り、次のステップ９０２では、マクロブロックが非イン
トラ・マクロブロックを含むかどうかが決定される。マ
クロブロックがイントラ・マクロブロックを含む場合、
固定符号化ブロック・パターンは不要であり、量子化さ
れた係数は符号化される（ステップ９０４）。次に、マ
クロブロックの可変長符号化は完了する（ステップ９２
４）。
【００６１】マクロブロックが非イントラ・マクロブロ
ックを含むものと仮定すると、次に処理は、任意選択的
にデータがパフォーマンスを考慮して処理されているか
どうかを決定する（ステップ９０６）。パフォーマンス
が考慮されていなければ、本発明のこの局面で得られる
パフォーマンスの向上は不要であり、ＭＰＥＧ標準によ
って定義される従来の可変長符号化に従って、量子化さ
れた係数が可変長符号化され（ステップ９０８）、従来
の符号化ブロック・パターンが決定されて、ビットスト
リームの一部として出力するために圧縮ストア・インタ
フェース６７９へ送られる（ステップ９１０）。次に、
マクロブロックの可変長符号化は完了する（ステップ９
２４）。パフォーマンスが考慮されるモードであるか、
その質問が省略される場合、処理はステップ９０６から
ステップ９１２に進み、目標のビット・レートが所定の
レート（たとえば２０Ｍｂｐｓ）よりも大きいかどうか
が決定される。所定のレートよりも大きい場合、固定符
号化ブロック・パターン（ＦＣＢＰ）モードが設定され
る（ステップ９１４）。目標のビット・レートが所定の
レートよりも小さい場合、本発明のこの局面に従ったパ
フォーマンスの向上は不要であり、処理は前述したよう
に符号化と決定のステップ（ステップ９０８および９１
０）へ進む。
【００６２】他方、ビット・レートが所定のビット・レ
ートよりも大きい場合、ＦＣＢＰモードが設定された後
に（ステップ９１４）、ＦＣＢＰヘッダ、すなわちオー
ル１の符号化ブロック・パターンが生成され、ビットス
トリームの一部として出力するために圧縮ストア・イン
タフェース６７９へ送られる（（ステップ９１６）。次
に、マクロブロックの各ブロックが検査され、そのブロ
ックがオール・ゼロを有するかどうかが決定される（ス
テップ９１８）。オール・ゼロを有しない場合、ブロッ
クの量子化された係数が可変長符号化される（ステップ
９２２）。本発明のこの局面に従って、ブロックがオー
ル・ゼロを有する場合、係数の１つ（たとえば６４番目
の係数）が非ゼロ（たとえば「１」）に設定される（ス
テップ９２０）。次に、ブロックは可変長符号化される
（ステップ９２２）。ステップ９１８、９２０、および
９２２はマクロブロックの各ブロックについて反復さ
れ、次にマクロブロックの処理が完了する（ステップ９
２４）。
【００６３】ビット・レートが高い場合、図１４の処理
は良好に働く。なぜなら、符号化されないブロックが生
じる可能性は比較的小さいからである。しかし、ビット
・レートが低い場合、符号化されないブロックが生じる
可能性は大きくなる。したがって、前述した固定符号化
ブロック・パターンの処理と、同じく前述したパターン
制約処理とを組み合わせることが望ましい。制約を行う
ことによって、ブロック当たりのデータ量は、各ブロッ
クの高周波数係数をゼロにすることによって削減され、
マクロブロックの全体的なサイズが小さくなる。このこ
とは、圧縮ストア・インタフェースが後続の読み出しの
ためにバッファしなければならないデータの量が削減さ
れることを意味する。これは、非イントラ・マクロブロ
ックをバッファする圧縮ストア・インタフェースの必要
性を軽減するものではないが、所定のビット・レート
（たとえば２０Ｍｂｐｓ）よりも遅いビット・レートに
関しては、問題を軽減しパフォーマンスを改善する。
【００６４】言い換えると、本発明は、ビデオ・エンコ
ーダの量子化および可変長符号化を改善することのでき
るマクロブロック・ビット調整方式を提案する。マクロ
ブロック中の係数を選択的にまた部分的に制約すること
によって、ビット・レートの調整が達成され、ビット・
レートとピクチャ品質のバランスが改善される。たとえ
ば、高周波数係数をゼロにするように制約パターンを設
定すると、それだけ低周波数係数に多くのビットを割り
振ることができる。それによって、より細かな量子化ス
テップ・サイズを使用して、さらに詳細度の高いピクチ
ャ・ディテールを捕捉することができる。パターンの制
約は、すべてのマクロブロックに適用するか、非イント
ラ・マクロブロックにのみ適用することができる。部分
的制約パターンは広範囲に決めることができる。
【００６５】さらに、ＭＰＥＧ標準によって、可変長符
号化器からの出力として定義される符号化ブロック・パ
ターンを固定する（あらかじめ決定する）ことによっ
て、パフォーマンスを改善することができる。符号化ブ
ロック・パターンをあらかじめ決定することによって、
マクロブロック全体に相互存量の可変長符号化データを
圧縮ストア・インタフェースでバッファする必要はな
い。これは特にビット・レートが高いときに有効に働
く。なぜなら、符号化されないブロックが生じる可能性
は小さいからである。
【００６６】ビット・レートが低いマクロブロックの場
合、パターン制約によって、マクロブロックの全体的な
サイズが小さくなり、したがって圧縮ストア・インタフ
ェースでバッファした後に読み出す必要があるデータの
量が削減される。これは、圧縮ストア・インタフェース
が低ビット・レートの非イントラ・マクロブロックをバ
ッファしなければならない必要性をなくすものではない
が、パフォーマンスは改善される。
【００６７】本発明は特定の実施例に従って詳細に説明
されたが、多くの変更が当業者によって可能であろう。
そのような変更のすべては、本発明の真の趣旨と範囲内
で、特許請求の範囲によりカバーされることが意図され
ている。
【００６８】まとめとして、本発明の構成に関して以下
の事項を開示する。 （１）複数の行を有し、各行が複数のマクロブロックを
含み、各マクロブロックが係数を含むピクチャを符号化
する方法であって、各行内の各マクロブロックについ
て、行内の先行する所定数のマクロブロックがビット・
レートの制限を超過したかどうかを決定するステップ
と、マクロブロックを符号化するステップと、前記所定
数のマクロブロックが前記ビット・レートの制限を超過
した場合、マクロブロックのビット・レートを減少させ
るためにマクロブロックの選択された係数をゼロにする
制約パターンをマクロブロックに適用するステップとを
含む、ピクチャの符号化方法。 （２）前記制約パターンをマクロブロックへ適用する前
記ステップが、マクロブロックの高周波数係数をゼロに
し、マクロブロックの低周波数係数を維持するステップ
を含む、上記（１）に記載のピクチャの符号化方法。 （３）マクロブロックに適用される制約パターンがプロ
グラム可能となるように、適用される制約パターンを複
数の制約パターンから選択するステップを含む、上記
（１）に記載のピクチャの符号化方法。 （４）前記複数の制約パターンが複数の斜行制約パター
ンを含み、各斜行制約パターンが高周波数係数をゼロに
し低周波数係数を維持する、上記（３）に記載のピクチ
ャの符号化方法。 （５）マクロブロックのために目標ビット・レートを決
定し、該目標ビット・レートに基づいて適用される制約
パターンを選択するステップを含む、上記（３）に記載
のピクチャの符号化方法。 （６）前記目標ビット・レートが所定のレートよりも小
さいときにのみ前記制約パターンを適用するステップを
含む、上記（５）に記載のピクチャの符号化方法。 （７）複数のマクロブロックを有し、各マクロブロック
が係数を含むピクチャを符号化する方法であって、各マ
クロブロックについて、マクロブロックの係数を符号化
するステップと、マクロブロックのために目標ビット・
レートを決定するステップと、前記目標ビット・レート
が所定のレートよりも小さいときにマクロブロックの選
択された係数をゼロにする制約パターンを係数に適用す
るステップとを含む、ピクチャの符号化方法。 （８）前制約パターンをマクロブロックへ適用する前記
ステップが、マクロブロックの選択された高周波数係数
をゼロにし、マクロブロックの低周波数係数を維持する
ステップを含む、上記（７）に記載のピクチャの符号化
方法。 （９）マクロブロックへ適用される制約パターンを、複
数の制約パターンから選択するステップを含む、上記
（７）に記載のピクチャの符号化方法。 （１０）各マクロブロックの係数がブロックとして配列
され、ピクチャが非イントラ・ピクチャを含むかどうか
を決定するステップが符号化方法に含まれ、ピクチャが
非イントラ・ピクチャを含むとき、各マクロブロックに
ついて、マクロブロックの各ブロックが少なくとも１つ
の非ゼロ係数を含むことを示す固定符号化ブロック・パ
ターンをマクロブロックのために生成してビットストリ
ーム中に出力するステップと、マクロブロックの各ブロ
ックが少なくとも１つの非ゼロ係数を含むことを保証す
るステップとを含む、上記（７）に記載のピクチャの符
号化方法。 （１１）前記保証にするステップが、オール・ゼロを有
するブロックを識別し、該ブロックの１つの係数を非ゼ
ロの値へ設定するステップを含む、上記（１０）に記載
のピクチャの符号化方法。 （１２）前記符号化するステップが、前記目標ビット・
レートが前記所定のレートよりも小さいときマクロブロ
ックの係数を可変長符号化し、その後で、前記固定符号
化ブロック・パターンを生成する前記ステップと前記保
証にするステップを実行することなくマクロブロックの
ために従来の符号化ブロック・パターンを決定するステ
ップを含む、上記（１０）に記載のピクチャの符号化方
法。 （１３）前記目標ビット・レートが前記所定のレートよ
りも大きいとき、前記固定符号化ブロック・パターンを
生成するステップおよび前記保証にするステップを実行
し、その後でマクロブロックの係数を可変長符号化する
ステッを含む、上記（１０）に記載のピクチャの符号化
方法。 （１４）複数のマクロブロックを有し、各マクロブロッ
クが複数のブロックに配列された係数を含む非イントラ
・ピクチャのマクロブロックを符号化する方法であっ
て、マクロブロックの各ブロックが少なくとも１つの非
ゼロ係数を含むことを示す固定符号化ブロック・パター
ンをマクロブロックのために生成してビットストリーム
中に出力するステップと、マクロブロックの各ブロック
が少なくとも１つの非ゼロ係数を含むことを保証にする
ステップとを含む、マクロブロックの符号化方法。 （１５）前記保証するステップが、オール・ゼロを有す
るブロックを識別し、該ブロックの１つの係数を非ゼロ
の値へ設定するステップを含む、上記（１４）に記載の
マクロブロックの符号化方法。 （１６）マクロブロック目標ビット・レートが所定のレ
ートを超過するかどうかを決定するステップを含み、前
記目標ビット・レートが前記所定のレートよりも大きい
ときだけ前記出力するステップおよび前記保証するステ
ップを実行する、上記（１４）に記載のマクロブロック
の符号化方法。 （１７）前記目標ビット・レートが前記所定のレートよ
りも小さいとき、前記マクロブロックの前記係数を可変
長符号化し、その後で、前記固定符号化ブロック・パタ
ーンを生成するステップおよび前記保証するステップを
実行することなく、マクロブロックのブロックから従来
の符号化ブロック・パターンを決定してビットストリー
ムへ出力するステップを含む、上記（１６）に記載のマ
クロブロックの符号化方法。 （１８）非イントラ・ピクチャの符号化のためにパフォ
ーマンスを考慮しないモードであるかどうかを決定する
ステップを含み、パフォーマンスを考慮しないモードで
あれば、マクロブロックの係数を可変長符号化し、マク
ロブロックのために従来の符号化ブロック・パターンを
決定し、前記固定符号化ブロック・パターンを生成する
ステップおよび前記保証するステップを実行することな
く、符号化ブロック・パターンおよび可変長符号化され
た係数をビットストリーム中に出力するステップを含
む、上記（１６）に記載のマクロブロックの符号化方
法。 （１９）複数の行を有し、各行が複数のマクロブロック
を含み、各マクロブロックが係数を含むピクチャを符号
化する装置であって、各行内の各マクロブロックについ
て行内の先行する所定数のマクロブロックがビット・レ
ートの制限を超過したかどうかを決定する手段と、前記
決定する手段に応答して、前記所定数のマクロブロック
がビット・レートの制限を超過したとき、マクロブロッ
クのビット・レートを削減するためマクロブロックの選
択された係数をゼロにする制約パターンを、マクロブロ
ックへ適用するパターン制約ロジックとを備えた、ピク
チャの符号化装置。 （２０）前記パターン制約ロジックに結合された記憶手
段を含み、前記記憶手段は前記パターン制約ロジックの
ために前記制約パターンを含み、前記記憶手段内の複数
の制約パターンから制約パターンを選択する手段を含
む、上記（１９）に記載のピクチャの符号化装置。 （２１）前記制約パターンを選択する手段が、マクロブ
ロックのためにビット・レートを決定し、該ビット・レ
ートに基づいて制約パターンを選択する手段を含む、上
記（２０）に記載のピクチャの符号化装置。 （２２）各マクロブロックの係数がブロックとして配列
され、前記制約パターンが斜行制約パターンを含み、前
記パターン制約ロジックは前記斜行制約パターンを前記
マクロブロックの各ブロックへ適用する手段を含み、前
記斜行制約パターンはマクロブロックの各ブロックの高
周波数係数をゼロにし、マクロブロックの各ブロックの
低周波数係数を維持する、上記（２１）に記載のピクチ
ャの符号化装置。 （２３）複数のマクロブロックを有し、各マクロブロッ
クが係数を含むピクチャのマクロブロックを符号化する
装置であって、マクロブロックの係数を量子化する手段
と、前記マクロブロックの目標ビット・レートを決定す
る手段と、目標ビット・レートが所定のレートよりも小
さいとき、マクロブロックのビット・レートを削減する
ためにマクロブロックの選択された係数をゼロにする制
約パターンをマクロブロックへ適用するパターン制約ロ
ジックとを備えた、マクロブロックの符号化装置。 （２４）前記パターン制約ロジックが、マクロブロック
の選択された高周波数係数をゼロにするために前記制約
パターンを適用し、マクロブロックの低周波数係数を維
持する、上記（２３）に記載のマクロブロックの符号化
装置。 （２５）マクロブロックのビット・レートに基づいてマ
クロブロックへ適用される制約パターンを選択する手段
を含む、上記（２３）に記載のマクロブロックの符号化
装置。 （２６）前記選択する手段が、複数の所定の制約パター
ンを記憶する手段と、前記複数の所定の制約パターンか
ら制約パターンを選択する手段とを含む、上記（２５）
に記載のマクロブロックの符号化装置。 （２７）各マクロブロックの係数がブロックとして配列
され、ピクチャが非イントラ・ピクチャを含む符号化装
置において、マクロブロックの各ブロックが少なくとも
１つの非ゼロ係数を含むことを示す固定符号化ブロック
・パターンをマクロブロックのために生成してビットス
トリーム中に出力する手段と、前記出力する手段に応答
して、マクロブロックの各ブロックが少なくとも１つの
非ゼロ係数を含むことを保証する手段とを備えた、上記
（２３）に記載のマクロブロックの符号化装置。 （２８）前記保証する手段が、オール・ゼロを有するブ
ロックを識別し、該ブロックの１つの係数を非ゼロの値
へ設定する手段を含む、上記（２７）に記載のマクロブ
ロックの符号化装置。 （２９）前記目標ビット・レートが前記所定のレートよ
りも小さいときにマクロブロックの係数を可変長符号化
し、その後でマクロブロックのために従来の符号化ブロ
ック・パターンを決定する手段を含む、上記（２７）に
記載のマクロブロックの符号化装置。 （３０）複数のマクロブロックを有し、各マクロブロッ
クが複数のブロックとして配列された係数を含む非イン
トラ・ピクチャのマクロブロックを符号化する装置であ
って、マクロブロックの各ブロックが少なくとも１つの
非ゼロ係数を含むことを示す固定符号化ブロック・パタ
ーンをマクロブロックのために生成してビットストリー
ム中に出力する手段と、前記固定符号化ブロック・パタ
ーンを出力した後で、マクロブロックの各ブロックが少
なくとも１つの非ゼロ係数を含むことを保証する手段と
を備えた、マクロブロックの符号化装置。 （３１）前記保証する手段が、オール・ゼロを有するブ
ロックを識別し、該ブロックの１つの係数を非ゼロの値
へ設定する手段を含む、上記（３０）に記載のマクロブ
ロックの符号化装置。 （３２）マクロブロックの目標ビット・レートが所定の
レートを超過するかどうかを決定する手段を含み、前記
出力する手段および前記保証する手段が、前記目標ビッ
ト・レートが前記所定のレートを超過するときにのみ前
記固定符号化ブロック・パターンが生成されるように、
前記決定する手段に応答する、上記（３０）に記載のマ
クロブロックの符号化装置。 （３３）前記目標ビット・レートが前記所定のレートよ
りも小さいときマクロブロックの係数を可変長符号化
し、その後で、マクロブロックのブロックから従来の符
号化ブロック・パターンを決定する手段を含む、上記
（３２）に記載のマクロブロックの符号化装置。
【図面の簡単な説明】
【図１】離散コサイン変換ユニット２１、量子化ユニッ
ト２３、可変長符号化ユニット２５、逆量子化ユニット
２９、逆離散コサイン変換ユニット３１、動き補償ユニ
ット４１、フレーム・メモリ４２、および動き推定ユニ
ット４３を含む、ＭＰＥＧ２準拠のエンコーダ１１の概
略的流れ図である。データ通路はｉ番目のピクチャ入力
１１１、差分データ１１２、動きベクトル１１３、ピク
チャ出力１２１、動き推定および補償用のフィードバッ
ク・ピクチャ出力１３１、および再構成ピクチャ１０１
を含む。この図は、ｉ番目のピクチャがフレーム・メモ
リ４２（フレーム・ストア）に存在し、（ｉ＋１）番目
のピクチャが動き推定を使用して符号化されているもの
と想定する。
【図２】Ｉ、Ｐ、およびＢピクチャ、それらの表示順序
と伝送順序、順方向および逆方向の動き予測を示す図で
ある。
【図３】現在のフレームまたはピクチャにある動き推定
ブロックから後続または先行のフレームまたはピクチャ
にある最良一致ブロックへの探索を示す図である。マク
ロブロック２１１およびマクロブロック２１１'は、２
つのピクチャにおける同じ位置を表す。
【図４】ブロックが動きベクトルに従って前のピクチャ
の位置から新しいピクチャへ移動する様子、および前の
ピクチャのブロックが動きベクトルを使用した後に調整
される様子を示す図である。
【図５】本発明の３つのエンコーダ・チップの組み合わ
せを示す図である。これらのチップはイントラ・チップ
（イントラ・プロセッサ）６０１、再構成チップまたは
再構成プロセッサとも呼ばれる参照チップ（参照プロセ
ッサ）８０１、探索チップ（探索プロセッサ）９０１で
ある。これらのチップには、ＤＲＡＭチップおよびＳＲ
ＡＭチップを含むＲＡＭチップ５３１、５３３、および
５３５が組み合わせられている。イントラ・チップ（イ
ントラ・プロセッサ）はホスト・プロセッサ・インタフ
ェースを含み、ディジタル化されフィルタされたビデオ
入力５４１を受け取り、圧縮されたビデオ出力５４３を
生成する。
【図６】ホスト・インタフェース６１１、内部ＲＩＳＣ
プロセッサ６２１、動き推定ユニットへのインタフェー
ス６３１、画素データを画素バス６４３から受け取る画
素インタフェース６４１、フレーム・データを外部ＤＲ
ＡＭ６５３との間で受け渡しするフレーム・メモリ・イ
ンタフェース６５１、離散コサイン変換プロセッサ６７
１、量子化ユニット６７３、可変長符号化器（ＶＬＥ）
６７５、ＦＩＦＯバッファ６７７、および圧縮ストア・
インタフェース６７９を有するイントラ・チップ（イン
トラ・プロセッサ）６０１（Ｉフレーム・ビデオ・エン
コーダ・モジュール）を示す図である。
【図７】本発明に従ってパターン制約を使用する量子化
ユニット６７３の１つの実施例を示す図である。
【図８】本発明に従って実施されるパターン制約処理の
フローチャートである。
【図９】低周波数係数が維持され、高周波数係数がゼロ
にされる、本発明に従った１つの選択的制約パターンを
示す図である。
【図１０】図９と同様の、本発明に従った標準制約パタ
ーンを示す図である。
【図１１】より少ない高周波数係数がゼロにされる、高
ビット・レートのための制約パターンを示す図である。
【図１２】より多数の係数がゼロにされる、低ビット・
レートのための制約パターンを示す図である。ここで
も、最低周波数係数は維持される。
【図１３】本発明に従って固定符号化ブロックパターン
（ＦＣＢＰ）モードを使用する可変長符号化器（ＶＬ
Ｅ）６７５の１つの実施例を示す図である。
【図１４】図１３の可変長符号化器（ＶＬＥ）によって
実施される処理のフローチャートである。
【図１５】８ｘ８の係数配列の６４番目の位置に非ゼロ
の係数を含むように変更されたオール・ゼロ・ブロック
の１つの実施例を示す図である。
【符号の説明】
１１ エンコーダ ２１ 離散コサイン変換ユニット ２３ 量子化ユニット ２５ 可変長符号化ユニット ２９ 逆量子化ユニット ３１ 逆離散コサイン変換ユニット ４１ 動き補償ユニット ４２ フレーム・メモリ ４３ 動き推定ユニット １０１ 再構成ピクチャ １１１ ピクチャ入力 １１２ 差分データ １１３ 動きベクトル １２１ ピクチャ出力 １３１ フィードバック・ピクチャ出力 ７００ ＤＣＴ係数個別量子化ロジック ７０２ 量子化マトリクス・テーブル ７０４ スケールＤＣＴ係数量子化 ７０６ 量子化ステップ・サイズ（ｍｑｕａｎｔ） ７１０ パターン制約ロジック ７１２ プログラム可能制約パターン
───────────────────────────────────────────────────── フロントページの続き (72)発明者 アンガス・イー・ガイ アメリカ合衆国13760、 ニューヨーク 州エンドウェル パートリッジ・プレイ ス 725 (72)発明者 ステファン・フィリップ・ポクリンチャ ク アメリカ合衆国13827、 ニューヨーク 州オウェゴ スペンサー・ロード 39 (56)参考文献 特開 平７−75092（ＪＰ，Ａ) 特開 平８−181988（ＪＰ，Ａ) 特開 平９−23427（ＪＰ，Ａ) 特開 平５−130584（ＪＰ，Ａ) 特開 平３−289789（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68

Claims (25)

    (57)【特許請求の範囲】
  1. 【請求項１】 複数のマクロブロックを有し、各マクロ
    ブロックが複数のブロックに配列された係数を含むピク
    チャを符号化する方法であって、 各マクロブロックについて、マクロブロックの係数を符
    号化するステップと、 マクロブロックのために目標ビット・レートを決定する
    ステップと、 前記目標ビット・レートが所定のレートよりも小さいと
    きにマクロブロックの所定の係数をゼロにする制約パタ
    ーンに基づいてマクロブロックの前記係数のうち一部の
    係数をゼロにするステップと、 ピクチャが非イントラ・ピクチャを含むかどうかを決定
    するステップと、 ピクチャが非イントラ・ピクチャを含むとき、各マクロ
    ブロックについて、該マクロブロックの係数が符号化さ
    れる前に、マクロブロック内のどのブロックが符号化さ
    れているかを示す符号化ブロック・パターン（ＣＢＰ）
    として、マクロブロック内のすべてのブロックが符号化
    されていることを示す固定符号化ブロック・パターンを
    生成し、マクロブロック・ヘッダの一部としてビットス
    トリーム中に出力するステップと、 ピクチャが非イントラ・ピクチャであるとき、前記固定
    符号化ブロック・パターンが示すようにマクロブロック
    の全てのブロックが符号化されていることを保証するた
    めに、マクロブロックの各ブロックが少なくとも１つの
    非ゼロ係数を含むように該ブロックの係数を調整するス
    テップとを含む、 ピクチャの符号化方法。
  2. 【請求項２】 マクロブロックの所定の係数をゼロにす
    る前記制約パターンは、マクロブロックの各ブロックの
    高周波数係数をゼロにし、マクロブロックの低周波数係
    数を維持する制約パターンである、請求項１に記載のピ
    クチャの符号化方法。
  3. 【請求項３】 前記ゼロにするステップが、更に、高周
    波数係数をゼロにし低周波数係数を維持する制約パター
    ンであって、ゼロにする高周波数係数の範囲が異なる複
    数の制約パターンを用意するステップと、複数の前記制
    約パターンから前記目標ビット・レートが低いほどゼロ
    にする高周波数係数の範囲の広い制約パターンを選択す
    るステップとを含む、請求項１に記載のピクチャの符号
    化方法。
  4. 【請求項４】 前記調整するステップが、全係数がゼロ
    であるブロックを識別し、該ブロックの１つの係数を非
    ゼロの値へ設定するステップを含む、請求項１に記載の
    ピクチャの符号化方法。
  5. 【請求項５】 前記マクロブロックの各ブロックは８Ｘ
    ８の係数配列を含み、前記設定するステップが、該ブロ
    ックの６４番目の位置の係数を１へ設定するステップを
    含む、請求項４に記載のピクチャの符号化方法。
  6. 【請求項６】 前記目標ビット・レートが前記所定のレ
    ートよりも大きいとき、前記出力するステップおよび前
    記調整するステップを実行し、その後でマクロブロック
    の前記係数を可変長符号化するステッを含む、請求項１
    に記載のピクチャの符号化方法。
  7. 【請求項７】 複数のマクロブロックを有し、各マクロ
    ブロックが複数のブロックに配列された係数を含むピク
    チャのマクロブロックを符号化する方法であって、 ピクチャが非イントラ・ピクチャを含むかどうかを決定
    するステップと、 ピクチャが非イントラ・ピクチャを含むとき、各マクロ
    ブロックについて、該マクロブロックの係数が符号化さ
    れる前に、マクロブロック内のどのブロックが符号化さ
    れているか示す符号化ブロック・パターン（ＣＢＰ）と
    して、マクロブロック内のすべてのブロックが符号化さ
    れていることを示す固定符号化ブロック・パターンを生
    成し、マクロブロック・ヘッダの一部としてビットスト
    リーム中に出力するステップと、 ピクチャが非イントラ・ピクチャであるとき、前記固定
    符号化ブロック・パターンが示すようにマクロブロック
    の全てのブロックが符号化されていることを保証するた
    めに、マクロブロックの各ブロックが少なくとも１つの
    非ゼロ係数を含むように各ブロックの係数を調整するス
    テップとを含む、 ピクチャの符号化方法。
  8. 【請求項８】 前記調整するステップが、全係数がゼロ
    であるブロックを識別し、該ブロックの１つの係数を非
    ゼロの値へ設定するステップを含む、請求項７に記載の
    マクロブロックの符号化方法。
  9. 【請求項９】 前記マクロブロックの各ブロックは８Ｘ
    ８の係数配列を含み、前記設定するステップが、該ブロ
    ックの６４番目の位置の係数を１へ設定するステップを
    含む、請求項８に記載のマクロブロックの符号化方法。
  10. 【請求項１０】 マクロブロックのための目標ビット・
    レートが所定のレートを超過するかどうかを決定するス
    テップを含み、前記目標ビット・レートが前記所定のレ
    ートよりも大きいときだけ前記出力するステップおよび
    前記調整するステップを実行する、請求項７に記載のマ
    クロブロックの符号化方法。
  11. 【請求項１１】 前記目標ビット・レートが前記所定の
    レートよりも小さいとき、前記マクロブロックの前記係
    数を可変長符号化し、その後で、前記出力するステップ
    および前記調整するステップを実行することなく、マク
    ロブロックのブロックから従来の符号化ブロック・パタ
    ーンを決定してビットストリームへ出力するステップを
    含む、請求項１０に記載のマクロブロックの符号化方
    法。
  12. 【請求項１２】 前記目標ビット・レートが前記所定の
    レートよりも大きいとき、前記調整するステップを実行
    した後で、前記マクロブロックの前記係数を可変長符号
    化するステップを更に含む、請求項１０に記載のマクロ
    ブロックの符号化方法。
  13. 【請求項１３】 前記所定のレートが２０Ｍｂｐｓであ
    り、非イントラ・ピクチャの符号化のためにパフォーマ
    ンスを考慮しないモードであるかどうかを決定するステ
    ップを含み、パフォーマンスを考慮しないモードであれ
    ば、マクロブロックの係数を可変長符号化し、マクロブ
    ロックのために従来の符号化ブロック・パターンを決定
    し、前記出力するステップおよび前記調整するステップ
    を実行することなく、符号化ブロック・パターンおよび
    可変長符号化された係数をビットストリーム中に出力す
    るステップを含む、請求項１０に記載のマクロブロック
    の符号化方法。
  14. 【請求項１４】複数のマクロブロックを有し、各マクロ
    ブロックが複数のブロックに配列された係数を含む非イ
    ントラ・ピクチャのマクロブロックを符号化する装置で
    あって、 マクロブロックの係数を量子化する手段と、 前記マクロブロックの目標ビット・レートを決定する手
    段と、 前記量子化する手段および前記決定する手段に応答し
    て、目標ビット・レートが所定のレートよりも小さいと
    き、マクロブロックの所定の係数をゼロにする制約パタ
    ーンに基づいてマクロブロックの前記係数のうち一部の
    係数をゼロにする手段と、各マクロブロックについて、該マクロブロックの各ブロ
    ックの係数が符号化される前に 、マクロブロック内のど
    のブロックが符号化されているか示す符号化ブロック・
    パターン（ＣＢＰ）として、マクロブロック内のすべて
    のブロックが符号化されていることを示す固定符号化ブ
    ロック・パターンを生成し、マクロブロック・ヘッダの
    一部としてビットストリーム中に出力する手段と、 前記出力する手段に応答して、前記固定符号化ブロック
    ・パターンが示すようにマクロ ブロックの全てのブロッ
    クが符号化されていることを保証するために、マクロブ
    ロックの各ブロックが少なくとも１つの非ゼロ係数を含
    むように該ブロックの係数を調整する手段とを含む、 マクロブロックの符号化装置。
  15. 【請求項１５】 マクロブロックの所定の係数をゼロに
    する前記制約パターンは、マクロブロックの各ブロック
    の高周波数係数をゼロにし、マクロブロックの低周波数
    係数を維持する制約パターンである、請求項１４に記載
    のマクロブロックの符号化装置。
  16. 【請求項１６】 前記ゼロにする手段が、更に、高周波
    数係数をゼロにし低周波数係数を維持する制約パターン
    であって、ゼロにする高周波数係数の範囲が異なる複数
    の制約パターンを記憶する手段と、前記複数の制約パタ
    ーンから前記目標ビット・レートが低いほどゼロにする
    高周波数係数の範囲の広い制約パターンを選択する手段
    とを含む、請求項１４に記載のマクロブロックの符号化
    装置。
  17. 【請求項１７】 前記調整する手段が、全係数がゼロで
    あるブロックを識別し、該ブロックの１つの係数を非ゼ
    ロの値へ設定する手段とを含む、請求項１４に記載のマ
    クロブロックの符号化装置。
  18. 【請求項１８】 前記マクロブロックの各ブロックは８
    Ｘ８の係数配列を含み、前記設定する手段が、該ブロッ
    クの６４番目の位置の係数を１へ設定する手段を含む、
    請求項１７に記載のマクロブロックの符号化装置。
  19. 【請求項１９】 前記目標ビット・レートが前記所定の
    レートよりも小さいときにマクロブロックの前記係数を
    可変長符号化し、その後でマクロブロックのために従来
    の符号化ブロック・パターンを決定する手段を含む、請
    求項１４に記載のマクロブロックの符号化装置。
  20. 【請求項２０】 複数のマクロブロックを有し、各マク
    ロブロックが複数のブロックとして配列された係数を含
    む非イントラ・ピクチャのマクロブロックを符号化する
    装置であって、各マクロブロックについて、該マクロブロックの各ブロ
    ックの係数が符号化される前に 、マクロブロック内のど
    のブロックが符号化されているか示す符号化ブロック・
    パターン（ＣＢＰ）として、マクロブロック内のすべて
    のブロックが符号化されていることを示す固定符号化ブ
    ロック・パターンを生成し、マクロブロック・ヘッダの
    一部としてビットストリーム中に出力する手段と、 前記出力する手段に応答して、前記固定符号化ブロック
    ・パターンが示すようにマクロブロックの全てのブロッ
    クが符号化されていることを保証するために、マクロブ
    ロックの各ブロックが少なくとも１つの非ゼロ係数を含
    むように各ブロックの係数を調整する手段とを含む、 マクロブロックの符号化装置。
  21. 【請求項２１】 前記調整する手段が、全係数がゼロで
    あるブロックを識別し、該ブロックの１つの係数を非ゼ
    ロの値へ設定する手段とを含む、請求項２０に記載のマ
    クロブロックの符号化装置。
  22. 【請求項２２】 前記マクロブロックの各ブロックは８
    Ｘ８の係数配列を含み、前記設定する手段が、該ブロッ
    クの６４番目の位置の係数を１へ設定する手段を含む、
    請求項２１に記載のマクロブロックの符号化装置。
  23. 【請求項２３】 マクロブロックの目標ビット・レート
    が所定のレートを超過するかどうかを決定する手段を含
    み、前記出力する手段および前記調整する手段が、前記
    目標ビット・レートが前記所定のレートを超過するとき
    にのみ前記固定符号化ブロック・パターンが生成される
    ように、前記決定する手段に応答する、請求項２０に記
    載のマクロブロックの符号化装置。
  24. 【請求項２４】 前記目標ビット・レートが前記所定の
    レートよりも小さいときマクロブロックの係数を可変長
    符号化し、その後で、マクロブロックのブロックから従
    来の符号化ブロック・パターンを決定する手段を含む、
    請求項２３に記載のマクロブロックの符号化装置。
  25. 【請求項２５】 前記調整する手段に応答して、前記マ
    クロブロックの前記係数を可変長符号化する手段を更に
    含む、請求項２０に記載のマクロブロックの符号化方
    法。
JP13516798A 1997-05-20 1998-05-18 ピクチャの符号化方法および符号化装置 Expired - Fee Related JP3529624B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/859,544 US6111913A (en) 1997-05-20 1997-05-20 Macroblock bit regulation schemes for video encoder
US08/859544 1997-05-20

Publications (2)

Publication Number Publication Date
JPH118849A JPH118849A (ja) 1999-01-12
JP3529624B2 true JP3529624B2 (ja) 2004-05-24

Family

ID=25331174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13516798A Expired - Fee Related JP3529624B2 (ja) 1997-05-20 1998-05-18 ピクチャの符号化方法および符号化装置

Country Status (4)

Country Link
US (1) US6111913A (ja)
JP (1) JP3529624B2 (ja)
KR (1) KR100313284B1 (ja)
MY (1) MY119636A (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6352535B1 (en) * 1997-09-25 2002-03-05 Nanoptics, Inc. Method and a device for electro microsurgery in a physiological liquid environment
KR100298397B1 (ko) * 1998-02-03 2001-08-07 구자홍 비디오디코딩시스템
US6961378B1 (en) * 1998-11-05 2005-11-01 International Business Machines Corporation On-chip dynamic buffer level indicators for digital video encoder
US6724817B1 (en) * 2000-06-05 2004-04-20 Amphion Semiconductor Limited Adaptive image data compression
KR20020001062A (ko) * 2000-06-24 2002-01-09 박종섭 응용분야에 적응적인 엠펙 영상압축 부호화기
WO2002037856A1 (en) * 2000-11-06 2002-05-10 Dynapel Systems, Inc. Surveillance video camera enhancement system
US7366236B1 (en) 2001-06-04 2008-04-29 Cisco Sytems Canada Co. Source adaptive system and method for 2D iDCT
US7656949B1 (en) * 2001-06-27 2010-02-02 Cisco Technology, Inc. Methods and apparatus for performing efficient inverse transform operations
US6934330B2 (en) * 2001-08-01 2005-08-23 Sony Corporation Image processing apparatus
KR100450844B1 (ko) * 2002-02-21 2004-10-01 (주)씨앤에스 테크놀로지 비디오 코덱 프로세서의 아키텍쳐
KR101066051B1 (ko) * 2002-11-15 2011-09-20 퀄컴 인코포레이티드 다중 디스크립션 인코딩용 장치 및 방법
US7995849B2 (en) * 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
KR20050075578A (ko) * 2004-01-16 2005-07-21 삼성전자주식회사 폐루프 최적화를 지원하는 스케일러블 비디오 엔코딩 방법및 장치
KR20050077874A (ko) * 2004-01-28 2005-08-04 삼성전자주식회사 스케일러블 비디오 스트림 송신 방법 및 이를 이용한 장치
JP3846489B2 (ja) * 2004-05-10 2006-11-15 セイコーエプソン株式会社 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
US7664176B2 (en) * 2004-07-09 2010-02-16 Nokia Corporation Method and system for entropy decoding for scalable video bit stream
US20060008009A1 (en) * 2004-07-09 2006-01-12 Nokia Corporation Method and system for entropy coding for scalable video codec
JP4769605B2 (ja) * 2006-03-17 2011-09-07 富士通株式会社 動画像符号装置及び方法
WO2009075107A1 (ja) * 2007-12-13 2009-06-18 Panasonic Corporation 画像符号化装置、符号化レート変換装置、映像音声ストリーム記録装置、ネットワーク配信システム、係数変換装置、集積回路及び画像符号化方法
US8897365B2 (en) * 2008-11-19 2014-11-25 Nvidia Corporation Video rate control processor for a video encoding process
US8605791B2 (en) * 2008-11-21 2013-12-10 Nvidia Corporation Video processor using an optimized slicemap representation
US10117055B2 (en) 2009-07-08 2018-10-30 Dejero Labs Inc. System and method for providing data services on vehicles
US10165286B2 (en) 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
US9756468B2 (en) 2009-07-08 2017-09-05 Dejero Labs Inc. System and method for providing data services on vehicles
US8942215B2 (en) 2010-07-15 2015-01-27 Dejero Labs Inc. System and method for transmission of data from a wireless mobile device over a multipath wireless router
US8675730B2 (en) * 2009-07-13 2014-03-18 Nvidia Corporation Macroblock grouping in a destination video frame to improve video reconstruction performance
TWI405467B (zh) * 2009-11-25 2013-08-11 Novatek Microelectronics Corp 影像壓縮的位元速率控制電路與方法
WO2011090352A2 (ko) 2010-01-22 2011-07-28 삼성전자주식회사 영역 기반의 부호화/복호화 장치 및 방법
GB2495460B8 (en) * 2010-07-15 2015-06-10 Dejero Labs Inc A System and method for transmission of data signals over a wireless network
CA2897599C (en) * 2013-01-17 2018-03-13 Samsung Electronics Co., Ltd. Encoding and decoding using constraint information for arrangement of samples of a picture from a video data stream
KR102249819B1 (ko) * 2014-05-02 2021-05-10 삼성전자주식회사 시스템 온 칩과 이를 포함하는 데이터 처리 시스템
US20160360206A1 (en) * 2015-06-04 2016-12-08 Microsoft Technology Licensing, Llc Rate controller for real-time encoding and transmission
US10312927B1 (en) * 2018-03-26 2019-06-04 Qualcomm Incorporated Calibration for time-interleaved analog-to-digital converters and signal generators therefor

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2062200A1 (en) * 1991-03-15 1992-09-16 Stephen C. Purcell Decompression processor for video applications
JP2549479B2 (ja) * 1991-12-06 1996-10-30 日本電信電話株式会社 動き補償フレーム間帯域分割符号化処理方法
US5493513A (en) * 1993-11-24 1996-02-20 Intel Corporation Process, apparatus and system for encoding video signals using motion estimation
US6356663B1 (en) * 1994-09-09 2002-03-12 Intel Corporation Processing image signals using spatial decomposition
US5644504A (en) * 1995-03-27 1997-07-01 International Business Machines Corporation Dynamically partitionable digital video encoder processor
US5526054A (en) * 1995-03-27 1996-06-11 International Business Machines Corporation Apparatus for header generation
US5936673A (en) * 1995-05-26 1999-08-10 Intel Corporation Temporal tile staggering for block based video compression
US5872598A (en) * 1995-12-26 1999-02-16 C-Cube Microsystems Scene change detection using quantization scale factor rate control
US5929916A (en) * 1995-12-26 1999-07-27 Legall; Didier J. Variable bit rate encoding
US5768537A (en) * 1996-02-22 1998-06-16 International Business Machines Corporation Scalable MPEG2 compliant video encoder
US5748240A (en) * 1996-03-15 1998-05-05 International Business Machines Corporation Optimal array addressing control structure comprising an I-frame only video encoder and a frame difference unit which includes an address counter for addressing memory addresses
US5870144A (en) * 1997-03-28 1999-02-09 Adaptec, Inc. Reduced-quality resolution digital video encoder/decoder

Also Published As

Publication number Publication date
MY119636A (en) 2005-06-30
KR19980086614A (ko) 1998-12-05
US6111913A (en) 2000-08-29
JPH118849A (ja) 1999-01-12
KR100313284B1 (ko) 2001-12-12

Similar Documents

Publication Publication Date Title
JP3529624B2 (ja) ピクチャの符号化方法および符号化装置
KR100196019B1 (ko) 스케일러블 mpeg2 컴플라이언트 비디오 인코더
JP4138056B2 (ja) マルチスタンダード脱圧縮及び／又は圧縮装置
US5812788A (en) Encoding/decoding video signals using quantization tables based on explicitly encoded base and scale matrices
US5864637A (en) Method and apparatus for improved video decompression by selective reduction of spatial resolution
EP0720374A1 (en) Apparatus for parallel decoding of digital video signals
US5729691A (en) Two-stage transform for video signals
US5721822A (en) Run-length encoding/decoding video signals using scan patterns explicitly encoded into bitstreams
US5835148A (en) Apparatus for parallel decoding of digital video signals
US5748240A (en) Optimal array addressing control structure comprising an I-frame only video encoder and a frame difference unit which includes an address counter for addressing memory addresses
KR100305485B1 (ko) 화질을최적화하기위한화상처리방법및디지탈비디오부호화기시스템
US6532265B1 (en) Method and system for video compression
US7054497B2 (en) Method and system for optimizing image sharpness during coding and image enhancement
US6999511B1 (en) Dynamically switching quant matrix tables within an MPEG-2 encoder
EP1078529A1 (en) Method and apparatus for increasing memory resource utilization in an information stream decoder
US6118823A (en) Control scheme for shared-use dual-port predicted error array
US20040109610A1 (en) Image processing apparatus for compositing images
US6081552A (en) Video coding using a maximum a posteriori loop filter
US20030147468A1 (en) Image data coding apparatus capable of promptly transmitting image data to external memory
KR20040069445A (ko) 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법
JPH08163561A (ja) 画像データ圧縮装置
JP3425026B2 (ja) 画像符号化方法および画像符号化回路
JPH09107548A (ja) 画像圧縮装置および画像圧縮方法
Ngai et al. A scalable chip set for MPEG2 real-time encoding
JP2001016589A (ja) 画像情報変換装置、画像情報伝達システム及び画像情報変換方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040225

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090305

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100305

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees