JPH118849A - ピクチャの符号化方法および符号化装置 - Google Patents

ピクチャの符号化方法および符号化装置

Info

Publication number
JPH118849A
JPH118849A JP10135167A JP13516798A JPH118849A JP H118849 A JPH118849 A JP H118849A JP 10135167 A JP10135167 A JP 10135167A JP 13516798 A JP13516798 A JP 13516798A JP H118849 A JPH118849 A JP H118849A
Authority
JP
Japan
Prior art keywords
macroblock
pattern
constraint
block
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10135167A
Other languages
English (en)
Other versions
JP3529624B2 (ja
Inventor
John Ashley Murdock
ジョン・アシュレイ・マードック
E Gai Angus
アンガス・イー・ガイ
Philip Pokrinchak Stephen
ステファン・フィリップ・ポクリンチャク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH118849A publication Critical patent/JPH118849A/ja
Application granted granted Critical
Publication of JP3529624B2 publication Critical patent/JP3529624B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

(57)【要約】 （修正有） 【課題】 ＭＰＥＧ２方式において、改善されたマクロ
ブロック・ビット調整方式を提供する。 【解決手段】ＭＰＥＧ２準拠のディジタル・ビデオ・エ
ンコーダ・システムは、ピクチャの各マクロブロックの
係数を符号化する。１つの行内で、先行する２つのマク
ロブロックのビット・レートが、制限を超過するか、現
在の非イントラ・マクロブロックのビット・レートが所
定の制限よりも大きい場合は、マクロブロックの選択さ
れた係数を制約するビット調整方式が使用される。パタ
ーンの制約は量子化ユニット内で実行される。非イント
ラ・ピクチャについては、係数の符号化に先だって、ピ
クチャの各マクロブロックのために固定符号化ブロック
・パターンのヘッダを生成してビットストリーム中に出
力するように、可変長符号化処理が変更される。固定符
号化ブロック・パターンは、マクロブロックの各ブロッ
クが少なくとも１つの非ゼロ係数を含むことを示す。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、一般的には、ピク
チャ内の冗長度およびピクチャ間の冗長度を減少させる
空間的（ピクチャ内）圧縮および時間的（ピクチャ間）
圧縮を含む、ディジタル画像の符号化装置および符号化
方法に関する。ピクチャ内の冗長度は、離散コサイン変
換、量子化、および可変長符号化によって減少または除
去される。ピクチャ間の冗長度は、動きベクトルを使用
することによって減少または除去される。ピクチャ内圧
縮の１つの局面では、ピクチャの品質および詳細度（デ
ィテール）を維持しながら、最適ビット・レートを達成
するようにビットが調整される。本発明は、特にビデオ
・エンコーダの量子化および可変長符号化機能のため
の、強力なマクロブロック・ビット調整に関する。
【０００２】
【従来の技術及びその課題】過去１０年の間に、世界的
な電子通信システムの出現は、人々が情報を送受信する
方式を進歩させた。特に、近年では、リアルタイムのビ
デオ・オーディオ・システムが著しく進歩した。ビデオ
・オン・デマンドおよびビデオ会議などのサービスを加
入者へ提供するためには、膨大なネットワーク帯域幅が
必要である。事実、ネットワーク帯域幅は、そのような
システムの効率性を阻害する主な要因となる場合が多
い。
【０００３】ネットワークによって生じる制約を克服す
るために、圧縮システムが出現した。これらのシステム
は、ピクチャ・シーケンス中の冗長度を除去することに
よって、伝送しなければならないビデオおよびオーディ
オのデータ量を削減する。受信端では、ピクチャ・シー
ケンスが圧縮を解かれ、リアルタイムで表示される。
【０００４】現在検討されているビデオ圧縮標準は、Ｍ
ＰＥＧ標準である。ＭＰＥＧ標準では、ビデオの圧縮は
１つのピクチャ内および複数のピクチャ間で定義され
る。１つのピクチャのビデオ圧縮は離散コサイン変換、
量子化、可変長符号化、およびハフマン符号化によりデ
ィジタル像を時間領域から周波数領域へ変換することに
よって達成される。複数のピクチャ間のビデオ圧縮は、
動き推定と呼ばれる処理によって達成される。動き推定
では、動きベクトルおよび差分データが１つのピクチャ
から他のピクチャへの、画素（ペル）集合の変換を記述
する。
【０００５】ＩＳＯ ＭＰＥＧ２標準は、ビットストリ
ームのシンタックスおよび復号処理のセマンティックス
を指定するにすぎない。符号化パラメータの選択、およ
びパフォーマンス対複雑性のトレードオフは、エンコー
ダの開発者に任せられている。
【０００６】ＭＰＥＧ２に準拠した符号化処理の１つの
局面では、ビデオの詳細度および品質を維持しながら、
ディジタル・ビデオ像ができるだけ小さなビットストリ
ームへ圧縮される。ＭＰＥＧ標準はビットストリームの
サイズに制限を設けており、またエンコーダが符号化処
理を実行できることを要求している。したがって、所望
のピクチャ品質と詳細度を維持するためにビット・レー
トを最適化することは困難である。たとえば、ＭＰＥＧ
標準はピクチャの各水平行で、ビット・レートの制限
（４：２：０フォーマットでは、４６０８ビット）を超
えるマクロブロックは２つまでと定めている。シーン・
チェンジおよびアクション・ビデオの場合、フレーム間
の急激な変化によってビット・レートが急速に消費され
る。その結果、ピクチャの品質と詳細度は悪影響を受け
る。
【０００７】ＭＰＥＧ２に準拠した符号化処理の他の局
面では、パフォーマンス問題が非イントラ・マクロブロ
ックの符号化との間の圧縮ストア・インタフェースで生
じる。この問題は、マクロブロックの一部でありＭＰＥ
Ｇ標準によって要求される符号化ブロック・パターン
が、マクロブロックのすべての量子化された係数が可変
長符号化されるまで決定できないという事実から生じ
る。圧縮ストア・インタフェースは、符号化ブロック・
パターンを待っている間、係数をバッファに入れて、現
在のマクロブロックのマクロブロック・ヘッダが、圧縮
されたビットストリーム中で、エンコーダから出力され
る符号化係数の前に確実に多重化されるようにしなけれ
ばならない。さらに、それはＭＰＥＧ標準に準拠するた
めに必要である。イントラ・マクロブロックでは、係数
をバッファに入れる必要はない。なぜなら、イントラ・
マクロブロックはデータを含むことが必要であり、符号
化ブロック・パターンを有しないからである。非イント
ラ・マクロブロック中の符号化係数データの量は、バッ
ファからデータを読み取って圧縮されたビットストリー
ムへ多重化するのに時間がかかるので、エンコーダのパ
フォーマンスに影響を与える。
【０００８】本発明は、標準的な量子化、可変長符号
化、および圧縮ストア・インタフェースの処理に内在す
る上記の問題を解決する、ビデオ・エンコーダのための
マクロブロック・ビット調整方式を提供する。
【０００９】
【課題を解決するための手段】簡単に説明すると、本発
明は、第一の局面では、複数の行を有し、各行が複数の
マクロブロックを含むピクチャを符号化する方法と装置
を提供する。各マクロブロックは複数のブロックに配列
された複数の係数を有する。本発明のアプローチは、各
行内の各マクロブロックについて次のことを行う。すな
わち、行の中の先行するｎ個のマクロブロックがビット
・レートの制限を超過したかどうかを決定し（ここで、
ｎは所定の数）、マクロブロックを符号化し、行の中の
先行するｎ個のマクロブロックがビット・レートの制限
を超過した場合、マクロブロックへ制約パターンを適用
する。制約パターンはマクロブロックの選択された係数
をゼロにして、マクロブロックのビット・レートを減少
させる。さらに、前記の基本的概念を改良する多くの手
段が備えられている。
【００１０】他の局面では、本発明は、複数のマクロブ
ロックを有し、各マクロブロックが複数の係数を含むピ
クチャを符号化する方法および装置を提供する。この方
法および装置は、各マクロブロックについて次のことを
行う。すなわち、マクロブロックの係数を符号化し、マ
クロブロックのために目標のビット・レートを決定し、
目標のビット・レートがｘメガビット／秒よりも小さい
とき（ｘは所定の数）、係数へ制約パターンを適用し
て、マクロブロックの選択された係数をゼロにする。
【００１１】さらに、他の局面では、本発明は、複数の
マクロブロックを有し、各マクロブロックが複数のブロ
ックに配列された係数を含むピクチャの非イントラ・マ
クロブロックを符号化する方法および装置を提供する。
この方法は次のことを行う。すなわち、マクロブロック
の各ブロックが少なくとも１つの非ゼロ係数を含むこと
を表す固定符号化ブロック・パターンのヘッダをマクロ
ブロックのために生成してビットストリーム中に出力
し、続いてマクロブロックの各ブロックが少なくとも１
つの非ゼロ係数を含むことを確実にする。
【００１２】言い換えれば、本発明により、ビデオ・エ
ンコーダの量子化および可変長符号化を改良するために
使用できるいくつかのマクロブロック・ビット調整方式
が実現される。マクロブロック中の係数を選択的および
部分的に制約することによって、ビット・レートの調整
が達成され、ビット・レートとピクチャ品質の改良され
たバランスが得られる。たとえば、高周波数係数をゼロ
にする制約パターンを設定することによって、それだけ
低周波数係数に多くのビットを割り振ることができる。
したがって、より細かな量子化ステップ・サイズ（ｍｑ
ｕａｎｔ）を使用して、より詳細なピクチャ・ディテー
ルを捕捉することができる。パターンの制約は、すべて
のマクロブロックに適用するか、非イントラ・マクロブ
ロックのみに適用することができる。広い範囲の部分制
約パターンが使用可能である。
【００１３】さらに、ＭＰＥＧ標準によって可変長符号
化ユニットからの出力として定義された符号化ブロック
・パターンを固定する（あらかじめ決定する）ことによ
って、パフォーマンスを改善することができる。符号化
ブロック・パターンをあらかじめ決定することによっ
て、マクロブロック全体の量に相当する可変長符号化デ
ータを圧縮ストア・インタフェースでバッファする必要
はない。これは特にビット・レートが高いときに都合が
よい。なぜなら、符号化されないブロックの存在確率は
小さいからである。
【００１４】低ビット・レートのマクロブロックの場
合、パターン制約によって、マクロブロックの全体的サ
イズが減少し、圧縮ストア・インタフェースがバッファ
した後に読み出す必要があるデータの量も減少する。そ
れは、圧縮ストア・インタフェースが非イントラ・マク
ロブロックをバッファする必要性を除くものではない
が、パフォーマンスを改善する。
【００１５】
【発明の実施の形態】本発明は、ＭＰＥＧおよびＨＤＴ
Ｖに準拠したスケーラブルなエンコーダおよび符号化処
理に関する。このエンコーダによって実行される符号化
機能は、データの入力、空間圧縮、動き推定、マクロブ
ロック・タイプの生成、データの再構成、エントロピ符
号化、およびデータの出力を含む。空間圧縮は離散コサ
イン変換（ＤＣＴ）、量子化、およびエントロピ符号化
を含む。時間圧縮は逆離散コサイン変換、逆量子化、お
よび動き補償のような集中的再構成処理を含む。動き推
定および動き補償は時間圧縮機能である。空間圧縮およ
び時間圧縮は、高度の計算要件を伴う反復機能である。
【００１６】さらに具体的には、本発明は離散コサイン
変換、量子化、エントロピ符号化、動き推定、動き補
償、および予測を含む空間的および時間的圧縮を実行す
るプロセッサに関し、さらに具体的には、空間的および
時間的圧縮を達成するシステムに関する。
【００１７】このスケーラブルなプロセッサ・システム
は、離散コサイン変換プロセッサ、量子化ユニット、可
変長符号化ユニット、ＦＩＦＯバッファ、および圧縮ス
トア・インタフェースを備えたＩフレーム専用ビデオ・
エンコーダ・モジュールを有する。さらに、このシステ
ムは参照メモリ・インタフェース、動き推定および補償
能力、逆量子化、および逆離散コサイン変換、および動
き補償手段を備えた第二のプロセッサ素子すなわちＲプ
ロセッサ（再構成プロセッサ）を含み、さらに動き推定
手段を備えた少なくとも１つの第三のプロセッサ素子を
含んでいる。このシステムは単一の集積回路チップであ
っても複数の集積回路チップであってもよい。後者の場
合、各プロセッサ、すなわちＩフレーム・ビデオ・エン
コーダ・モジュール、第二のプロセッサ素子、および第
三のプロセッサ素子に１つの集積回路チップが存在す
る。第三のプロセッサ・ユニットは、１つまたは複数が
存在してよい。
【００１８】最初の圧縮ステップは空間冗長度の除去
（たとえば「Ｉ」フレーム・ピクチャの静止画における
空間冗長度の除去）である。空間冗長度とは、１つのピ
クチャ内の冗長度である。後述するように、動き補償の
処理はブロックをベースに行われるから、ブロック・ベ
ースの方法を使用して空間冗長度を減少させることが、
ＭＰＥＧ２の標準草案に合致した。選択される方法は離
散コサイン変換であり、ピクチャの離散コサイン変換符
号化である。離散コサイン変換符号化は、さらに圧縮レ
ベルを高めるために、重みづけられたスカラー量子化お
よびランレングス符号化と組み合わせられる。
【００１９】離散コサイン変換は直交変換である。直交
変換は周波数領域の分析を含むためフィルタ・バンク指
向である。さらに、離散コサイン変換は局所化される。
すなわち、符号化処理は、６４個の変換係数（すなわち
サブバンド）を計算するのに十分な８ｘ８の空間ウィン
ドウ上でサンプルする。
【００２０】離散コサイン変換の他の利点は、高速の符
号化および復号アルゴリズムを使用できることである。
さらに、離散コサイン変換のサブバンド分解は、心理視
覚基準の有効な使用を可能にする。
【００２１】変換の後、周波数係数の多くはゼロであ
る。特に、高い空間周波数の係数はそうである。これら
の係数はジグザグ・パターンへ構成され、ラン・振幅
（ラン・レベル）の対へ変換される。各々の対はゼロ係
数の数と非ゼロ係数の振幅を示す。これは可変長符号へ
符号化される。
【００２２】動き補償は、ピクチャ間の冗長度を減少さ
せるか、さらには除去するために使用される。動き補償
は、現ピクチャをブロック（たとえばマクロブロック）
へ分割し、前に伝送されたピクチャの中で同様な内容を
もつ近隣のブロックを探索することによって時間冗長度
を利用する。現ブロックの画素と、参照ピクチャから抽
出された予測ブロックの画素との差分だけが実際に圧縮
され伝送される。
【００２３】動き補償および予測の最も単純な方法は、
「Ｉ」ピクチャ中の各画素の輝度と色差（すなわち、強
度とカラー）を記録し、後続するピクチャ中のすべての
特定の画素について輝度と色差（すなわち、強度とカラ
ー）の変化を記録することである。しかし、これは伝送
媒体の帯域幅、メモリ、プロセッサ能力、および処理時
間の点で非経済的である。なぜなら、オブジェクトはピ
クチャ間で移動する（すなわち、画素内容は、１つのピ
クチャ中の１つの位置から、後続するピクチャ中の異な
った位置へ移動する）からである。さらに進んだアイデ
アは、先行または後続のピクチャを使用して、後続また
は先行するピクチャの中で画素のブロックが存在する場
所を予測し（たとえば動きベクトルを使用して）、その
結果を「予測ピクチャ」または「Ｐ」ピクチャとして書
くことである。具体的には、これは、ｉ番目のピクチャ
の画素またはそのマクロブロックが、（ｉ−１）番目ま
たは（ｉ＋１）番目のピクチャ中のどこにあるかを最良
に予測することを含む。画素のブロックが中間ピクチャ
（すなわち「Ｂ」ピクチャ）中のどこにあるかを予測す
るために後続ピクチャおよび先行ピクチャの双方を使用
することは、さらに一歩進んだ方法である。
【００２４】注意すべきは、ピクチャの符号化順序とピ
クチャの伝送順序は、必ずしもピクチャの表示順序と一
致しないことである（図２を参照）。Ｉ−Ｐ−Ｂシステ
ムでは、入力ピクチャの伝送順序は符号化順序と異なっ
ており、入力ピクチャは符号化に使用されるまで一時的
に記憶される必要がある。バッファは、この入力が使用
されるまで、それを記憶している。
【００２５】例として、ＭＰＥＧ準拠の符号化を示す概
略的フローチャートが図１に示される。このフローチャ
ートで、動きベクトルを生成するために、ｉ番目のピク
チャと（ｉ＋１）番目のピクチャの画像が処理される。
動きベクトルは、画素のマクロブロックが先行または後
続ピクチャのどこに存在するかを予測する。全体の画像
の代わりに動きベクトルを使用することが、ＭＰＥＧお
よびＨＤＴＶ標準における時間圧縮の重要な点である。
図１に示されるように、動きベクトルが一度生成される
と、それは、ｉ番目のピクチャから（ｉ＋１）番目のピ
クチャへ画素のマクロブロックを変換するために使用さ
れる。
【００２６】図１に示されるように、符号化処理では、
ｉ番目のピクチャおよび（ｉ＋１）番目のピクチャの画
像がエンコーダ１１の中で処理されて、たとえば（ｉ＋
１）番目および後続するピクチャが符号化され伝送され
る形式の動きベクトルが生成される。後続するピクチャ
のピクチャ入力１１１（入力画像）は、エンコーダの動
き推定ユニット４３へ送られる。動きベクトル１１３は
動き推定ユニット４３の出力として形成される。これら
のベクトルは、先行または将来のピクチャからマクロブ
ロック・データ（「参照」データと呼ばれる）を引き出
し、また出力するために、動き補償ユニット４１によっ
て使用される。動き補償ユニット４１の１つの出力は、
動き推定ユニット４３からの出力とマイナス加算され、
離散コサイン変換ユニット２１の入力へ送られる。離散
コサイン変換ユニット２１の出力は量子化ユニット２３
の中で量子化される。量子化ユニット２３の出力は２つ
の出力（ピクチャ出力１２１、フィードバック・ピクチ
ャ出力１３１）へ分割される。ピクチャ出力１２１は、
伝送の前にさらに圧縮と処理を行うために、ランレング
ス符号化器のような下流の可変長符号化ユニット２５へ
送られる。フィードバック・ピクチャ出力１３１は画素
の符号化マクロブロックの再構成を経てフレーム・メモ
リ４２に記憶される。例として図示されているエンコー
ダでは、フィードバック・ピクチャ出力１３１は、差分
マクロブロックの非可逆バージョンを戻すために、逆量
子化ユニット２９および逆離散コサイン変換ユニット３
１を通る。このデータは、動き補償ユニット４１の出力
と加算され、元のピクチャの非可逆バージョンをフレー
ム・メモリ４２へ戻す。
【００２７】図２に示されるように、三種のピクチャが
存在する。「イントラ・ピクチャ」すなわち「Ｉ」ピク
チャは、全体が符号化されて伝送され、動きベクトルを
定義される必要はない。これらの「Ｉ」ピクチャは動き
ベクトルの源として使用される。「予測ピクチャ」すな
わち「Ｐ」ピクチャは、先行するピクチャからの動きベ
クトルによって形成され、他のピクチャの動きベクトル
の源として使用することができる。最後に、「双方向性
ピクチャ」すなわち「Ｂ」ピクチャは、他の２つのピク
チャ（１つは過去のピクチャ、１つは将来のピクチャ）
からの動きベクトルによって形成され、動きベクトルの
源として使用することはできない。動きベクトルは
「Ｉ」ピクチャおよび「Ｐ」ピクチャから生成され、
「Ｐ」ピクチャおよび「Ｂ」ピクチャを形成するために
使用される。「Ｐ」ピクチャおよび「Ｂ」ピクチャは
「非イントラ」ピクチャまたは「インター」ピクチャと
も呼ばれる。
【００２８】図３に示されるように、動き推定が実行さ
れる１つの方法は、ｉ番目のピクチャのマクロブロック
２１１から、次のピクチャの領域を全面的に探索して、
最良一致のマクロブロック２１３を見つけることであ
る。この方法でマクロブロックを変換すると、図４に示
されるように、（ｉ＋１）番目のピクチャのためにマク
ロブロックのパターンを作り出す。このようにして、ｉ
番目のピクチャは、たとえば動きベクトルおよび差分デ
ータによって少しだけ変更され、（ｉ＋１）番目のピク
チャが生成される。符号化されるものは動きベクトルお
よび差分データであって、（ｉ＋１）番目のピクチャそ
れ自体ではない。動きベクトルは画像の位置をピクチャ
間でと変換し、差分データは色差、輝度、および彩度の
変化（すなわち濃淡と明暗の変化）を伝える。
【００２９】再び図３を参照する。ここで、ｉ番目のピ
クチャと（ｉ＋１）番目のピクチャの同じ位置から開始
して、良好な一致を探すことになる。ｉ番目のピクチャ
に探索ウィンドウが作り出される。この探索ウィンドウ
内で最良一致を探索する。それが一度見つかると、その
マクロブロックの最良一致動きベクトルが符号化され
る。最良一致のマクロブロックの符号化は動きベクトル
を含む。この動きベクトルは、ｙ方向およびｘ方向のそ
れぞれで、何個の画素が次のピクチャ中で変位して最良
一致を与えるかを示す。さらに、現在のマクロブロック
と最良一致参照マクロブロックとの間の色差および輝度
の差を表す差分データ（「予測誤差」とも呼ばれる）が
符号化される。
【００３０】ＭＰＥＧ２エンコーダの動作機能は３つの
基本的デバイスで実行される。それらの基本的デバイス
とは、Ｉデバイス（イントラ・デバイス）、Ｒデバイス
（再構成デバイスまたは参照デバイス）、およびＳデバ
イス（探索デバイス）である。これらの機能はアプリケ
ーションの必要性、シリコンのサイズ、ツールおよびデ
ザインの複雑性、およびパフォーマンスに従って区分さ
れる。
【００３１】図６に示されるように、画素インタフェー
ス６４１、ホスト・インタフェース６１１、および圧縮
ストア・インタフェース６７９（出力データ・インタフ
ェース）を含むすべての外部通信は、単一のＩデバイス
（チップ）６０１の中で行われる。Ｉデバイス６０１
は、エンコーダのマスタ・インタフェースであり、図５
に示されるような本発明のチップ・セットを使用するビ
デオ圧縮アプリケーションでは基本的な必須構成要素で
ある。内部ＲＩＳＣプロセッサ６２１（プログラム可能
プロセッサ）は、エントロピ符号化機能（すなわち、離
散コサイン変換プロセッサ６７１、量子化ユニット６７
３、および可変長符号化器（ＶＬＥ）６７５）と共にこ
のチップに組み込まれている。その結果、このデバイス
はＩピクチャだけの符号化を必要とするアプリケーショ
ンでも使用することができる。さらに、再構成インタフ
ェースが付加されて、機能拡張を可能としている。符号
化の前に適用される処理機能もこのデバイスに含まれて
いる。
【００３２】マクロブロックの再構成処理は、すべての
非Ｉピクチャの符号化（すなわちＰピクチャおよびＢピ
クチャの符号化）に必要である。逆離散コサイン変換
（ＩＤＣＴ）、逆量子化（ＩＱ）、および動き補償（Ｍ
Ｃ）のような機能は単一のチップであるＲチップ（Ｒプ
ロセッサ）８０１に組み込まれている（図５を参照）。
Ｒチップ（Ｒプロセッサ）は再構成チップとも呼ばれ
る。さらに、動きの少ないアプリケーションを処理する
ために、プログラム可能なプロセッサを備えた簡単な動
き推定機能が付加されている。動きの速いアプリケーシ
ョンのために、結果探索インタフェースが設けられてい
る。その結果、ＩチップおよびＲチップを組み合わせて
遠距離学習、ビデオ会議、査察などの動きの少ないアプ
リケーションに使用することができる。
【００３３】動き推定は反復的機能であり、厳しい計算
要件を有する。ハードウェア・デバイスであるＳチップ
（Ｓプロセッサ）９０１が外部プログラム可能レジスタ
と共にこの機能に使用される。探索範囲を大きくするた
めには、拡張インタフェースが設けられる。放送のよう
なアプリケーションには、３チップ構成を使用すること
ができる。高速の科学写真アプリケーションのように動
きが速い場合、Ｓチップ（Ｓプロセッサ）９０１を追加
すれば、ピクチャ品質が向上すると共に、探索範囲が大
きくなる。これは、アーキテクチャのスケーラブルな特
徴である。
【００３４】これから、チップの区分化について説明す
る。３つのエンコーダ・チップの接続は図５に示され
る。図５はプロセッサ素子を含む３つのエンコーダ・チ
ップの組み合わせを示す。これらのチップはＩ（イント
ラ）チップ（Ｉプロセッサ）６０１、Ｒ（参照）チップ
（Ｒプロセッサ）８０１、Ｓ（探索）チップ（Ｓプロセ
ッサ）９０１であり、これらのチップにＲＡＭチップ５
３１、５３３、および５３５（ＤＲＡＭチップおよびＳ
ＲＡＭチップを含む）が関連づけられている。Ｉチップ
（Ｉプロセッサ）はホスト・プロセッサ・インタフェー
スであり、ディジタル化されフィルタされたビデオ入力
５４１を受け取り、圧縮されたビデオ出力５４３を生成
する。
【００３５】図６に示されるＩチップ６０１は、エンコ
ーダ・システムのビデオ入力５４１（入力データ）およ
びビデオ出力５４３（出力ビットストリーム）を処理す
る（図５を参照）。到着する画素データはフレーム・ス
トアと呼ばれる外部ＤＲＡＭ５３１へフレーム形式で記
憶される。このチップはＩフレーム符号化に必要な中心
機能を実行する。画素データは、必要であれば、ＲＧＢ
形式からＹＣｂＣｒ形式へ変換される。画素データはシ
ーン・チェンジおよび３：２プルダウンによって作り出
される反復フィールドの有無を監視される。さらに、到
着する画素データはＨＨＲ出力形式を作り出すために調
節される。エンコーダは、入力方法がどのようなもので
あっても、フィールドまたはフレーム入力形式を受け取
り、フィールドまたはフレーム符号化データを出力する
ことができる。４：２：２の入力データは４：２：２ま
たは４：２：０の出力として符号化することができる。
オンチップの内部ＲＩＳＣプロセッサ６２１は適応ＤＣ
Ｔ、適応量子化、およびレート制御に責任を有する。こ
のプロセッサは動的に区分化可能な構造を有し、１つの
４バイト・エンジンまたは４つの１バイト・エンジンと
して動作することができる。それは１９９５年３月２７
日に出願された米国特許出願第０８／４１１，２３９号
に説明されている。
【００３６】符号化されたマクロブロックは、米国特許
第５，５２６，０５４号に説明されるようにしてヘッダ
情報とマージされる。それによって、最終的なＭＰＥＧ
−２またはＭＰＥＧ−１出力ビットストリームが作成さ
れる。エンコーダは、このビットストリームを、たとえ
ば圧縮ストア・インタフェース６７９を通して、外部Ｄ
ＲＡＭへ記憶するかＦＩＦＯへ送ることができる。ピク
チャがＤＲＡＭへ記憶されると、ユーザは、そのピクチ
ャを、ホスト・インタフェースを通して非リアルタイム
で読み出すことができる。
【００３７】Ｒチップ（Ｒプロセッサ）８０１はリファ
インメント・チップまたは再構成チップとも呼ばれ、動
き推定探索のリファインメントおよび動き補償のための
ピクチャの再構成に責任をもつ。動き推定機能をサポー
トするために、外部ＤＲＡＭ５３３が使用される。Ｒチ
ップ（Ｒプロセッサ）の機能ユニットは、ピクチャの再
構成および動き推定に必要なすべての基本的機能を実行
する。このような機能には、フレーム差分の計算と処理
が含まれる。
【００３８】このプロセッサの主な機能はマクロブロッ
ク・タイプの決定、ピクチャごとの探索範囲の調節、動
き推定の援助である。量子化データおよびＳチップの探
索結果は、共通のチップ・インタフェースを通して受け
取られる。次に、量子化されたデータはマトリクス・テ
ーブルを４つまで使用して逆量子化される。ＩＤＣＴは
２次元逆変換を通して係数を画素データへ変換する。こ
の再構成されたピクチャ・データは、後続のピクチャ符
号化のためにメモリ・インタフェースによって参照デー
タとして保存される。動き推定はＩ、Ｐ、およびＢピク
チャと共に半画素解像度へのフィールド、フレーム二重
プライム、双方向動きタイプをサポートすることができ
る。
【００３９】２チップ構成（ＩチップおよびＲチップ）
は＋／−８Ｈおよび＋／−７Ｖ探索範囲までをサポート
することができ、３チップ構成（Ｉチップ、Ｒチップ、
Ｓチップ）は＋／−６４Ｈおよび＋／−５６Ｖまでをサ
ポートすることができる。動き推定の結果が必要である
とき、探索ウィンドウのサイズおよび最良一致の結果が
決定され、フレーム差分データが生成される。
【００４０】Ｓチップ（Ｓプロセッサ）９０１は動き推
定の大部分に責任をもつ。動き推定の目的は、現ピクチ
ャからのマクロブロック（現ピクチャ・マクロブロッ
ク、すなわち「ＣＭＢ」）の位置を、参照ピクチャの中
で見つけることである。この位置は最良一致を見つける
ことによって決定される。最良一致は、ＣＭＢデータを
参照ピクチャのデータと比較することによって決定され
る。
【００４１】参照ピクチャ全体をリアルタイムで探索す
ることはできない。したがって、参照ピクチャのサブセ
ットが探索される。このサブセットは探索ウィンドウと
呼ばれる（図３を参照）。探索ウィンドウが大きくなれ
ば、それだけＣＭＢの完全一致を見つけるチャンスが高
くなる。探索ウィンドウは、追加の探索チップを使用す
ることによって非常に大きくすることができる。効果的
な動き推定は高品質のビデオと高圧縮のビットストリー
ムを生成する。探索プロセッサは、リファインメント／
再構成プロセッサから探索ウィンドウ・パラメータを受
け取り、ピクチャ構造に基づいてイントラ・チップから
フレーム形式またはフィールド形式で輝度ピクチャ・デ
ータを受け取る。
【００４２】参照ピクチャはフレーム形式でチップ外の
ＳＲＡＭに記憶される。動き推定ユニットはＣＭＢおよ
び参照ピクチャ上でフィールド探索を実行する。フレー
ム構造のピクチャに対するフレーム結果と共に、４つの
フィールド結果が計算される。これらの結果は差分デー
タの形式をしており、先行するピクチャの動き特性に基
づいてバイアスされている。バイアスされた差分データ
は、動きベクトルと共にＲチップ（Ｒプロセッサ）８０
１へ送られ、たとえばフレーム差分の計算に使用され
る。
【００４３】次に、処理の流れを説明する。Ｉチップ
（Ｉプロセッサ）６０１は前処理機能とエントロピ符号
化機能を含む。前処理機能は符号化機能の前に実行され
る。エントロピ符号化はピクチャ処理の最後の部分であ
る。そのブロック図は図６に示される。
【００４４】本発明はＩチップ（Ｉプロセッサ）６０１
のエントロピ符号化機能に関連している。Ｉチップ、Ｒ
チップ、およびＳチップは、１９９７年４月１日に出願
された米国特許出願第０８／８３１１５７号で詳細に説
明されている。
【００４５】本発明の１つの局面に従うビット調整は、
量子化ユニット６７３で実行することができる。量子化
ユニット６７３の詳細な実施例は図７に示される。本発
明のこの局面では、ビット・レートを調整するメカニズ
ムとして、マクロブロック・パターンが制約される。マ
クロブロックを構成するブロック中の係数を、所定のプ
ログラム可能な制約パターンに基づいて選択的に制約す
ることにより、ビット・レートとピクチャ品質の最適バ
ランスが達成される。制約パターンはマクロブロック中
の高周波数係数をゼロにするように選択するのが望まし
く、それによって多くのビットを低周波数係数に割り振
ることができる。その結果より多くのピクチャ・ディテ
ールを捕捉するためにより細かな量子化ステップ・サイ
ズ（ｍｑｕａｎｔ）を使用することができる。
【００４６】エンコーダへのホスト書き込みを使用する
ことによって、ユーザは所望の制約パターンをプログラ
ムすることができる。たとえば、ユーザは、マクロブロ
ック中の係数の三分の一、半分、または三分の二を制約
するために制約パターンを設定することができる。この
ような制約は、後に図９から図１２までを参照して説明
するように、斜行パターンで行われることが望ましい。
選択されたパターンは、すべてのマクロブロックに適用
するか、非イントラ・マクロブロックだけに適用するこ
とができる。
【００４７】量子化ユニット６７３は離散コサイン変換
プロセッサ６７１（図６を参照）からの離散コサイン変
換（ＤＣＴ）係数を量子化し、その係数を可変長符号化
（ＶＬＥ）ユニット６７５（図６を参照）へ送る責任を
有する。量子化は、ＭＰＥＧ標準では、２ステップの処
理でＤＣＴ係数をスケーリングする。最初に、ＤＣＴ係
数はＤＣＴ係数個別量子化ロジック７００へ入力され
る。ＤＣＴ係数個別量子化ロジック７００は、マクロブ
ロックの問題のブロック内の係数の相対的位置に基づい
てその係数を量子化する。この量子化は、量子化ユニッ
ト６７３中の量子化マトリクス・テーブル７０２内に記
憶された重みの値を参照してなされる。量子化ユニット
は一時にマクロブロックの１つのブロックを処理する。
４：２：０マクロブロック内には６つのブロックが存在
し、４：２：２マクロブロックには８つのブロックが存
在する。したがって、この最初のステップは、１６ｘ１
６マクロブロックの８ｘ８ブロック内の係数の相対的位
置に基づいてその係数を量子化することである。
【００４８】第二の量子化ステップは、マクロブロック
中のすべての係数をスケーリングすることである。この
スケールＤＣＴ係数の量子化７０４は全体的な量子化で
あり、この量子化は、たとえばビット・レートを考慮し
てプロセッサによって設定される。このスケーリング
は、選択された量子化ステップ・サイズ（ｍｑｕａｎ
ｔ）７０６を参照してなされる。ステップ・サイズは、
ビット・レートが目標のビット・レートよりも上か下か
に基づいて調節することができる。
【００４９】本発明に従って、量子化ユニット６７３
は、１つまたは複数のプログラム可能制約パターン７１
２にアクセスするパターン制約ロジック７１０を含むよ
うに変更される。制約するかどうかの決定は、マクロブ
ロックのビット・レートに基づいて行うか、１つの行内
の２つの先行するマクロブロックがビット・レートの制
限を超過したかどうかに基づいて行うことができ、その
制約は行内のすべての後続するマクロブロックについて
開始される。一度、パターン制約がマクロブロックにつ
いて設定されると、複数のプログラム可能制約パターン
の中のどのプログラム可能制約パターンが適用されるか
を、ユーザ・インタフェースによって命令することがで
きる。後で、図９から図１２までを参照して、望ましい
各種のパターンを説明する。
【００５０】図８は、本発明に従った、量子化ユニット
６７３におけるパターン制約の１つの処理の流れを示
す。この流れは、ピクチャの各マクロブロック（ＭＢ）
の処理に反復される（ステップ７５０）。最初の質問
は、目標のビット・レートが所定のｘメガビット／秒
（Ｍｂｐｓ）（たとえば１５Ｍｂｐｓ）よりも大きいか
どうかを決定する（ステップ７５２）。ビット・レート
が所定のＭｂｐｓよりも大きいと仮定すると、前述した
ように、マクロブロックの各ブロックの係数が従来の量
子化処理に従って量子化される（ステップ７５６）。
【００５１】ビット・レートが所定のＭｂｐｓよりも小
さければ、処理は、ビット・レートの制限がピクチャの
対応する行内のｎ個のマクロブロック（ｎはあらかじめ
選択された数で、たとえばｎ＝２）によってすでに超過
されているかどうかを質問する（ステップ７５４）。こ
の例では、ＭＰＥＧ標準に従って２つのマクロブロック
が選択されているから、その行におけるそれらのマクロ
ブロックの後では、マクロブロックについてビット・レ
ート制限を超過しないように制約がなされる。ビット・
レートの制限が行内の２つの先行するマクロブロックに
よって超過されていれば、制約モードが能動化され、部
分制約パターンが選択される（ステップ７５８）。
【００５２】ビット・レートの制限が行内の２つの先行
するマクロブロックによって超過されていないが、マク
ロブロックが非イントラ・マクロブロックであり（ステ
ップ７５５）、パフォーマンスが考慮される場合（ステ
ップ７５７）、制約モードが能動化され、部分制約パタ
ーンが選択される（ステップ７５８）。制約モードで
は、マクロブロックの各ブロック内の係数が、量子化ユ
ニットの第一および第二ステップによって従来のように
量子化され（ステップ７６０）、選択された制約パター
ンがマクロブロックの各ブロックへ適用される（ステッ
プ７６２）。部分的に制約された結果のブロックは可変
長符号化ユニット（ＶＬＥ）６７５へ出力される（図６
を参照）。マクロブロック内のすべてのブロックが出力
されると、量子化はそのマクロブロックについて完了す
る（ステップ７６４）。
【００５３】各種の制約パターンが可能である。１つの
実施例では、本発明に従う制約はマクロブロックの個々
のブロック内の高周波数係数をゼロにし、低周波数係数
を維持する。通常、低周波数係数は係数の各ブロックの
左上部分に存在するから、望ましい１つの制約パターン
は図９に示されるような斜行パターンとなる。このパタ
ーンでは、８ｘ８の係数配列の左上部分にある「ＡＣ」
および「ＤＣ」係数は保持され、右下部分にある係数は
クリップすなわちゼロにされる。
【００５４】さらなる改良として、制約パターンは、た
とえば実際のビット・レートに基づいてプログラムすな
わち選択することができる。図１０で、係数ブロックに
対する図９の標準的制約パターンは、係数配列のほぼ中
央を通る斜線を付けられている。この斜線は維持される
係数とクリップされる係数とを分けている。図１１に
は、制約が少なくてよい高ビット・レートに対する制約
パターンが示され、図１２には、大きな制約が望まれる
低ビット・レートに対する制約パターンが示される。し
たがって、制約される係数と制約されない係数とを分け
る斜線を動かすことによって、プログラム可能な制約パ
ターンを実現することができる。
【００５５】特別の例として、範囲が１５〜３０Ｍｂｐ
ｓの平均的ビット・レートには、図１０の標準の制約パ
ターンを使用し、図１１の高ビット・レートの制約パタ
ーンは３０〜５０Ｍｂｐｓに使用し、図１２低ビット・
レートの制約パターンは１５Ｍｂｐｓ未満に使用するこ
とができる。当業者は、本発明の教示に従って他の制約
パターンを容易に実施することができる。本発明は、実
施される特定の制約パターンがどのようなものであれ、
マクロブロックの各ブロック中の係数の一部分を選択的
に制約する概念を包含する。
【００５６】以下に、図１３から図１５までを参照し
て、本発明に従う他のビット調整の概念を説明する。こ
の概念は、ＭＰＥＧ標準によって、各非イントラ・マク
ロブロックのためにエンコーダからビットストリームの
一部として出力される符号化ブロック・パターン（ＣＢ
Ｐ）に関連する。符号化ブロック・パターンは２進数
（４：２：０形式では６ビット、４：２：２形式では８
ビット）であり、所与のマクロブロック中のどのブロッ
クが符号化されているか（すなわち、どのブロックが少
なくとも１つの非ゼロ係数を含んでいるか）を定義す
る。たとえば、４：２：０パターン数は３２＊Ｐ１＋１
６＊Ｐ２＋８＊Ｐ３＋４＊Ｐ４＋２＊Ｐ５＋１＊Ｐ６に
等しい。ここで、ブロックｎに係数が存在していれば、
Ｐｎは１であり、そうでなければ、０である。イントラ
・マクロブロックについては、すべてのブロックが符号
化される必要があり、したがって符号化ブロック・パタ
ーンは不要である。符号化ブロック・パターンは非イン
トラ・マクロブロックにのみ必要である。
【００５７】本発明に従ったビット調整のこの局面は、
現マクロブロックの係数が符号化される前に符号化ブロ
ック・パターンを決定することができれば、圧縮ストア
・インタフェース６７９（図６）は係数をバッファする
必要はないという認識に基づいている。したがって、本
発明は符号化ブロック・パターンを「固定」して、非イ
ントラ・マクロブロック内のすべてのブロックが符号化
されていることを示す固定符号化ブロック・パターン
（ＦＣＢＰ）を生成する。一度これが行われると、エン
コーダは、各ブロックが符号化されている（すなわち、
少なくとも１つの非ゼロ係数を含む）ことを保証する。
ブロックがオール・ゼロを含む場合には、エンコーダは
６４番目の係数位置に「１」を符号化するように命令さ
れ、ブロック係数データが、すでにビットストリーム中
に置かれた固定符号化ブロック・パターンと一致するよ
うにされる。この方式では、圧縮ストア・インタフェー
スが、マクロブロック・ヘッダの出力前に非イントラ・
マクロブロックのすべてのブロックの処理を待つ必要性
がなくなるので、パフォーマンスが向上する。
【００５８】次に図１３を参照する。可変長符号化器Ｖ
ＬＥ６７５の主な機能は、ＭＰＥＧ標準によって定義さ
れた手法を使用して、変換され量子化された画素データ
を符号化することである。この主な機能のほかに、ＶＬ
Ｅ６７５はマクロブロック・ヘッダ中で使用されるマク
ロブロック・パラメータを決定し符号化する。これらの
パラメータの１つは前述した符号化ブロック・パターン
である。マクロブロック・ヘッダ生成ユニット８００
（ハードウェアまたはソフトウェア）は、入力としてマ
クロブロック・ヘッダ・データおよび動きベクトルを受
け取る。マクロブロック・ヘッダを生成するためには、
動きベクトル（ＭＶ）符号化ユニット８０２および符号
化ブロック・パターン（ＣＢＰ）生成ユニット８０４が
使用される。マクロブロック・ヘッダは、圧縮ストア・
インタフェース６７９（図６）から出力されるビットス
トリーム内のマクロブロックに先行する必要がある。
【００５９】本発明に従えば、量子化ユニット６７３か
らの量子化された係数は、最初に固定符号化ブロック・
パターン（ＦＣＢＰ）モード・インタフェース８１０で
受け取られる。このインタフェースは、非イントラ・マ
クロブロックのブロック内の係数が非ゼロの値に変換さ
れる必要があるかどうか決定される場所である。たとえ
ば、図１５に示されるように、オール・ゼロのブロック
内の６４番目の係数は、本発明に従って１へ変換するこ
とができる。ＦＣＢＰモードであると仮定すると、現時
点で、すなわち、マクロブロックのブロックを処理する
前に、オール１（すなわちＦＣＢＰ）のヘッダを出力す
るように、信号がＣＢＰ生成ユニット８０４へ送られ
る。ＦＣＢＰモードであると決定され、ヘッダが送られ
ると、量子化された係数は可変長符号化（ＶＬＣ）ユニ
ット８１２へ送られ、可変長符号化データとして出力さ
れる。オール・ゼロのブロックを、少なくとも１つの非
ゼロ係数を含むように（たとえば６４番目の位置に）変
更することは、ＶＬＣユニット８１２（量子化された係
数の符号化ブロック）内で実施することができる。
【００６０】図１４は、本発明に従った固定符号化ブロ
ック・パターン処理の１つの実施例を表す。マクロブロ
ック（ＭＢ）の可変長符号化はステップ９００で始ま
り、次のステップ９０２では、マクロブロックが非イン
トラ・マクロブロックを含むかどうかが決定される。マ
クロブロックがイントラ・マクロブロックを含む場合、
固定符号化ブロック・パターンは不要であり、量子化さ
れた係数は符号化される（ステップ９０４）。次に、マ
クロブロックの可変長符号化は完了する（ステップ９２
４）。
【００６１】マクロブロックが非イントラ・マクロブロ
ックを含むものと仮定すると、次に処理は、任意選択的
にデータがパフォーマンスを考慮して処理されているか
どうかを決定する（ステップ９０６）。パフォーマンス
が考慮されていなければ、本発明のこの局面で得られる
パフォーマンスの向上は不要であり、ＭＰＥＧ標準によ
って定義される従来の可変長符号化に従って、量子化さ
れた係数が可変長符号化され（ステップ９０８）、従来
の符号化ブロック・パターンが決定されて、ビットスト
リームへ出力するために送られる（ステップ９１０）。
次に、マクロブロックの可変長符号化は完了する（ステ
ップ９２４）。パフォーマンスが考慮されるモードであ
るか、その質問が省略される場合、処理はステップ９０
６からステップ９１２に進み、目標のビット・レートが
所定のレート（たとえば２０Ｍｂｐｓ）よりも大きいか
どうかが決定される。所定のレートよりも大きい場合、
固定符号化ブロック・パターン（ＦＣＢＰ）モードが設
定される（ステップ９１４）。目標のビット・レートが
所定のレートよりも小さい場合、本発明のこの局面に従
ったパフォーマンスの向上は不要であり、処理は前述し
たように符号化と決定のステップ（ステップ９０８およ
び９１０）へ進む。
【００６２】他方、ビット・レートが所定のビット・レ
ートよりも大きい場合、ＦＣＢＰモードが設定された後
に（ステップ９１４）、ＦＣＢＰヘッダ、すなわちオー
ル１の符号化ブロック・パターンが生成され、ビットス
トリームへ送られる（ステップ９１６）。次に、マクロ
ブロックの各ブロックが検査され、そのブロックがオー
ル・ゼロを有するかどうかが決定される（ステップ９１
８）。オール・ゼロを有しない場合、ブロックの量子化
された係数が可変長符号化される（ステップ９２２）。
本発明のこの局面に従って、ブロックがオール・ゼロを
有する場合、係数の１つ（たとえば６４番目の係数）が
非ゼロ（たとえば「１」）に設定される（ステップ９２
０）。次に、ブロックは可変長符号化される（ステップ
９２２）。ステップ９１８、９２０、および９２２はマ
クロブロックの各ブロックについて反復され、次にマク
ロブロックの処理が完了する（ステップ９２４）。
【００６３】ビット・レートが高い場合、図１４の処理
は良好に働く。なぜなら、符号化されないブロックが生
じる可能性は比較的小さいからである。しかし、ビット
・レートが低い場合、符号化されないブロックが生じる
可能性は大きくなる。したがって、前述した固定符号化
ブロック・パターンの処理と、同じく前述したパターン
制約処理とを組み合わせることが望ましい。制約を行う
ことによって、ブロック当たりのデータ量は、各ブロッ
クの高周波数係数をゼロにすることによって削減され、
マクロブロックの全体的なサイズが小さくなる。このこ
とは、圧縮ストア・インタフェースが後続の読み出しの
ためにバッファしなければならないデータの量が削減さ
れることを意味する。これは、非イントラ・マクロブロ
ックをバッファする圧縮ストア・インタフェースの必要
性を軽減するものではないが、所定のビット・レート
（たとえば２０Ｍｂｐｓ）よりも遅いビット・レートに
関しては、問題を軽減しパフォーマンスを改善する。
【００６４】言い換えると、本発明は、ビデオ・エンコ
ーダの量子化および可変長符号化を改善することのでき
るマクロブロック・ビット調整方式を提案する。マクロ
ブロック中の係数を選択的にまた部分的に制約すること
によって、ビット・レートの調整が達成され、ビット・
レートとピクチャ品質のバランスが改善される。たとえ
ば、高周波数係数をゼロにするように制約パターンを設
定すると、それだけ低周波数係数に多くのビットを割り
振ることができる。それによって、より細かな量子化ス
テップ・サイズを使用して、さらに詳細度の高いピクチ
ャ・ディテールを捕捉することができる。パターンの制
約は、すべてのマクロブロックに適用するか、非イント
ラ・マクロブロックにのみ適用することができる。部分
的制約パターンは広範囲に決めることができる。
【００６５】さらに、ＭＰＥＧ標準によって、可変長符
号化器からの出力として定義される符号化ブロック・パ
ターンを固定する（あらかじめ決定する）ことによっ
て、パフォーマンスを改善することができる。符号化ブ
ロック・パターンをあらかじめ決定することによって、
マクロブロック全体に相互存量の可変長符号化データを
圧縮ストア・インタフェースでバッファする必要はな
い。これは特にビット・レートが高いときに有効に働
く。なぜなら、符号化されないブロックが生じる可能性
は小さいからである。
【００６６】ビット・レートが低いマクロブロックの場
合、パターン制約によって、マクロブロックの全体的な
サイズが小さくなり、したがって圧縮ストア・インタフ
ェースでバッファした後に読み出す必要があるデータの
量が削減される。これは、圧縮ストア・インタフェース
が低ビット・レートの非イントラ・マクロブロックをバ
ッファしなければならない必要性をなくすものではない
が、パフォーマンスは改善される。
【００６７】本発明は特定の実施例に従って詳細に説明
されたが、多くの変更が当業者によって可能であろう。
そのような変更のすべては、本発明の真の趣旨と範囲内
で、特許請求の範囲によりカバーされることが意図され
ている。
【００６８】まとめとして、本発明の構成に関して以下
の事項を開示する。 （１）複数の行を有し、各行が複数のマクロブロックを
含み、各マクロブロックが係数を含むピクチャを符号化
する方法であって、各行内の各マクロブロックについ
て、行内の先行する所定数のマクロブロックがビット・
レートの制限を超過したかどうかを決定するステップ
と、マクロブロックを符号化するステップと、前記所定
数のマクロブロックが前記ビット・レートの制限を超過
した場合、マクロブロックのビット・レートを減少させ
るためにマクロブロックの選択された係数をゼロにする
制約パターンをマクロブロックに適用するステップとを
含む、ピクチャの符号化方法。 （２）前記制約パターンをマクロブロックへ適用する前
記ステップが、マクロブロックの高周波数係数をゼロに
し、マクロブロックの低周波数係数を維持するステップ
を含む、上記（１）に記載のピクチャの符号化方法。 （３）マクロブロックに適用される制約パターンがプロ
グラム可能となるように、適用される制約パターンを複
数の制約パターンから選択するステップを含む、上記
（１）に記載のピクチャの符号化方法。 （４）前記複数の制約パターンが複数の斜行制約パター
ンを含み、各斜行制約パターンが高周波数係数をゼロに
し低周波数係数を維持する、上記（３）に記載のピクチ
ャの符号化方法。 （５）マクロブロックのために目標ビット・レートを決
定し、該目標ビット・レートに基づいて適用される制約
パターンを選択するステップを含む、上記（３）に記載
のピクチャの符号化方法。 （６）前記目標ビット・レートが所定のレートよりも小
さいときにのみ前記制約パターンを適用するステップを
含む、上記（５）に記載のピクチャの符号化方法。 （７）複数のマクロブロックを有し、各マクロブロック
が係数を含むピクチャを符号化する方法であって、各マ
クロブロックについて、マクロブロックの係数を符号化
するステップと、マクロブロックのために目標ビット・
レートを決定するステップと、前記目標ビット・レート
が所定のレートよりも小さいときにマクロブロックの選
択された係数をゼロにする制約パターンを係数に適用す
るステップとを含む、ピクチャの符号化方法。 （８）前制約パターンをマクロブロックへ適用する前記
ステップが、マクロブロックの選択された高周波数係数
をゼロにし、マクロブロックの低周波数係数を維持する
ステップを含む、上記（７）に記載のピクチャの符号化
方法。 （９）マクロブロックへ適用される制約パターンを、複
数の制約パターンから選択するステップを含む、上記
（７）に記載のピクチャの符号化方法。 （１０）各マクロブロックの係数がブロックとして配列
され、ピクチャが非イントラ・ピクチャを含むかどうか
を決定するステップが符号化方法に含まれ、ピクチャが
非イントラ・ピクチャを含むとき、各マクロブロックに
ついて、マクロブロックの各ブロックが少なくとも１つ
の非ゼロ係数を含むことを示す固定符号化ブロック・パ
ターンをマクロブロックのために生成してビットストリ
ーム中に出力するステップと、マクロブロックの各ブロ
ックが少なくとも１つの非ゼロ係数を含むことを保証す
るステップとを含む、上記（７）に記載のピクチャの符
号化方法。 （１１）前記保証にするステップが、オール・ゼロを有
するブロックを識別し、該ブロックの１つの係数を非ゼ
ロの値へ設定するステップを含む、上記（１０）に記載
のピクチャの符号化方法。 （１２）前記符号化するステップが、前記目標ビット・
レートが前記所定のレートよりも小さいときマクロブロ
ックの係数を可変長符号化し、その後で、前記固定符号
化ブロック・パターンを生成する前記ステップと前記保
証にするステップを実行することなくマクロブロックの
ために従来の符号化ブロック・パターンを決定するステ
ップを含む、上記（１０）に記載のピクチャの符号化方
法。 （１３）前記目標ビット・レートが前記所定のレートよ
りも大きいとき、前記固定符号化ブロック・パターンを
生成するステップおよび前記保証にするステップを実行
し、その後でマクロブロックの係数を可変長符号化する
ステッを含む、上記（１０）に記載のピクチャの符号化
方法。 （１４）複数のマクロブロックを有し、各マクロブロッ
クが複数のブロックに配列された係数を含む非イントラ
・ピクチャのマクロブロックを符号化する方法であっ
て、マクロブロックの各ブロックが少なくとも１つの非
ゼロ係数を含むことを示す固定符号化ブロック・パター
ンをマクロブロックのために生成してビットストリーム
中に出力するステップと、マクロブロックの各ブロック
が少なくとも１つの非ゼロ係数を含むことを保証にする
ステップとを含む、マクロブロックの符号化方法。 （１５）前記保証するステップが、オール・ゼロを有す
るブロックを識別し、該ブロックの１つの係数を非ゼロ
の値へ設定するステップを含む、上記（１４）に記載の
マクロブロックの符号化方法。 （１６）マクロブロック目標ビット・レートが所定のレ
ートを超過するかどうかを決定するステップを含み、前
記目標ビット・レートが前記所定のレートよりも大きい
ときだけ前記出力するステップおよび前記保証するステ
ップを実行する、上記（１４）に記載のマクロブロック
の符号化方法。 （１７）前記目標ビット・レートが前記所定のレートよ
りも小さいとき、前記マクロブロックの前記係数を可変
長符号化し、その後で、前記固定符号化ブロック・パタ
ーンを生成するステップおよび前記保証するステップを
実行することなく、マクロブロックのブロックから従来
の符号化ブロック・パターンを決定してビットストリー
ムへ出力するステップを含む、上記（１６）に記載のマ
クロブロックの符号化方法。 （１８）非イントラ・ピクチャの符号化のためにパフォ
ーマンスを考慮しないモードであるかどうかを決定する
ステップを含み、パフォーマンスを考慮しないモードで
あれば、マクロブロックの係数を可変長符号化し、マク
ロブロックのために従来の符号化ブロック・パターンを
決定し、前記固定符号化ブロック・パターンを生成する
ステップおよび前記保証するステップを実行することな
く、符号化ブロック・パターンおよび可変長符号化され
た係数をビットストリーム中に出力するステップを含
む、上記（１６）に記載のマクロブロックの符号化方
法。 （１９）複数の行を有し、各行が複数のマクロブロック
を含み、各マクロブロックが係数を含むピクチャを符号
化する装置であって、各行内の各マクロブロックについ
て行内の先行する所定数のマクロブロックがビット・レ
ートの制限を超過したかどうかを決定する手段と、前記
決定する手段に応答して、前記所定数のマクロブロック
がビット・レートの制限を超過したとき、マクロブロッ
クのビット・レートを削減するためマクロブロックの選
択された係数をゼロにする制約パターンを、マクロブロ
ックへ適用するパターン制約ロジックとを備えた、ピク
チャの符号化装置。 （２０）前記パターン制約ロジックに結合された記憶手
段を含み、前記記憶手段は前記パターン制約ロジックの
ために前記制約パターンを含み、前記記憶手段内の複数
の制約パターンから制約パターンを選択する手段を含
む、上記（１９）に記載のピクチャの符号化装置。 （２１）前記制約パターンを選択する手段が、マクロブ
ロックのためにビット・レートを決定し、該ビット・レ
ートに基づいて制約パターンを選択する手段を含む、上
記（２０）に記載のピクチャの符号化装置。 （２２）各マクロブロックの係数がブロックとして配列
され、前記制約パターンが斜行制約パターンを含み、前
記パターン制約ロジックは前記斜行制約パターンを前記
マクロブロックの各ブロックへ適用する手段を含み、前
記斜行制約パターンはマクロブロックの各ブロックの高
周波数係数をゼロにし、マクロブロックの各ブロックの
低周波数係数を維持する、上記（２１）に記載のピクチ
ャの符号化装置。 （２３）複数のマクロブロックを有し、各マクロブロッ
クが係数を含むピクチャのマクロブロックを符号化する
装置であって、マクロブロックの係数を量子化する手段
と、前記マクロブロックの目標ビット・レートを決定す
る手段と、目標ビット・レートが所定のレートよりも小
さいとき、マクロブロックのビット・レートを削減する
ためにマクロブロックの選択された係数をゼロにする制
約パターンをマクロブロックへ適用するパターン制約ロ
ジックとを備えた、マクロブロックの符号化装置。 （２４）前記パターン制約ロジックが、マクロブロック
の選択された高周波数係数をゼロにするために前記制約
パターンを適用し、マクロブロックの低周波数係数を維
持する、上記（２３）に記載のマクロブロックの符号化
装置。 （２５）マクロブロックのビット・レートに基づいてマ
クロブロックへ適用される制約パターンを選択する手段
を含む、上記（２３）に記載のマクロブロックの符号化
装置。 （２６）前記選択する手段が、複数の所定の制約パター
ンを記憶する手段と、前記複数の所定の制約パターンか
ら制約パターンを選択する手段とを含む、上記（２５）
に記載のマクロブロックの符号化装置。 （２７）各マクロブロックの係数がブロックとして配列
され、ピクチャが非イントラ・ピクチャを含む符号化装
置において、マクロブロックの各ブロックが少なくとも
１つの非ゼロ係数を含むことを示す固定符号化ブロック
・パターンをマクロブロックのために生成してビットス
トリーム中に出力する手段と、前記出力する手段に応答
して、マクロブロックの各ブロックが少なくとも１つの
非ゼロ係数を含むことを保証する手段とを備えた、上記
（２３）に記載のマクロブロックの符号化装置。 （２８）前記保証する手段が、オール・ゼロを有するブ
ロックを識別し、該ブロックの１つの係数を非ゼロの値
へ設定する手段を含む、上記（２７）に記載のマクロブ
ロックの符号化装置。 （２９）前記目標ビット・レートが前記所定のレートよ
りも小さいときにマクロブロックの係数を可変長符号化
し、その後でマクロブロックのために従来の符号化ブロ
ック・パターンを決定する手段を含む、上記（２７）に
記載のマクロブロックの符号化装置。 （３０）複数のマクロブロックを有し、各マクロブロッ
クが複数のブロックとして配列された係数を含む非イン
トラ・ピクチャのマクロブロックを符号化する装置であ
って、マクロブロックの各ブロックが少なくとも１つの
非ゼロ係数を含むことを示す固定符号化ブロック・パタ
ーンをマクロブロックのために生成してビットストリー
ム中に出力する手段と、前記固定符号化ブロック・パタ
ーンを出力した後で、マクロブロックの各ブロックが少
なくとも１つの非ゼロ係数を含むことを保証する手段と
を備えた、マクロブロックの符号化装置。 （３１）前記保証する手段が、オール・ゼロを有するブ
ロックを識別し、該ブロックの１つの係数を非ゼロの値
へ設定する手段を含む、上記（３０）に記載のマクロブ
ロックの符号化装置。 （３２）マクロブロックの目標ビット・レートが所定の
レートを超過するかどうかを決定する手段を含み、前記
出力する手段および前記保証する手段が、前記目標ビッ
ト・レートが前記所定のレートを超過するときにのみ前
記固定符号化ブロック・パターンが生成されるように、
前記決定する手段に応答する、上記（３０）に記載のマ
クロブロックの符号化装置。 （３３）前記目標ビット・レートが前記所定のレートよ
りも小さいときマクロブロックの係数を可変長符号化
し、その後で、マクロブロックのブロックから従来の符
号化ブロック・パターンを決定する手段を含む、上記
（３２）に記載のマクロブロックの符号化装置。
【図面の簡単な説明】
【図１】離散コサイン変換ユニット２１、量子化ユニッ
ト２３、可変長符号化ユニット２５、逆量子化ユニット
２９、逆離散コサイン変換ユニット３１、動き補償ユニ
ット４１、フレーム・メモリ４２、および動き推定ユニ
ット４３を含む、ＭＰＥＧ２準拠のエンコーダ１１の概
略的流れ図である。データ通路はｉ番目のピクチャ入力
１１１、差分データ１１２、動きベクトル１１３、ピク
チャ出力１２１、動き推定および補償用のフィードバッ
ク・ピクチャ出力１３１、および再構成ピクチャ１０１
を含む。この図は、ｉ番目のピクチャがフレーム・メモ
リ４２（フレーム・ストア）に存在し、（ｉ＋１）番目
のピクチャが動き推定を使用して符号化されているもの
と想定する。
【図２】Ｉ、Ｐ、およびＢピクチャ、それらの表示順序
と伝送順序、順方向および逆方向の動き予測を示す図で
ある。
【図３】現在のフレームまたはピクチャにある動き推定
ブロックから後続または先行のフレームまたはピクチャ
にある最良一致ブロックへの探索を示す図である。マク
ロブロック２１１およびマクロブロック２１１'は、２
つのピクチャにおける同じ位置を表す。
【図４】ブロックが動きベクトルに従って前のピクチャ
の位置から新しいピクチャへ移動する様子、および前の
ピクチャのブロックが動きベクトルを使用した後に調整
される様子を示す図である。
【図５】本発明の３つのエンコーダ・チップの組み合わ
せを示す図である。これらのチップはイントラ・チップ
（イントラ・プロセッサ）６０１、再構成チップまたは
再構成プロセッサとも呼ばれる参照チップ（参照プロセ
ッサ）８０１、探索チップ（探索プロセッサ）９０１で
ある。これらのチップには、ＤＲＡＭチップおよびＳＲ
ＡＭチップを含むＲＡＭチップ５３１、５３３、および
５３５が組み合わせられている。イントラ・チップ（イ
ントラ・プロセッサ）はホスト・プロセッサ・インタフ
ェースを含み、ディジタル化されフィルタされたビデオ
入力５４１を受け取り、圧縮されたビデオ出力５４３を
生成する。
【図６】ホスト・インタフェース６１１、内部ＲＩＳＣ
プロセッサ６２１、動き推定ユニットへのインタフェー
ス６３１、画素データを画素バス６４３から受け取る画
素インタフェース６４１、フレーム・データを外部ＤＲ
ＡＭ６５３との間で受け渡しするフレーム・メモリ・イ
ンタフェース６５１、離散コサイン変換プロセッサ６７
１、量子化ユニット６７３、可変長符号化器（ＶＬＥ）
６７５、ＦＩＦＯバッファ６７７、および圧縮ストア・
インタフェース６７９を有するイントラ・チップ（イン
トラ・プロセッサ）６０１（Ｉフレーム・ビデオ・エン
コーダ・モジュール）を示す図である。
【図７】本発明に従ってパターン制約を使用する量子化
ユニット６７３の１つの実施例を示す図である。
【図８】本発明に従って実施されるパターン制約処理の
フローチャートである。
【図９】低周波数係数が維持され、高周波数係数がゼロ
にされる、本発明に従った１つの選択的制約パターンを
示す図である。
【図１０】図９と同様の、本発明に従った標準制約パタ
ーンを示す図である。
【図１１】より少ない高周波数係数がゼロにされる、高
ビット・レートのための制約パターンを示す図である。
【図１２】より多数の係数がゼロにされる、低ビット・
レートのための制約パターンを示す図である。ここで
も、最低周波数係数は維持される。
【図１３】本発明に従って固定符号化ブロックパターン
（ＦＣＢＰ）モードを使用する可変長符号化器（ＶＬ
Ｅ）６７５の１つの実施例を示す図である。
【図１４】図１３の可変長符号化器（ＶＬＥ）によって
実施される処理のフローチャートである。
【図１５】８ｘ８の係数配列の６４番目の位置に非ゼロ
の係数を含むように変更されたオール・ゼロ・ブロック
の１つの実施例を示す図である。
【符号の説明】
１１ エンコーダ ２１ 離散コサイン変換ユニット ２３ 量子化ユニット ２５ 可変長符号化ユニット ２９ 逆量子化ユニット ３１ 逆離散コサイン変換ユニット ４１ 動き補償ユニット ４２ フレーム・メモリ ４３ 動き推定ユニット １０１ 再構成ピクチャ １１１ ピクチャ入力 １１２ 差分データ １１３ 動きベクトル １２１ ピクチャ出力 １３１ フィードバック・ピクチャ出力 ７００ ＤＣＴ係数個別量子化ロジック ７０２ 量子化マトリクス・テーブル ７０４ スケールＤＣＴ係数量子化 ７０６ 量子化ステップ・サイズ（ｍｑｕａｎｔ） ７１０ パターン制約ロジック ７１２ プログラム可能制約パターン
フロントページの続き (72)発明者 アンガス・イー・ガイ アメリカ合衆国13760、 ニューヨーク州 エンドウェル パートリッジ・プレイス 725 (72)発明者 ステファン・フィリップ・ポクリンチャク アメリカ合衆国13827、 ニューヨーク州 オウェゴ スペンサー・ロード 39

Claims (33)

    【特許請求の範囲】
  1. 【請求項１】複数の行を有し、各行が複数のマクロブロ
    ックを含み、各マクロブロックが係数を含むピクチャを
    符号化する方法であって、 各行内の各マクロブロックについて、行内の先行する所
    定数のマクロブロックがビット・レートの制限を超過し
    たかどうかを決定するステップと、 マクロブロックを符号化するステップと、 前記所定数のマクロブロックが前記ビット・レートの制
    限を超過した場合、マクロブロックのビット・レートを
    減少させるためにマクロブロックの選択された係数をゼ
    ロにする制約パターンをマクロブロックに適用するステ
    ップとを含む、 ピクチャの符号化方法。
  2. 【請求項２】前記制約パターンをマクロブロックへ適用
    する前記ステップが、マクロブロックの高周波数係数を
    ゼロにし、マクロブロックの低周波数係数を維持するス
    テップを含む、請求項１に記載のピクチャの符号化方
    法。
  3. 【請求項３】マクロブロックに適用される制約パターン
    がプログラム可能となるように、適用される制約パター
    ンを複数の制約パターンから選択するステップを含む、
    請求項１に記載のピクチャの符号化方法。
  4. 【請求項４】前記複数の制約パターンが複数の斜行制約
    パターンを含み、各斜行制約パターンが高周波数係数を
    ゼロにし低周波数係数を維持する、請求項３に記載のピ
    クチャの符号化方法。
  5. 【請求項５】マクロブロックのために目標ビット・レー
    トを決定し、該目標ビット・レートに基づいて適用され
    る制約パターンを選択するステップを含む、請求項３に
    記載のピクチャの符号化方法。
  6. 【請求項６】前記目標ビット・レートが所定のレートよ
    りも小さいときにのみ前記制約パターンを適用するステ
    ップを含む、請求項５に記載のピクチャの符号化方法。
  7. 【請求項７】複数のマクロブロックを有し、各マクロブ
    ロックが係数を含むピクチャを符号化する方法であっ
    て、 各マクロブロックについて、マクロブロックの係数を符
    号化するステップと、 マクロブロックのために目標ビット・レートを決定する
    ステップと、 前記目標ビット・レートが所定のレートよりも小さいと
    きにマクロブロックの選択された係数をゼロにする制約
    パターンを係数に適用するステップとを含む、 ピクチャの符号化方法。
  8. 【請求項８】前制約パターンをマクロブロックへ適用す
    る前記ステップが、マクロブロックの選択された高周波
    数係数をゼロにし、マクロブロックの低周波数係数を維
    持するステップを含む、請求項７に記載のピクチャの符
    号化方法。
  9. 【請求項９】マクロブロックへ適用される制約パターン
    を、複数の制約パターンから選択するステップを含む、
    請求項７に記載のピクチャの符号化方法。
  10. 【請求項１０】各マクロブロックの係数がブロックとし
    て配列され、ピクチャが非イントラ・ピクチャを含むか
    どうかを決定するステップが符号化方法に含まれ、ピク
    チャが非イントラ・ピクチャを含むとき、 各マクロブロックについて、マクロブロックの各ブロッ
    クが少なくとも１つの非ゼロ係数を含むことを示す固定
    符号化ブロック・パターンをマクロブロックのために生
    成してビットストリーム中に出力するステップと、 マクロブロックの各ブロックが少なくとも１つの非ゼロ
    係数を含むことを保証するステップとを含む、 請求項７に記載のピクチャの符号化方法。
  11. 【請求項１１】前記保証にするステップが、オール・ゼ
    ロを有するブロックを識別し、該ブロックの１つの係数
    を非ゼロの値へ設定するステップを含む、請求項１０に
    記載のピクチャの符号化方法。
  12. 【請求項１２】前記符号化するステップが、前記目標ビ
    ット・レートが前記所定のレートよりも小さいときマク
    ロブロックの係数を可変長符号化し、その後で、前記固
    定符号化ブロック・パターンを生成する前記ステップと
    前記保証にするステップを実行することなくマクロブロ
    ックのために従来の符号化ブロック・パターンを決定す
    るステップを含む、請求項１０に記載のピクチャの符号
    化方法。
  13. 【請求項１３】前記目標ビット・レートが前記所定のレ
    ートよりも大きいとき、前記固定符号化ブロック・パタ
    ーンを生成するステップおよび前記保証にするステップ
    を実行し、その後でマクロブロックの係数を可変長符号
    化するステッを含む、請求項１０に記載のピクチャの符
    号化方法。
  14. 【請求項１４】複数のマクロブロックを有し、各マクロ
    ブロックが複数のブロックに配列された係数を含む非イ
    ントラ・ピクチャのマクロブロックを符号化する方法で
    あって、 マクロブロックの各ブロックが少なくとも１つの非ゼロ
    係数を含むことを示す固定符号化ブロック・パターンを
    マクロブロックのために生成してビットストリーム中に
    出力するステップと、 マクロブロックの各ブロックが少なくとも１つの非ゼロ
    係数を含むことを保証にするステップとを含む、 マクロブロックの符号化方法。
  15. 【請求項１５】前記保証するステップが、オール・ゼロ
    を有するブロックを識別し、該ブロックの１つの係数を
    非ゼロの値へ設定するステップを含む、請求項１４に記
    載のマクロブロックの符号化方法。
  16. 【請求項１６】マクロブロック目標ビット・レートが所
    定のレートを超過するかどうかを決定するステップを含
    み、前記目標ビット・レートが前記所定のレートよりも
    大きいときだけ前記出力するステップおよび前記保証す
    るステップを実行する、請求項１４に記載のマクロブロ
    ックの符号化方法。
  17. 【請求項１７】前記目標ビット・レートが前記所定のレ
    ートよりも小さいとき、前記マクロブロックの前記係数
    を可変長符号化し、その後で、前記固定符号化ブロック
    ・パターンを生成するステップおよび前記保証するステ
    ップを実行することなく、マクロブロックのブロックか
    ら従来の符号化ブロック・パターンを決定してビットス
    トリームへ出力するステップを含む、請求項１６に記載
    のマクロブロックの符号化方法。
  18. 【請求項１８】非イントラ・ピクチャの符号化のために
    パフォーマンスを考慮しないモードであるかどうかを決
    定するステップを含み、パフォーマンスを考慮しないモ
    ードであれば、マクロブロックの係数を可変長符号化
    し、マクロブロックのために従来の符号化ブロック・パ
    ターンを決定し、前記固定符号化ブロック・パターンを
    生成するステップおよび前記保証するステップを実行す
    ることなく、符号化ブロック・パターンおよび可変長符
    号化された係数をビットストリーム中に出力するステッ
    プを含む、請求項１６に記載のマクロブロックの符号化
    方法。
  19. 【請求項１９】複数の行を有し、各行が複数のマクロブ
    ロックを含み、各マクロブロックが係数を含むピクチャ
    を符号化する装置であって、 各行内の各マクロブロックについて行内の先行する所定
    数のマクロブロックがビット・レートの制限を超過した
    かどうかを決定する手段と、 前記決定する手段に応答して、前記所定数のマクロブロ
    ックがビット・レートの制限を超過したとき、マクロブ
    ロックのビット・レートを削減するためマクロブロック
    の選択された係数をゼロにする制約パターンを、マクロ
    ブロックへ適用するパターン制約ロジックとを備えた、 ピクチャの符号化装置。
  20. 【請求項２０】前記パターン制約ロジックに結合された
    記憶手段を含み、前記記憶手段は前記パターン制約ロジ
    ックのために前記制約パターンを含み、前記記憶手段内
    の複数の制約パターンから制約パターンを選択する手段
    を含む、請求項１９に記載のピクチャの符号化装置。
  21. 【請求項２１】前記制約パターンを選択する手段が、マ
    クロブロックのためにビット・レートを決定し、該ビッ
    ト・レートに基づいて制約パターンを選択する手段を含
    む、請求項２０に記載のピクチャの符号化装置。
  22. 【請求項２２】各マクロブロックの係数がブロックとし
    て配列され、前記制約パターンが斜行制約パターンを含
    み、前記パターン制約ロジックは前記斜行制約パターン
    を前記マクロブロックの各ブロックへ適用する手段を含
    み、前記斜行制約パターンはマクロブロックの各ブロッ
    クの高周波数係数をゼロにし、マクロブロックの各ブロ
    ックの低周波数係数を維持する、請求項２１に記載のピ
    クチャの符号化装置。
  23. 【請求項２３】複数のマクロブロックを有し、各マクロ
    ブロックが係数を含むピクチャのマクロブロックを符号
    化する装置であって、 マクロブロックの係数を量子化する手段と、 前記マクロブロックの目標ビット・レートを決定する手
    段と、目標ビット・レートが所定のレートよりも小さい
    とき、マクロブロックのビット・レートを削減するため
    にマクロブロックの選択された係数をゼロにする制約パ
    ターンをマクロブロックへ適用するパターン制約ロジッ
    クとを備えた、 マクロブロックの符号化装置。
  24. 【請求項２４】前記パターン制約ロジックが、マクロブ
    ロックの選択された高周波数係数をゼロにするために前
    記制約パターンを適用し、マクロブロックの低周波数係
    数を維持する、請求項２３に記載のマクロブロックの符
    号化装置。
  25. 【請求項２５】マクロブロックのビット・レートに基づ
    いてマクロブロックへ適用される制約パターンを選択す
    る手段を含む、請求項２３に記載のマクロブロックの符
    号化装置。
  26. 【請求項２６】前記選択する手段が、複数の所定の制約
    パターンを記憶する手段と、前記複数の所定の制約パタ
    ーンから制約パターンを選択する手段とを含む、請求項
    ２５に記載のマクロブロックの符号化装置。
  27. 【請求項２７】各マクロブロックの係数がブロックとし
    て配列され、ピクチャが非イントラ・ピクチャを含む符
    号化装置において、 マクロブロックの各ブロックが少なくとも１つの非ゼロ
    係数を含むことを示す固定符号化ブロック・パターンを
    マクロブロックのために生成してビットストリーム中に
    出力する手段と、 前記出力する手段に応答して、マクロブロックの各ブロ
    ックが少なくとも１つの非ゼロ係数を含むことを保証す
    る手段とを備えた、 請求項２３に記載のマクロブロックの符号化装置。
  28. 【請求項２８】前記保証する手段が、オール・ゼロを有
    するブロックを識別し、該ブロックの１つの係数を非ゼ
    ロの値へ設定する手段を含む、請求項２７に記載のマク
    ロブロックの符号化装置。
  29. 【請求項２９】前記目標ビット・レートが前記所定のレ
    ートよりも小さいときにマクロブロックの係数を可変長
    符号化し、その後でマクロブロックのために従来の符号
    化ブロック・パターンを決定する手段を含む、請求項２
    ７に記載のマクロブロックの符号化装置。
  30. 【請求項３０】複数のマクロブロックを有し、各マクロ
    ブロックが複数のブロックとして配列された係数を含む
    非イントラ・ピクチャのマクロブロックを符号化する装
    置であって、 マクロブロックの各ブロックが少なくとも１つの非ゼロ
    係数を含むことを示す固定符号化ブロック・パターンを
    マクロブロックのために生成してビットストリーム中に
    出力する手段と、 前記固定符号化ブロック・パターンを出力した後で、マ
    クロブロックの各ブロックが少なくとも１つの非ゼロ係
    数を含むことを保証する手段とを備えた、 マクロブロックの符号化装置。
  31. 【請求項３１】前記保証する手段が、オール・ゼロを有
    するブロックを識別し、該ブロックの１つの係数を非ゼ
    ロの値へ設定する手段を含む、請求項３０に記載のマク
    ロブロックの符号化装置。
  32. 【請求項３２】マクロブロックの目標ビット・レートが
    所定のレートを超過するかどうかを決定する手段を含
    み、前記出力する手段および前記保証する手段が、前記
    目標ビット・レートが前記所定のレートを超過するとき
    にのみ前記固定符号化ブロック・パターンが生成される
    ように、前記決定する手段に応答する、請求項３０に記
    載のマクロブロックの符号化装置。
  33. 【請求項３３】前記目標ビット・レートが前記所定のレ
    ートよりも小さいときマクロブロックの係数を可変長符
    号化し、その後で、マクロブロックのブロックから従来
    の符号化ブロック・パターンを決定する手段を含む、請
    求項３２に記載のマクロブロックの符号化装置。
JP13516798A 1997-05-20 1998-05-18 ピクチャの符号化方法および符号化装置 Expired - Fee Related JP3529624B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/859544 1997-05-20
US08/859,544 US6111913A (en) 1997-05-20 1997-05-20 Macroblock bit regulation schemes for video encoder

Publications (2)

Publication Number Publication Date
JPH118849A true JPH118849A (ja) 1999-01-12
JP3529624B2 JP3529624B2 (ja) 2004-05-24

Family

ID=25331174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13516798A Expired - Fee Related JP3529624B2 (ja) 1997-05-20 1998-05-18 ピクチャの符号化方法および符号化装置

Country Status (4)

Country Link
US (1) US6111913A (ja)
JP (1) JP3529624B2 (ja)
KR (1) KR100313284B1 (ja)
MY (1) MY119636A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251758A (ja) * 2006-03-17 2007-09-27 Fujitsu Ltd 動画像符号装置及び方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6352535B1 (en) * 1997-09-25 2002-03-05 Nanoptics, Inc. Method and a device for electro microsurgery in a physiological liquid environment
KR100298397B1 (ko) * 1998-02-03 2001-08-07 구자홍 비디오디코딩시스템
US6961378B1 (en) * 1998-11-05 2005-11-01 International Business Machines Corporation On-chip dynamic buffer level indicators for digital video encoder
US6724817B1 (en) * 2000-06-05 2004-04-20 Amphion Semiconductor Limited Adaptive image data compression
KR20020001062A (ko) * 2000-06-24 2002-01-09 박종섭 응용분야에 적응적인 엠펙 영상압축 부호화기
US20020054211A1 (en) * 2000-11-06 2002-05-09 Edelson Steven D. Surveillance video camera enhancement system
US7366236B1 (en) 2001-06-04 2008-04-29 Cisco Sytems Canada Co. Source adaptive system and method for 2D iDCT
US7656949B1 (en) * 2001-06-27 2010-02-02 Cisco Technology, Inc. Methods and apparatus for performing efficient inverse transform operations
US6934330B2 (en) * 2001-08-01 2005-08-23 Sony Corporation Image processing apparatus
KR100450844B1 (ko) * 2002-02-21 2004-10-01 (주)씨앤에스 테크놀로지 비디오 코덱 프로세서의 아키텍쳐
US7564382B2 (en) * 2002-11-15 2009-07-21 Qualcomm Incorporated Apparatus and method for multiple description encoding
US7995849B2 (en) * 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
KR20050075578A (ko) * 2004-01-16 2005-07-21 삼성전자주식회사 폐루프 최적화를 지원하는 스케일러블 비디오 엔코딩 방법및 장치
KR20050077874A (ko) * 2004-01-28 2005-08-04 삼성전자주식회사 스케일러블 비디오 스트림 송신 방법 및 이를 이용한 장치
JP3846489B2 (ja) * 2004-05-10 2006-11-15 セイコーエプソン株式会社 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
US20060008009A1 (en) * 2004-07-09 2006-01-12 Nokia Corporation Method and system for entropy coding for scalable video codec
US7664176B2 (en) * 2004-07-09 2010-02-16 Nokia Corporation Method and system for entropy decoding for scalable video bit stream
US20100260258A1 (en) * 2007-12-13 2010-10-14 Kyoko Ueda Image coding device, coding rate conversion device, audio video stream recording device, network distribution system, coefficient conversion device, integrated circuit, and image coding method
US8897365B2 (en) * 2008-11-19 2014-11-25 Nvidia Corporation Video rate control processor for a video encoding process
US8605791B2 (en) * 2008-11-21 2013-12-10 Nvidia Corporation Video processor using an optimized slicemap representation
US10165286B2 (en) 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
US9756468B2 (en) 2009-07-08 2017-09-05 Dejero Labs Inc. System and method for providing data services on vehicles
US10117055B2 (en) 2009-07-08 2018-10-30 Dejero Labs Inc. System and method for providing data services on vehicles
US8942215B2 (en) 2010-07-15 2015-01-27 Dejero Labs Inc. System and method for transmission of data from a wireless mobile device over a multipath wireless router
US8675730B2 (en) * 2009-07-13 2014-03-18 Nvidia Corporation Macroblock grouping in a destination video frame to improve video reconstruction performance
TWI405467B (zh) * 2009-11-25 2013-08-11 Novatek Microelectronics Corp 影像壓縮的位元速率控制電路與方法
KR101743482B1 (ko) 2010-01-22 2017-06-07 삼성전자주식회사 영역 기반의 부호화/복호화 장치 및 방법
GB2495460B8 (en) * 2010-07-15 2015-06-10 Dejero Labs Inc A System and method for transmission of data signals over a wireless network
EP2947879B1 (en) * 2013-01-17 2018-11-07 Samsung Electronics Co., Ltd. Method for decoding video on basis of decoder setting
KR102249819B1 (ko) * 2014-05-02 2021-05-10 삼성전자주식회사 시스템 온 칩과 이를 포함하는 데이터 처리 시스템
US20160360206A1 (en) * 2015-06-04 2016-12-08 Microsoft Technology Licensing, Llc Rate controller for real-time encoding and transmission
US10312927B1 (en) * 2018-03-26 2019-06-04 Qualcomm Incorporated Calibration for time-interleaved analog-to-digital converters and signal generators therefor

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2062200A1 (en) * 1991-03-15 1992-09-16 Stephen C. Purcell Decompression processor for video applications
JP2549479B2 (ja) * 1991-12-06 1996-10-30 日本電信電話株式会社 動き補償フレーム間帯域分割符号化処理方法
US5493513A (en) * 1993-11-24 1996-02-20 Intel Corporation Process, apparatus and system for encoding video signals using motion estimation
US6356663B1 (en) * 1994-09-09 2002-03-12 Intel Corporation Processing image signals using spatial decomposition
US5644504A (en) * 1995-03-27 1997-07-01 International Business Machines Corporation Dynamically partitionable digital video encoder processor
US5526054A (en) * 1995-03-27 1996-06-11 International Business Machines Corporation Apparatus for header generation
US5936673A (en) * 1995-05-26 1999-08-10 Intel Corporation Temporal tile staggering for block based video compression
US5929916A (en) * 1995-12-26 1999-07-27 Legall; Didier J. Variable bit rate encoding
US5872598A (en) * 1995-12-26 1999-02-16 C-Cube Microsystems Scene change detection using quantization scale factor rate control
US5768537A (en) * 1996-02-22 1998-06-16 International Business Machines Corporation Scalable MPEG2 compliant video encoder
US5748240A (en) * 1996-03-15 1998-05-05 International Business Machines Corporation Optimal array addressing control structure comprising an I-frame only video encoder and a frame difference unit which includes an address counter for addressing memory addresses
US5870144A (en) * 1997-03-28 1999-02-09 Adaptec, Inc. Reduced-quality resolution digital video encoder/decoder

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251758A (ja) * 2006-03-17 2007-09-27 Fujitsu Ltd 動画像符号装置及び方法
US8761264B2 (en) 2006-03-17 2014-06-24 Fujitsu Limited Apparatus and method for coding moving pictures

Also Published As

Publication number Publication date
MY119636A (en) 2005-06-30
KR19980086614A (ko) 1998-12-05
JP3529624B2 (ja) 2004-05-24
US6111913A (en) 2000-08-29
KR100313284B1 (ko) 2001-12-12

Similar Documents

Publication Publication Date Title
JP3529624B2 (ja) ピクチャの符号化方法および符号化装置
US6081622A (en) Optimized field-frame prediction error calculation method and apparatus in a scalable MPEG-2 compliant video encoder
JP4138056B2 (ja) マルチスタンダード脱圧縮及び／又は圧縮装置
US11375187B2 (en) Apparatus and method for filtering in video coding with look-up table selected based on bitstream information
US5812788A (en) Encoding/decoding video signals using quantization tables based on explicitly encoded base and scale matrices
US5864637A (en) Method and apparatus for improved video decompression by selective reduction of spatial resolution
EP0585051B1 (en) Image processing method and apparatus
US5748240A (en) Optimal array addressing control structure comprising an I-frame only video encoder and a frame difference unit which includes an address counter for addressing memory addresses
JPH104550A (ja) Ｍｐｅｇ−２復号方法及びｍｐｅｇ−２ビデオ復号器
US5835148A (en) Apparatus for parallel decoding of digital video signals
KR100305485B1 (ko) 화질을최적화하기위한화상처리방법및디지탈비디오부호화기시스템
US20080123748A1 (en) Compression circuitry for generating an encoded bitstream from a plurality of video frames
US6999511B1 (en) Dynamically switching quant matrix tables within an MPEG-2 encoder
US6532265B1 (en) Method and system for video compression
JPH08275149A (ja) データ符号化方法
KR100683380B1 (ko) 영상 압축 부호화를 위한 변환 및 역변환 방법 및 장치
JP2000050263A (ja) 画像符号化並びに復号化装置及びこれを用いた撮像装置
US6118823A (en) Control scheme for shared-use dual-port predicted error array
US7330595B2 (en) System and method for video data compression
US20030147468A1 (en) Image data coding apparatus capable of promptly transmitting image data to external memory
JPH08163561A (ja) 画像データ圧縮装置
Ngai et al. A scalable chip set for MPEG2 real-time encoding
JP2004236321A (ja) ビデオデータ圧縮のための装置及び方法
JP2002077912A (ja) 画像符号化装置
KR20060034269A (ko) 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040225

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090305

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100305

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees