JP2818340B2 - モーション・ビデオ圧縮システムおよび方法 - Google Patents

モーション・ビデオ圧縮システムおよび方法

Info

Publication number
JP2818340B2
JP2818340B2 JP4295717A JP29571792A JP2818340B2 JP 2818340 B2 JP2818340 B2 JP 2818340B2 JP 4295717 A JP4295717 A JP 4295717A JP 29571792 A JP29571792 A JP 29571792A JP 2818340 B2 JP2818340 B2 JP 2818340B2
Authority
JP
Japan
Prior art keywords
image
coding
processing
degree
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4295717A
Other languages
English (en)
Other versions
JPH05252507A (ja
Inventor
シーザー・オーガスト・ゴンザレス
エリック・ヴィシート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH05252507A publication Critical patent/JPH05252507A/ja
Application granted granted Critical
Publication of JP2818340B2 publication Critical patent/JP2818340B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、データ圧縮の分野に関
し、より詳しくは国際標準化機構(ISO)の移動画像
専門グループ(MPEG)によって提唱された新しくで
きたMPEG標準と類似のアルゴリズムと一緒に使える
ようにディジタル・モーション・ビデオ信号を圧縮する
ためのシステム及び技法に関する。
【0002】
【従来の技術】ディジタル伝送ネットワーク、ディジタ
ル記憶媒体、超大規模集積(VLSI)デバイス、なら
びにビデオ信号及びオーディオ信号のディジタル処理に
おける技術的進歩は、ディジタル・ビデオ信号の伝送及
び記憶を広範な応用例で経済的なものにすることに収束
しつつある。ディジタル・ビデオ信号の記憶及び伝送は
多くの応用例にとって中心課題であり、かつビデオ信号
の非圧縮表示には大量の記憶域を要するので、この発展
しつつある技術にとって、ディジタル・ビデオ圧縮技術
の使用はきわめて重要である。この点に関して、過去1
0年間にディジタル・ビデオ信号の圧縮に関するいくつ
かの国際標準が出現し、現在開発中のものもさらに多
い。これらの標準は、ビデオ電話と遠隔会議、同軸ネッ
トワーク及び光ファイバ・ネットワークならびに地上放
送及び通信衛星による高品質ディジタル・テレビ放送、
CD ROMやディジタル・オーディオ・テープやウィ
ンチェスター・ディスク・ドライブ上の対話式マルチメ
ディア製品など様々な応用例における、圧縮ディジタル
・ビデオ信号の伝送及び記憶のためのアルゴリズムに適
用される。
【0003】これらの標準のいくつか、たとえばCCI
TT(国際電信電話諮問委員会)勧告II.120、C
CITT勧告II.261、ISO/IEC MPEG
標準などは、圧縮技術の共通コアに基づくアルゴリズム
に関係している。MPEGアルゴリズムは、国際標準化
機構(ISO)と国際電気標準会議(IEC)の共同技
術委員会の移動画像専門グループ(MPEG)によって
開発された。MPEG委員会は、ビデオ信号及び関連す
るオーディオ信号の多重化された圧縮表現に関する標準
を開発してきた。この標準は、圧縮されたビット・スト
リームの構文及び複号の方法を指定しているが、エンコ
ーダに使用されるアルゴリズムの新規性と多様性につい
てはかなりの幅が残されている。
【0004】本発明は、かかるエンコーダに関連して適
用されるので、本発明の理解を容易にするため、MPE
Gビデオ圧縮アルゴリズムのいくつかの該当する側面に
ついて概観することにする。ただし、本発明は、MPE
Gアルゴリズムのいくつかの特徴をもつ、他のビデオ・
コード化アルゴリズムにも適用できる。
【0005】MPEGビデオ圧縮アルゴリズム 始めに、テキストのページ、イメージ、会話の一節、ビ
デオ・シーケンスなどどんなデータ・オブジェクトの圧
縮も、次のような一連のステップと見なすことができる
ことを理解されたい。1)そのオブジェクトを分解して
トークンの集合体にする。2)何らかの意味で最小の長
さをもつ2進ストリングでそれらのトークンを表す。
3)それらのストリングをはっきりした順序で連結す
る。ステップ2と3は損失がなく、すなわち反転時に元
のデータが忠実に回復でき、ステップ2はエントロピー
・コーディングと呼ばれている(たとえば、T.ベルガ
ー(Berger)著^Rate Distortion Theory^、米国ニュー
ジャージー州エングルウッド・クリフス、プレンティス
=ホール社、1977年刊;R.マックエリース(McEliec
e)著^The Theory of Information and Coding^、米国
マサチューセッツ州リーディング、アディソン=ウェズ
リー社、1991年刊;D.A.ハフマン(Huffman)の論
文"A Method for the Construction of Minimum Redund
ancy Codes"、Proc. IRE、pp,1098〜1101、1952年9月;
G.G.ラングドン(Langdon)の論文"An Introductio
n to Arithmetic Coding"、IBM J.Res.Develop、、
Vol.28、pp.135〜149、1984年3月を参照のこと)。ステ
ップ1は、一般に損失がないこともある。大部分のビデ
オ圧縮アルゴリズムは、厳格なビット伝送速度要件のた
めに損失がある。成功を納めている損失のある圧縮アル
ゴリズムでは、冗長な重要でない情報を除去して、視覚
的に重要でないと思われる場合には比較的大きな誤差を
許容し、見る人が非常に敏感なシーケンスの諸側面を注
意深く表現する。MPEGアルゴリズムでステップ1に
使用される技法は、予測的/補間的モーション補償型混
成DCT/DPCMコーディングとして記述できる。ハ
フマン・コード化は、可変調コード化とも呼ばれ(前掲
のハフマンの論文参照)、ステップ2で使用される。前
述のように、MPEG標準は、実際には復号器と圧縮ビ
ット・ストリームの構文の仕様であるが、MPEG仕様
に関する以下の説明は、わかりやすいように、主として
エンコーダの観点から行う。
【0006】MPEGビデオ標準は、ISO−IEC
JTC1/SC2/WG11 MPEG CD−111
72、MPEG委員会草案、1991年に記載されてい
るように、ディジタル記憶媒体用のビデオのコード化表
現を指定している。このアルゴリズムは、非インターレ
ース式成分ビデオに対して作用するように設計されてい
る。各画像(ピクチャ)は、ルミナンス(Y)、赤色差
(Cr)、青色差(Cb)の3成分を有する。Cr成分と
b成分はそれぞれ水平方向と垂直方向にY成分の半分
の数のサンプルを有する。入力データのフォーマットに
関するこの規定以外には、圧縮の準備として原始ビデオ
・シーケンスに対して実行される前処理の量や性質に対
する制限はない。かかる前処理の方法が、本発明の一目
的である。
【0007】MPEGシーケンスの層状構造 MPEGデータ・ストリームはビデオ・ストリームとオ
ーディオ・ストリームからなり、それらがシステム情報
及び多分他のビット・ストリームと共にパッキングされ
て、層状と見なすことのできるシステム・データ・スト
リームになる。MPEGデータ・ストリームのビデオ層
内では、圧縮されたデータがさらに層化される。諸層の
構成について説明すると、本発明の理解に役立つであろ
う。MPEGビデオ層状構造のこれら諸層を図1ないし
4に示す。具体的には、図1は画像群(GOP)の対の
例、図2は画像のマクロブロック(MB)再分割の例、
図3は画像のスライス再分割の例、図4はマクロブロッ
クのブロック再分割を示すものである。
【0008】諸層は、圧縮アルゴリズムの動作、ならび
に圧縮ビット・ストリームの組成に関係する。最高層は
ビデオ・シーケンス層であり、シーケンス全体の制御情
報とパラメータを含む。次の層では、シーケンスは、そ
れぞれ「画像群」(GOP)と呼ばれる数組の連続画像
に再分割される。この層の全体図は、図1に示す。復号
はどのGOPの始めから開始することもでき、前のGO
Pとは基本的に無関係である。GOP中の画像の数に制
限はなく、すべてのGOP中の画像の数を等しくする必
要もない。
【0009】第3の画像層は一つの画像である。この層
の全体図を図2に示す。各画像のルミナンス成分は16
×16領域に再分割され、色差成分は、空間的に16×
16ルミナンス領域と同じ場所にある8×8領域に再分
割される。この同じ場所にあるルミナンス領域と色差領
域は、一緒になって第5の「マクロブロック」(MB)
層を構成する。1つの画像中のマクロブロックは、マク
ロブロック1から順に連続番号をつける。
【0010】画像層とMB層の間に第4の「スライス」
層がある。各スライスは、ある数の連続するMBからな
る。スライスは、画像内でまたは画像同士の間でサイズ
が均一である必要はない。スライスは僅か二三個のマク
ロブロックからなることもあり、図3に示すようにMB
の多数の行にまたがることもある。
【0011】最後に、各MBは図4に示すように4個の
8×8ルミナンス・ブロックと2個の8×8クロミナン
ス・ブロックから構成される。画素中の各ルミナンス画
像の幅をCで表し、高さをRで表す(Cは列を表し、R
は行を表す)と、画像は幅CMB=C/16MB、高さR
MB=R/16MBとなる。同様に、幅CB=C/8ブロ
ック、高さRB=R/8ブロックである。
【0012】シーケンス層、GOP層、画像層、スライ
ス層には、すべて関連するヘッダがついている。ヘッダ
はバイト整列された開始コードで始まり、対応する層に
含まれるデータに関係する情報を含んでいる。
【0013】GOP内には、3種の画像が現れることが
できる。これらの画像タイプ間の他と区別する違いは、
使用する圧縮方法である。第1のタイプである「イント
ラモード(モード内)」画像すなわちI画像は、他のど
の画像とも独立に圧縮される。I画像相互間の間隔には
固定した上限はないが、ランダム・アクセス及び他の特
別な動作モードを容易にするため、しばしばシーケンス
全体に散在するであろうと予想される。各GOPはI画
像で始まり、そのGOP内に別のI画像が現れることも
ある。他の2種の画像タイプである「予測的モーション
補償型」画像(P画像)「双方向モーション補償型」
画像(B画像)については、後でモーション補償に関す
る議論の際に述べる。
【0014】GOP中のI画像、P画像、B画像の数と
順序についてはいくつかの規則が適用される。I画像と
P画像を「アンカ」画像と総称すると、GOPは少なく
とも1個のアンカ画像を含まなければならず、複数個含
んでもよい。さらに隣接するそれぞれのアンカ画像対の
間に、B画像がなくてもまたいくつあってもよい。典型
的なGOPの図を図5に示す。
【0015】I画像におけるマクロブロック・コード化 非常に有用なイメージ圧縮技法の1つは、「変換コード
化」である(N.S.ジャーヤント(Jayant)及びP.
ノル(Noll)著^Digital Coding of Waveforms, Princi
ples and Applications to Speech and Video^、米国ニ
ュージャージー州エングルウッド・クリフス、プレンテ
ィス=ホール社、1984年刊と、A.G.テッシャー(Te
scher)の論文"Transform Image Coding"、W.K.プ
ラット(Pratt)編著^Image Transmission Techniques
^、pp.113〜155、米国ニューヨーク州ニューヨーク、ア
カデミック・プレス社、1979年刊を参照のこと)。MP
EG標準及び他のいくつかの圧縮標準では、離散的余弦
変換(DCT)が好んで選ばれる変換である(K.R.
ラオ(Rao)及びP.イップ(Yip)著^Discrete Cosine
Transform, Algorithms, Advantages, Applications
^、米国カリフォルニア州サンジェゴ、アカデミック・
プレス、1990年刊と、N.アハマド(Ahmed)、T.ナ
タラージャン(Natarajan)、K.R.ラオ(Rao)の論
文"Discrete Cosine Transform"、IEEE Transactio
ns on Computers、pp.90〜93、1974年1月を参照のこ
と)。I画像の圧縮は、 1)画素ブロックのDCTをとる、 2)DCT係数を量子化する、 3)結果をホフマン・コード化するステップによって達
成される。MPEGでは、DCT操作によって、n×n
画素のブロックをn×n組の変換係数に変換する。いく
つかの国際圧縮標準と同様に、MPEGアルゴリズムで
は、8×8のDCTブロック・サイズを使用する。DC
T変換それ自体は損失のない操作であり、それを実施す
るための計算装置とアルゴリズムの精度内でこれに転化
することができる。
【0016】第2のステップであるDCT係数の量子化
は、MPEGアルゴリズムにおける損失の主な発生源で
ある。DCT係数の2次元アレイの諸要素をcmnで表
す。ただし、mとnは0〜7の範囲の値である。そうす
ると、切捨て及び四捨五入による補正は別として、各D
CT係数cmnをwmnQPで割ると、量子化が達成され
る。ただし、wmnは「重み因子」、QPは「量子化パラ
メータ」である。QPは各DCT係数に適用されること
に留意されたい。重み因子wmnは、視覚的に重要度の低
い係数にはより粗い量子化が適用されるようにする。こ
の重みには、I画像用とP画像及びB画像用の2組の重
みがあり得る。カスタム重みをビデオ・シーケンス層中
で伝送してもよく、デフォルト値を使用してもよい。量
子化パラメータQPは、MPEGにおいて品質とビット
伝送速度のトレードオフを行う主な手段である。ある画
像中でMBごとにQPが変わり得ることに留意された
い。この特徴は適応的量子化(AQ)と呼ばれ、各画像
の異なる領域を異なるステップ・サイズで量子化するこ
とができ、各画像中でまた画像相互間で視覚的品質を均
等化(かつ最適化)する試みに使用できる。MPEG標
準は適応的量子化を可能にするが、AQを用いて視覚的
品質を改善するための規則から構成されるアルゴリズム
は、標準化の対象となっていない。AQ用の1クラスの
規則が本発明の1目的である。
【0017】量子化の後に、各MBに関するDCT係数
情報が編成され、1組のハフマン・コードを使ってコー
ド化される。このステップの細部は本発明の理解には不
可欠ではなく、当技術分野で一般に理解されているの
で、ここではこれ以上は述べないことにする。この点に
ついての詳細は、前掲のハフマンの論文を参照された
い。
【0018】モーション補償 大部分のビデオ・シーケンスは、連続する画像間で高度
の相関を示す。画像のコード化の前にこの冗長性を除去
するのに有用な方法が、「モーション補償」である。モ
ーション補償には、場面中でモーションをモデル化し指
定するための何らかの手段が必要である。MPEGで
は、各画像をマクロブロックに区分し、各MBを予測用
画像中で同じ全般的空間位置にある16×16個の領域
と比較する。予測用画像中の、そのMBと何らかの意味
で最も一致する領域を予測として使用する。MBとその
予測子の空間位置の違いを、「モーション・ベクトル」
と呼ぶ。すなわち、あるMBに対するモーション指定及
び補償の出力が、複数のモーション・ベクトル及び1つ
のモーション補償型示差マクロブロックである。これら
のものは、圧縮された形では、一般に元のMBそれ自体
よりも少ないビットしか必要としない。過去に単一の予
測用画像を使って予測的にモーション補償された画像
は、P画像と呼ばれている。この種の予測は、MPEG
では先行予測とも呼ばれる。
【0019】前述のように、P画像とその予測用画像の
間の時間間隔は、1画像間隔より大きいことがあり得
る。P画像間またはI画像とP画像の間にある画像に対
しては、先行予測に加えて逆行予測も使用できる(図5
参照)。かかる画像は、双方向モーション補償型画像
(B画像)と呼ばれる。B画像に対しては、先行予測と
逆行予測に加えて、補間式モーション予測も可能であ
る。この補間式予測では、以前の予測用画像からの1ブ
ロックと将来の予測用画像からの1ブロックの平均が予
測子となる。この場合、2つのモーション・ベクトルが
必要である。
【0020】双方向モーション補償を用いると、図5に
示すような2段式モーション補償構造が得られる。各矢
印はそれぞれ、矢の付根にある画像を使った矢先にある
画像の予測を示す。各P画像は、以前のアンカ画像(状
況に応じてI画像またはP画像)を使ってモーション補
償される。各B画像は、その直前及び直後のアンカ画像
を使ってモーション補償される。MPEGでは、アンカ
画像相互間の間隔にも、I画像相互間の間隔にも、限界
が指定されていない。実際には、これらのパラメータは
あるシーケンス全体を通して一定である必要はない。I
画像相互間の間隔をNで表し、P画像相互間の間隔をM
で表すと、図5に示したシーケンスは、(N,M)=
(9,3)となる。3種の画像タイプをコード化する
際、再構築される画像で同程度の品質レベルを得るのに
必要な圧縮データの量は異なる。厳密な比率は、そのシ
ーケンス内の空間的細部の量や、そのシーケンス内のモ
ーションの量と補償可能性など、多くのものに依存す
る。
【0021】したがって、MPEG−1シーケンスは、
0個、1個または2個以上のP画像を間に挟んだ一連の
I画像からなることを理解されたい。様々なI画像及び
P画像は、その間にB画像を挟まないこともあり、1個
または2個以上挟むこともあり、後者の場合はアンカ画
像として機能する。
【0022】P画像及びB画像におけるマクロブロック
のコード化B画像中のMBに適用されるモーション補償
には、先行、逆行、補間の3種のモードがあることを理
解されたい。エンコーダは、これらのモードのうち1つ
を選択しなければならない。ある種のMBではどのモー
ション補償モードも正確な予測を与えない。そのような
場合は、MBをI画像におけるマクロブロックと同じ方
式で、すなわちイントラモードMBとして処理すること
ができる。これが、可能なもう1つのMBモードであ
る。したがって、P画像及びB画像用には、様々なMB
モードがある。
【0023】各MBをコード化するのに使用するMBモ
ード及びそのモードに関連するモーション・ベクトルに
関するサイド情報をコード化する必要がある以外は、モ
ーション補償型マクロブロックのコード化は、イントラ
モードMBのそれと酷似している。量子化には小さな違
いがあるが、wmn×QPで割るモデルはやはり有効であ
る。さらに、適応的量子化(AQ)を用いてもよい。
【0024】速度制御 MPEGアルゴリズムは、主として固定ビット伝送速度
の記憶媒体と共に使用するためのものである。しかし、
画像処理のタイプが異なり、かつコード化される場面の
空間的時間的複雑さが本来的に経時的に変動するため
に、各画像中のビット数は厳密に一定にはならない。M
PEGアルゴリズムでは、バッファをベースとする速度
制御の戦略を用いて、許されるビット伝送速度の変動に
対して有意な限界を設定する。仮想バッファの形の「ビ
デオ・バッファ検証装置」(VBV)が考案された。そ
の唯一のタスクは、各画像のコード化に使用されるビッ
ト数に限界を設定して、全体的ビット伝送速度が目標割
振りと等しくなり、目標からの短期的逸脱が制限される
ようにすることである。この速度制御方式は次のように
説明できる。バッファとその後の仮説的復号器からなる
システムについて考える。このバッファは、一定のビッ
ト伝送速度で、記憶媒体からのビット・ストリーム中の
圧縮データで充たされる。バッファ・サイズとビット伝
送速度は、圧縮ビット・ストリーム中で伝送されるパラ
メータである。やはりビット・ストリーム中の情報から
導出される初期遅延の後に、仮説的復号器が瞬間的にバ
ッファから最初の画像に関連するすべてのデータを除去
する。その後、復号器は、シーケンスの画像速度に等し
い間隔で、バッファ中の最初期の画像に関連するすべて
のデータを除去する。ビット・ストリームがMPEG速
度制御要件を満足するには、各画像に関するすべてのデ
ータが、復号器が必要とする瞬間にバッファ内で使用可
能となる必要がある。この要件は、各画像中で許される
ビット数に対する上限UVBVと下限LVBVに言い換えられ
る。所与の画像に対する上限と下限は、それに先行する
すべての画像中で使用されるビット数に依存する。この
要件を満足するビット・ストリームを生成するのがエン
コーダの役割である。実際の復号器が上記のように構成
され、あるいは動作するとは期待されない。仮説的復号
器とそれに関連するバッファは、圧縮画像のサイズに計
算可能な限界を設ける手段にすぎない。
【0025】MPEGエンコーダの1つの重要な機能
は、それが生成するビデオ・ビットストリームがそれら
の限界を確実に満足できるようにすることである。シー
ケンス中の画像をコード化するのに使用されるビット数
に対して他の制限はない。この寛容さを利用して、得ら
れる再構築された画像の視覚的品質が均等(かつ最適)
になるような形で、ビットを割り振るべきである。この
ビット割振りの問題に対する解決策が、本発明のもう1
つの目的である。
【0026】
【問題点】したがって、MPEGアルゴリズムについて
の以上の説明から理解できるように、MPEG標準の目
的は、圧縮されたビット・ストリームの構文とその復号
に使用する方法を指定することである。エンコーダ・ア
ルゴリズム及びハードウェアの設計者には、その適用業
務の特定の必要に合わせてそのシステムを調整するのに
かなりの幅が与えられる。また非常に様々な圧縮ビット
伝送速度及びイメージ・サイズが可能である。このた
め、低いビット伝送速度のビデオフォンからVHSビデ
オカセット記録に匹敵する品質の全画面マルチメディア
・プレゼンテーションに至るまでの適用業務に対応でき
る。したがって、本発明で取り組むべき問題は、MPE
G標準によるディジタル・ビデオ・シーケンスの圧縮を
実現し、上記のタイプの技法を適用し、適応的量子化及
びビット伝送速度の制御を使用して、圧縮シーケンスの
視覚的品質を最適にしながら同時にビット・ストリーム
がMPEGの固定ビット伝送速度の要件を満足できるよ
うにすることである。
【0027】
【従来の技術】公開されている文献に、適応的量子化及
びビット伝送速度制御の問題の何らかの側面を取り上げ
た方式がいくつか現れている。たとえば、W−H.チェ
ン(Chen)とW.K.プラット(Pratt)の論文 "Scene
Adaptive Coder"、IEEE Trans. Communications、
Vol. COM-32、pp.225〜232(1984年3月)では、変換係
数用の速度制御式量子化率という考え方について論じて
いる。そこで用いられている速度制御の戦略は、イメー
ジ及びビデオ圧縮アルゴリズムで、コード化時に生じる
可変ビット伝送速度を一定ビット伝送速度のチャネルに
整合させるために一般に適用されている。こうした技術
の詳細は、前掲のテッシャーの著書に出ている。
【0028】上記のチェンとプラットの論文はイメージ
・コーディングを扱っているものの、そこで記述されて
いる考え方はビデオ・コーディングにも適用できるはず
である。しかし、イメージ自体の性質に従って量子化率
を適応させるための機構がない。
【0029】C.T.チェン(Chen)とD.J.ル=ゴ
ール(LeGall)の論文 "A K-th Order Adaptive Transf
orm Coding Algorithm for Image Data Compression."
SPIE、Vol.1153、Applications of Digital Image
Processing XII、Vol.1153、pp.7〜18(1989年)に
は、各ブロック中のk番目に大きなDCT係数の絶対値
に基づいて量子化率を選択する適応的方式が記載されて
いる。
【0030】H.ローシュラー(Lohscheller)の論文
"A Subjectively Adapted Image Communication Syste
m"、IEEE Trans. Communications、Vol. COM-32、p
p.1316〜1322(1984年12月)には、ブロックを分類する
ための技法が提唱されている。
【0031】K.N.ガン(NGAN)、K.S.レオン
(Leong)、H.シン(Singh)の論文"A HVS-Weighed C
osine Transform Coding Scheme with Adaptive Quanti
zation"、SPIE、Vol.1001、Visual Communications
and Image Processing、Vol.1001、pp.702〜708(1988
年)では、速度制御用バッファと、各ブロックのDC項
の、ラスタ走査順でその最隣接ブロックに対するコント
ラストとを併せ用いて量子化率を適応させる、適応的量
子化変換イメージ・コード化方式が提唱されている。
【0032】H.ヘールツェヴィンマー(Hoelzewimme
r)の論文 "Rate Control in Variable Transmission R
ate Image Codes"、SPIE、Vol.1153、Applications
of Digital Image Processing XII、Vol.1153、pp.77
〜89(1989年)には、ビット伝送速度/品質同時制御装
置が論じられている。2つのパラメータを使って、再構
築誤差とビット伝送速度、量子化ステップ・サイズと空
間解像度が制御される。空間定義域重み付き平均二乗誤
差測定値を使ってそれらのパラメータが制御される。
【0033】本発明者等の同時係属の米国特許出版第7
05234号は、適応的量子化の問題を対象としてい
る。そこで開示されている技法が、本発明でサブシステ
ムの1つとして、すなわち適応的量子化速度制御式(A
Q/RC)画像コーダとして使用できる。
【0034】
【発明が解決しようとする課題】上記の従来技術のシス
テム及びアルゴリズムとは異なり、本発明の一目的は、
ISO/IEC MPEGビデオ圧縮標準など、固定ビ
ット伝送速度型圧縮データ・ストリームを発生させるよ
うに意図されたビデオ圧縮アルゴリズムに特に適用さ
れ、かつモーション補償が使用される、ビデオ・シーケ
ンス中の圧縮画像間にビットを割り振るためのシステム
及び技術を提供することにある。
【0035】本発明の他の目的は、ビデオ・シーケンス
中の1画像の異なる諸領域中の変換係数を、その画像に
固定したビット数が最適に割り振られるように、適応的
量子化するためのシステム及び技法を提供し、かつ使用
される実際のビット数がその画像に割り振られた数に近
くなるようにするビット伝送速度誤差フィードバック技
法を提供することである。原理的には、このシステム
は、可変ビット伝送速度コーダにも固定ビット伝送速度
コーダにも同様に使用できる。
【0036】本発明の目的は、コード化の前に、ディジ
タル・モーション・ビデオ・シーケンスの適応的前処理
を行うためのシステム及び技法を提供することである。
この前処理の性質は、そのシーケンスの最近の画像にお
ける目標ビット伝送速度を満たすのに必要な量子化の厳
密さに依存する。
【0037】本発明の他の目的は、上記3種のシステム
の調和のとれた共同動作を実現して、MPEG標準に適
合する改良されたエンコーダ・システムを形成するため
の技法を提供することにある。
【0038】
【課題を解決するための手段】本発明は、入りディジタ
ル・モーション・シーケンスを様々な所で適応的に前処
理し、シーケンス中の画像にビットを割り振り、ビデオ
・シーケンス中のある画像の異なる諸領域中の変換係数
を、その画像に割り振られたビット数が与えられている
として最適の視覚的品質をもたらすように適応的に量子
化する働きをする、共同して動作する3つの構成要素ま
たはサブシステムを含む、提案されたISO/IEC
MPEG標準と共に使用するのに適したエンコーダを実
施するためのシステム及び方法に関するものである。
【0039】より具体的には、1つの構成要素は、必要
な量子化の全体的粗さに応じてビデオ・シーケンスに1
組の前処理動作のうちの1つを適用する、適応的前処理
サブシステムを実施するものである。前処理動作はコー
ド化の前に適用され、前処理の性質は、最近の諸画像に
おける目標ビット伝送速度を満たすのに必要な量子化の
厳密さに依存する。
【0040】もう1つの構成要素は、画像ビット割振り
方法を実行するためのサブシステムを実施するものであ
る。この方法は、固定ビット伝送速度型圧縮データ・ス
トリームを発生させることを意図し、モーションの補償
を使用する、ビデオ圧縮アルゴリズムに適用できる。こ
うしたアルゴリズムの一例は、MPEGビデオ圧縮標準
である。ビデオ・シーケンス中の連続する諸画像にビッ
トを割り振るこの方法は、画像間での視覚的品質を均等
にし、かつMPEGビデオ・バッファ検証装置(VB
V)のビット伝送速度制限に適合する。
【0041】第3の構成要素は、ビデオ・シーケンス中
のある画像の異なる諸領域における変換係数の適応的量
子化を行うためのアルゴリズム、及び使用されるビット
の実際の数がその画像に割り振られた数に近くなるよう
にするビット伝送速度誤差フィードバック技法とを実施
するためのサブシステムを実施するものである。
【0042】この3つの共同で動作する構成要素または
サブシステムは、互いに整合的に動作し、かつ同じタス
クを実行するために、他のいずれかのサブシステムを修
正する必要なくそれぞれが個別に修正できる。適応的量
子化サブシステムはそれだけでも使用でき、また各サブ
システムを他のエンコーダ実施態様と共に使用すること
もできる。
【0043】
【実施例】準備として、先に指摘した通り、ISO/I
EC MPEG標準の重要な特徴は、圧縮ビット・スト
リームの構造とそれを獲得する方法だけを詳細に指定す
ることである。したがって、すべての標準の構文と整合
性があるビット・ストリームを発生するが、複雑さは異
なっており、その結果所与のビット伝送速度で様々な視
覚的品質レベルをもたらす、様々なエンコーダを使用す
ることが可能である。MPEG仕様は、主として圧縮デ
ータ・ストリームの平均ビット伝送速度が固定している
状況に適用されるが、それだけに限られたものではな
い。MPEG仕様は、「固定ビット伝送速度」という語
の厳密な定義を含んでいる。しかし、平均速度は一定で
なければならないとはいえ、あるMPEGビデオ・シー
ケンス中の各画像に割り振られるビット数がどの画像で
も同じである必要はない。さらに、ある画像内でのビッ
トの割振りは均一である必要はない。低いビット伝送速
度で高品質のシーケンスを生成するエンコーダを設計す
る際の難題の1つは、全ビットを画像間及び画像内で割
り振る技法を開発することである。
【0044】また、MPEG標準にとって重要なもう1
つのコード化の特徴、すなわち適応的量子化(AQ)も
念頭に入れておく必要がある。この技法を用いると、各
画像の様々な領域を、様々な忠実度でコード化すること
ができ、これをイメージ及びモーション・ビデオの圧縮
に使って、各画像中及び画像間で視覚的品質を均等(か
つ最適)にすることができる。MPEG標準を用いる
と、適応的量子化が可能であるが、AQを使って視覚的
品質を向上させるための規則からなるアルゴリズムはこ
の標準で規定されていない。
【0045】MPEGエンコーダまたは類似のエンコー
ダで適用できるもう1つの広いクラスの技法は、前処理
と総称される。サンプル相互の基本的な空間関係を変更
しない、ディジタル・ビデオのいかなる前処理も、圧縮
シーケンスの視覚的品質を向上させる目的でMPEG互
換のエンコーダに組み込むことができる。その例として
は、線形前濾波や非線形前濾波がある。
【0046】本発明に話題を移すと、図6に、本発明に
よる上記の技法を実施するため、3つの構成要素サブシ
ステムを組み込んだ、MPEGエンコーダの構成図を示
す。図を見るとわかるように、まず、シーケンス中のk
番目の画像を表す画像データFkが、サブシステムの1
つである「QP適応的前処理装置」3に入り、そこで必
要に応じて前処理が行われる。前処理の性質は、データ
・シーケンスのコード化の過程で予め「適応的量子化速
度制御式(AQ/RC)画像コーダ1から前処理装置3
に送られた、すでにコード化済みの画像の量子化レベル
(QPprev)によって制御される。前処理装置3から出
力された、必要に応じて前処理された画像データF
kは、次のサブシステムであるAQ/RC画像コーダ1
に入り、そこでモーション推定及びMB分類が行われ
る。AQ/RC画像コーダ1内のこれらの操作の結果の
一部は、もう1つのサブシステムである「画像ビット割
振りサブシステム」2に送られ、画像データFkの目標
ビット数(Ak、Sk、Ck)がAQ/RC画像コーダ1
に戻される。次いで、下記で詳しく述べるようにコード
化が進行する。最終的に画像データFkの圧縮データC
kがAQ/RC画像コーダ1から出力される。さら
に、画像データFkのコード化に必要なビット数に関す
るデータ(Bk)と再構築誤差(E1)が画像ビット割振
りサブシステム2に送られ、以前の量子化レベルQP
prev(平均値Qavgのこともある)が、将来のフレーム
処理用に、前処理装置3に送られる。
【0047】この3つのサブシステムの動作についての
説明であるが、最初に画像ビット割振りサブシステム2
について説明し、続いてAQ/RC画像コーダ・サブシ
ステム1の機能について説明し、その後でQP適応的前
処理装置サブシステム3について述べる。MPEGビデ
オ圧縮アルゴリズムに対する本発明の関係を完全に理解
するには、前掲のMPEG CD−11172及びIS
O−IEC JTC1/SC2/WG11 MPEG9
1/74、MPEG Video Report 草案(1991年)また
はD.ル=ゴールの論文"MPEG:A Video Compressio
n Standrd forMultimedia Applications"、Communicati
ons of the ACM、Vol,34(1991年4月)を参照すると助け
になろう。
【0048】画像間ビット割振り ビデオ圧縮アルゴリズムは、モーション補償を利用し
て、ビデオ・シーケンス中の各画像を表すのに必要なデ
ータの量を削減する。固定ビット伝送速度型圧縮アルゴ
リズムは全体の平均ビット伝送速度を指定の目標付近に
維持しなければならないが、個々の画像に割り当てられ
るビット数にはある程度の幅があることが多い。各画像
に全く同数のビットを割り当てると、圧縮されたシーケ
ンスの品質が経時的に変動するという、見るものにとっ
て目障りな現象が発生する。画像ビット割振りサブシス
テム2は、ビデオ・シーケンス中の圧縮画像間でビット
を割り振る手段に関するものである。これは、固定ビッ
ト伝送速度の圧縮ビット・ストリームを発生させること
を目的とし、モーション補償が利用される、ビデオ圧縮
アルゴリズム、たとえばISO/IEC MPEGビデ
オ圧縮標準に特に適用される。
【0049】理想としては、画像ビット割振りシステム
は、コード化されたシーケンスの目で感じる視覚的品質
が、画像ごとに均一であり、固定ビット伝送速度の諸規
則によって課されるビット割振りの制限の下で所与のビ
ット伝送速度で達成できる最適値に等しくなるようなビ
ット数を、各画像に割り振ることが望ましい。一般に、
そのようなシステムでは、最初の画像またはフレームを
コード化する前にシーケンス全体の内容を知っている必
要があろう。また、所与のビット割振りを用いてコード
化したときに得られる再構築された画像の視覚的品質に
ついて予め知っている必要があろう。最初の要件は、記
憶域及び遅延が大きくなる可能性があるので、非現実的
である。第2の要件は、コード化された画像と元の画像
が共に得られるときでも、コード化された視覚データの
目に見える視覚的品質の数学的に扱いやすいモデルがわ
かっていないので、現在の所は非常に難しい。
【0050】本発明の画像ビット割振りサブシステム
は、最近の各タイプの画像をコード化する際の困難さの
度合を追跡することにより、この問題に対する現実的な
解決策を提供するものである。この度合は、コード化困
難度と称し、画像の空間的複雑さと、モーション補償で
画像の内容を予測できる度合とに依存する。3つのタイ
プの画像に、3つのタイプの相対的なコード化困難度に
応じた量のビットが割り振られる。さらに各画像で計算
される3つの割振り(各画像タイプごとに1つずつ)
は、ある画像群(GOP)全体がそれらの割振りを使っ
てコード化された場合に、必要なビット数が目標ビット
伝送速度に等しくなるようなものである。
【0051】図6を参照すると、画像ビット割振りサブ
システム2は、画像kに対するデータFkがAQ/RC
画像コーダ1で分析され、その画像のコード化困難度が
AQ/RC画像コーダ1から画像ビット割振りサブシス
テム2に渡された後、但しその画像のコード化前に、画
像kにどれだけのビットを割振るべきかを決定する。画
像ビット割振りシステムはまた、AQ/RC画像コー
ダ1が既に画像ビット割振りサブシステム2に渡したと
仮定される、前にコード化済みの画像に関係する情報を
使用する。具体的には、この情報は、各タイプの最近の
画像のコード化に使用されるビット数Bk(変換係数ビ
ットとサイド・ビットに分かれる)と、最近の2つのア
ンカ画像の再構築誤差Erとなる。特定の画像に割振る
べきビット数を指定する際、まず、固定した数のすぐ将
来の連続する画像、すなわち、まだコード化されていな
いシーケンス中の1組の画像を選択し考慮することが必
要である。それには、固定数のI画像(nI)、P画像
(nP)、B画像(nB)が含まれる。このステップで考
慮すべく選択されたこの1組中の画像の数と組成が、そ
のシーケンス中の画像間で実行される画像ビット割振り
手順で使用されるものと同じであれば好都合であるが、
必ずしもそうである必要はない。必要なことは、得られ
る画像ビット割振りの経時的平均が目標平均画像ビット
割振りに等しいことである。
【0052】これから説明する割振り操作は、選択され
た1組の画像に関する割振りの考察から始める。もちろ
ん、最終結果は、各画像タイプごとに1つずつの3通り
画像ビット割振りであり、コード化しようとする画像
のタイプに対応する画像タイプに対する画像ビット割振
りのみが使用される。したがって、このプロセスは、目
標ビット伝送速度に整合する平均ビット割振りと等しい
1組の画像についての全ビット割振りBsetを計算する
ことから始まる。 Bset=(nI+nP+nB)×Bavg 上式で、Bavgは、目標ビット伝送速度と整合する平均
画像ビット割振りである。本節の記述全体を通して例と
して使用する好ましい実施例では、この1組の画像に割
り振られるビット、及び各画像に割り振られるビット
は、サイド・ビット(S)と係数ビット(C)の2つの
クラスに分かれる。ここで、Sはコード化変換係数デー
タ以外のすべてのコード化データを含むものと見なす。
全ビット割振りBsetからその1組の画像(Sset)中の
サイド情報をコード化するのに必要なビット数の推定値
を差し引くことにより、その1組の画像に対する変換係
数ビット割振りCsetが得られる。その場合、コード化
しようとする画像の変換係数のコード化に割り振られる
ビット数は、Csetの部分となり、その部分の大きさ
は、その画像に関連するコード化困難度の推定値に依存
する。次に、コード化困難度情報を使って割振りを計算
する技法の例について詳しく説明する。
【0053】変換係数とサイド情報割振り サイド・ビットは、画像ヘッダ情報とすべてのサイド情
報、たとえばモーション補償モード情報、モーション・
ベクトル、適応的量子化データを含むように割り当てら
れる。係数情報は、画素データ自体(I画像の場合)ま
たは画素差分データ(P画像とB画像の場合)の変換係
数のコード化に使用されるビットのみに含まれる。I画
像、P画像、B画像に対するビット割振りをそれぞれA
I、AP、ABとすると、AI=SI+CI、AP=SP
P、AB=SB+CB(ただし、SとCはそれぞれサイド
・ビットと係数ビットを示す)。好ましい実施例では、
次にコード化される画像に対するサイド情報ビット割振
りは、シーケンス中の同じタイプの最近の画像中のサイ
ド情報のコード化に必要な実際のビット数に等しく決定
される。サイド・ビット情報割振りを計算する別の方法
は、そのシーケンス中の同じタイプの過去のいくつかま
たはすべての画像のコード化に必要な実際のビット数の
平均を使用するものである。また、この手順でサイド情
報の割振りを無視し、変換係数ビットの割振りのみに基
づいて画像ビット割振りを計算することも可能である。
この後者の手法は、下記の議論の状況中で、すべてのサ
イド割振り変数SXを0に等しいと仮定することによっ
て実施できる。
【0054】次に、ある画像に関するコード化困難度を
計算する手段の例について述べるが、当面はその説明に
ついて、各タイプの最近の画像に対するコード化困難度
が一度計算されると、それが画像ビット割振りサブシス
テム2に記憶され、下記の手順を用いて現画像に対する
変換係数割振りが計算されることを理解されたい。最初
に、その1組の画像に対するサイド情報割振りが(S
set=nII+nPP+nBB)で推定される。この量
をその1組に割り振られた全ビット数から差し引くと、
その1組の画像の変換係数割振りが得られる。 Cset=Bset−Sset
【0055】そうすると、CI、CP、CBが下記の方程
式の一義的な解であることがわかる。
【数1】
【0056】この1組の式のうち最初の(Csetに関す
る)方程式は、このセット平均全体が正しいことを保証
する。E^rは過去及び将来の再構築されたアンカ画像の
平均絶対誤差の平均であり、重み項wPとwBは、P画像
割振りとB画像割振りの相互の重要さを軽減させる働き
をする。好ましい実施例では、wP=1.0、wB=0.
5の値を使用する。これらの重みとは別に、上記1組の
式のうち後の(CPとCBに関する)2つの方程式は、P
画像及びB画像に、それらの困難度が(再構築された)
予測画像中の平均絶対誤差を上回る度合に比例してビッ
トを割り振る。
【0057】異なる画像タイプのコード化困難度に基づ
く他のビット割振り規則も可能である。上記に例示した
方法は、DPとDBによるモーション補償が成功するよう
に、3つのコード化困難度DI、DP、DBによってシー
ケンスの空間的複雑さと、Csetに関する最初の方程式
の要件による目標ビット伝送速度と、ErとE^rによる
最近にコード化された画像の品質とを表すので、貴重で
ある。
【0058】ときには、上記のビット割振り戦略の結
果、UVBVを上回る割振りまたはLVBVを下回る割振りが
もたらされることがある。それが起こる頻度は、VBV
バッファの大きさとそのシーケンスの性質に依存する。
典型的なシナリオは、VBVバッファが比較的小さく
(たとえば、平均画像6以下)、モーション補償が大成
功を収めたときである。そのような状況では、この割振
り戦略は、あるセットに関するほぼすべての変換ビット
をI画像に与えようと試み、その結果個々の画像に対し
てVBVバッファ・サイズより大きな割振りがもたらさ
れる。好ましい実施例では、それが起こったとき、I画
像の割振りが、対応するVBV限界内に入るようにクリ
ップされ、I画像から取られたビットがP画像に再割振
りされる。この後者のステップは重要である。というの
は、明示的な再割振りが行われない場合、平均ビット伝
送速度が低下するからである。その結果、最終的に、通
常はLVBVがB画像の割振りを上回り始めたときに、V
BVオーバーフローの問題が生じる。その結果、B画像
への暗示的再割振りが行われるが、これは一般に不良な
全体的画質をもたらす。明示的P画像再割振り技法のも
う1つの利点は、静止場面では極めて高い画質により速
く収束することである。P画像またはB画像の割振りが
VBV限界の外側になった場合は、ビットの再割振りは
行われない。
【0059】この割振り戦略は、割振りを計算する際
に、単にnB=0にセットし、CBを設定する方程式は無
視することによって、B画像のない場合にも適用できる
ことに留意されたい。同様に、P画像の存在しない場合
にも適用できる。さらに、係数情報とサイド情報の違い
は、コード化困難度の推定値を用いてある画像に対する
すべてのビットを割り振ることによって無視できる。そ
のような場合、コード化困難度推定値は、コード化サイ
ド情報の困難度を直接考慮に入れることができ、またサ
イド情報を完全に無視することもできる。
【0060】2つのテスト・シーケンス、すなわちMP
EG標準の開発で使用された「花園」シーケンスと「卓
球」シーケンスを使って、本発明の諸技法の有効性を検
査した。具体的には、この説明全体を通して「花園」シ
ーケンスの最初の60フレームと「卓球」シーケンスの
最初の60フレームと「卓球」シーケンスの61番目の
フレームの30回の反復(静止場面をシミュレートする
ため)からなるビデオ・シーケンスを用いて、これらの
方法を説明する。これらのシーケンスは、352×24
0画素のYUVテスト・シーケンスである。コード化は
毎秒1.15Mビットの速度で行い、I画像の間隔N=
15、アンカ画像の間隔M=3であった。図7に、この
シーケンス全体のコード化困難度を示し、図8に各画像
について計算したビット割振りを示す。
【0061】シーケンス中の各画像について示した3つ
のビット割振りは、その画像のコード化直前のものであ
るが、それらの割振りのうちの1つだけが実際に使用さ
れることに留意されたい。図9及び図10に、この割振
り方法から得られる目標ビット伝送速度を、シーケンス
に対する実際のビット伝送速度と共に示す。
【0062】場面変更時(フレーム61)の安定性と、
P画像及びB画像に関する実際のビット伝送速度のゼロ
近くへの収束が、静止セグメント(フレーム121〜1
51)で注目される。図11にこのシーケンスのコード
化に使用される量子化率(QP)を示す。また、I画像
とP画像は、一般にB画像より細かいステップ・サイズ
でコード化されることに留意されたい。
【0063】AQ/RC画像コーダ 次にAQ/RC画像コーダ1に話題を移すと、このサブ
システムは、各画像のコード化に使用されるビット数が
所定の目標に近くなるように保証しながら、視覚的品質
の向上を得るための、あるビデオ・シーケンスの連続す
る画像の適応的量子化(AQ)のための手順に関するも
のである。この手順は、I画像、P画像およびB画像に
関して実行される。これらの手順は、領域分類戦略を使
って、ある画像を構成する空間領域を処理するものであ
る。その領域分類戦略は、モーション推定と、量子化率
QPおよび画像領域の特性測定値の関数としてその画像
領域をコード化するのに必要なビット数の適応的モデル
と、生成されるビットの数が所定の目標に近いことを保
証するように、画像がコード化されるとき量子化レベル
を適応させるための方式と連係して働く。この説明で
は、空間領域はMPEGマクロブロック(MB)として
扱うが、上記の手順は、サイズおよび形状が異なる領域
にも適用できることを理解されたい。
【0064】図12には、AQ/RC画像コーダ1の諸
構成要素を全般的に示す。このサブシステムの動作は、
コード化される画像のタイプに依存する。図を見るとわ
かるように、画像に対するビデオ画像信号Pkは、QP
適応的前処理装置3で前処理されていることもいないこ
ともあるが、この信号がAQ/RC画像コーダ1のモー
ション推定/MB分類ユニット14に入る。そこで信号
が解析され、各MBが下記の手順に従って分類される。
その画像がP画像またはB画像である場合、モーション
推定も実行される。これらの操作の結果はコード化困難
度Dkの形であり、上記で詳しく述べたように使用する
ため、それが画像ビット割振りサブシステムに渡され
る。次に画像ビット割振りサブシステム2は画像kに関
するビット割振り信号Ckを返す。「QPレベル設定」
ユニット15が、このビット割振り信号を、モーション
推定/MB分類ユニット14から渡された1組の情報と
共に使って、各MBをコード化する際に使用される量子
化率QPの初期値を決定する。さらに、QPレベル設定
ユニット15は、画像中の各MBの各行のコード化に必
要なビット数の推定値を計算する。これらの量子化率と
行目標は「速度制御式画像コーダ」ユニット16に渡さ
れる。この速度制御式画像コーダ16は、やはりモーシ
ョン測定/MB分類ユニット14から渡された情報を使
って、画像のコード化を始める。AQ/RC画像コーダ
1の動作は3つのサブユニットに区分されるので、以下
の説明では、主として図12を参照しながら同じ区分に
従うことにする。
【0065】モーション推定/MB分類ユニット モーション推定/MB分類ユニット14の主な目的の1
つは、ある画像中の各MBをコード化するのにどのコー
ド化モードm(r,c)を使用するかを決定することで
ある。この機能は、モーション補償された画像だけに使
用される。というのは、I画像におけるMBにはイント
ラモードの1モードしかないからである。モード判定
は、モーション推定プロセスに基づいて行われ、このプ
ロセスはモーション・ベクトルとモーション補償された
差分MBも生成する。モーション推定/MB分類ユニッ
ト14のもう1つの重要な機能は、各MBを分類するこ
とである。MB(r,c)のクラスCl(r,c)によ
って、そのMBのコード化に使用される量子化率QP
(r,c)の値が最終的に決まる。モードおよびクラス
は、各画像を解析し、コード化される画像と予測画像の
間のモーションを推定することによって決定される。同
じ情報が、コード化困難度Dkの計算にも使用され、そ
の値が画像ビット割振りサブシステム2に渡される。
【0066】MPEGビデオ・コード化アルゴリズムに
おけるモーション推定の目的は、「モーション・ベクト
ル」mv(r,c)=(rmv,cmv)と、それに関連す
るモーション補償された差分MB Mk(r,c)を得
ることである。モーション補償された差分MBとは、考
慮中の現MBと予測MBの間の画素ごとの差である。予
測MBを形成する方法は、使用するモーション補償方法
に依存し、前掲のISO-IEC JTC1/SC2/WG11 MPEG CP-1117
2、MPEG Committee Draft(1991)に詳しく記載されてい
る。モーション・ベクトルは、ある意味で、画像のそれ
が関連する部分の真のモーションを示す必要がある。モ
ーション推定技法の詳細は、A・N・ネトラヴァリ(Ne
travali)とB・G・ハスケル(Haskell)の著書^Digit
al Pictures: Representation and Compression^、米国
ニューヨーク州ニューヨーク、Plenum Press、1988
年刊に出ている。
【0067】この説明では、水平方向および垂直方向に
±7×n画素の範囲をカバーする、完全探索モーション
推定アルゴリズムを使用したと仮定する。ただし、nは
解析中の画像と予測画像の画像間隔による距離であり、
モーション・ベクトルの精度は半画素である。本発明
は、モーション推定の結果を使ってビデオ・シーケンス
をコード化する技法に関するものであるが、特定のモー
ション推定技法と共に使用するものと限定されてはおら
ず、補償中のMBとモーション・ベクトルが指す予測領
域とがどれだけよく合致するかを示す、モーション補償
の成功の度合(モーション補償誤差)が使用可能である
限り、どんなモーション推定方法と共に使用することも
できる。P画像に対してはモーション推定のタイプは1
つ(先行)であり、B画像については3つ(先行、逆
行、補間)あることを想起されたい。MB(r,c)の
順方向モーション・ベクトルはmvf(r,c)で表
し、逆方向モーション・ベクトルはmvb(r,c)で
表す。補間法では、順方向ベクトルと逆方向ベクトルを
両方とも使用する。先行、逆行及び補間式のモーション
補償誤差は、それぞれΔmc,f(r,c)、Δmc,b(r,
c)、Δmc,i(r,c)で表す。
【0068】モーション補償誤差の他に、各MBの空間
的複雑さの度合も必要である。この度合をΔ(r,c)
で表す。Δ(r,c)、Δmcf(r,c)、Δ
mc,b(r,c)、Δmc,i(r,c)は、その数値比較が
意味があるという意味で同様の測度である。好ましい実
施例では、これらの測度はすべて、下記に示すように平
均絶対量であると定義する。各MBにその行及び列の座
標(r,c)を添字として表すと、MB(r,c)中の
4つの8×8ブロックのルミナンス値はyk(i,j)
×(i=0,...,7,j=0,...,7,k=
0,...,3)で表され、各8×8ブロックの平均値は
dckで表される。次に、MB(r,c)に関する空間
的困難度の測度は、「DCからの平均絶対差」であると
見なされ、次式で表される。
【数2】
【0069】同様のモーション補償誤差が「平均絶対誤
差」である。予測MB中の4つの8×8ブロックをpk
(i,j)(i=0,...,7,j=0,...,7,k=
0,...,3)で表すと、これは次式で定義される。
【数3】
【0070】本発明の好ましい実施例では、画像ビット
割振りサブシステム2に渡されるコード化困難度は、上
記の空間的複雑さ及びモーション補償誤差の測度に完全
に基づいている。I画像について、全困難度は次の通り
である。
【数4】
【0071】P画像及びB画像については、まずコード
化モードを決定し、そのモードに関連する測度を上記と
同様の加算に使用する。下記のモードが可能である。 イントラモード m(r,c)=I 先行 m(r,c)=mcf 逆行 m(r,c)=mcb 補間 m(r,c)=mci 困難度は、次式によって計算される。
【数5】
【0072】可能な多くの規則を使って、どのモードを
使用するか決定できる。好ましい実施例では、P画像に
対して下記の規則を使用する。
【数6】
【0073】β=1.0の値を使用する。好ましい実施
例では、B画像に使用するモード選択規則は、Δ(r,
c)が最小のモードを使ってMBをコード化するという
ものである。好ましい実施例では平均絶対量がコード化
困難度の測度として使用されたが、同様のどんな規則
(たとえば、平均二乗量)も使用できることを理解され
たい。
【0074】MBモードの決定及びコード化困難度の計
算に使用される測度は、モーション推定手順の副産物と
することができる。それが可能なのは、一部には、上記
の測度がしばしばモーション推定手順で最適のモーショ
ン・ベクトルを見つけるのに使用されるからである。
【0075】これらの測度は、マクロブロックを分類す
るのにも使用される。好ましい実施例では、MBは次の
ように分類される。すべてのイントラモードMBのクラ
スは、そのMBに関するΔk(r,c)の最小値を量子
化することによって計算される。閾値tを定義すると、
MB(r,c)のクラスcl(r,c)は次式で与えら
れる。
【数7】
【0076】モーション補償されたMBに対してモーシ
ョン補償モードを選択した後、それらのMBは次式に従
って分類される。
【数8】
【0077】好ましい実施例では、t=2の値を使用す
る。イントラモード測度とモーション補償型測度の両方
を使って、モーション補償されたMBを分類する。その
モードとクラス情報は、その基礎となる測度と一緒に、
QPレベル設定ユニット15が初期量子化レベルの決定
に使用し、またRC画像コーダ・ユニット16がコード
化の際に使用する。
【0078】図13ないし16に、シーケンスの「花
園」セグメントと「卓球」セグメントから取ったI画像
及びP画像の典型的なクラス分布を示す。
【0079】好ましい実施例では、計算の複雑さを低く
保つため、B画像のMBは分類されず、Qレベル設定ユ
ニット15は使用せず、RC画像コーダ・ユニット16
中で使用されるコード化方式はI画像およびP画像の場
合よりも簡単になっている。
【0080】QPレベル設定ユニット QPレベル設定ユニット15の機能は、各クラスごとに
量子化ステップ・サイズの初期値を計算することであ
る。所与のクラスのすべてのMBに同じ量子化ステップ
・サイズが割り当てられる。好ましい実施例では、全体
的最小ステップ・サイズに対する各クラスの量子化ステ
ップ・サイズは次式に従って割り当てられる。
【数9】
【0081】好ましい実施例で使用したΔQPの値は5
と6である。好ましい実施例では、許容されるQPlow
の値は−31,...,31であるが、MPEGは
1,...,31の範囲のQP(r,c)の整数値のみを
許容する。したがって、上記の式から31より上の値が
得られるときは、31にクリップされ、1より下の値は
1にクリップされる。QPlowが1未満になり得るよう
にして、ビット伝送速度がそれを保証する場合、最も細
かい量子化ステップ・サイズがすべてのクラスのMBに
適用できるようにするのが有利である。QPlowの初期
値QPlow initを選択するプロセスを下記で説明する。
【0082】各MBのクラスcl(r,c)を計算し、
cl(r,c)が与えられている場合にQP(r,c)
を計算する方法に反映されている、好ましい実施例で使
用されるコード化誤差についての人間による感知の基礎
的モデルは、画像の活性の低い領域で同じ絶対値の誤差
がより目立つということである。このモデルは明らかに
単純化しすぎであるが、視覚的品質と計算の負担の間の
妥当な妥協である。ブロック全体のΔではなくて、分類
すべきMB中の4つのルミナンス・ブロックにわたる最
小Δkを使用することの背景にある理論的根拠は、何ら
かのスムースな領域をもつMBに、低い量子化ステップ
・サイズを割り当てるべきだということである。
【0083】MBモードm(r,c)とクラスcl
(r,c)を、Δ(r,c)及びΔmc(r,c)値及び
画像変換係数に対する目標ビット伝送速度と共に使用し
て、初期量子化子の低い値QPlowを設定する。本発明
によれば、使用すべき量子化値とΔ(イントラモードM
Bの場合)またはΔmc(モーション補償MBの場合)が
与えられている場合に、MBの変換係数のコード化に必
要なビット数を予測するモデルが開発された。実験デー
タから、次の形のモデルが導かれる。 Bi(QP,r,c)=aiΔ(r,c)QPbi(イント
ラモードMBの場合) Bmc(QP,r,c)=apΔmc(r,c)QPbp(モ
ーション補償MBの場合) 指数は、bi=−0.75、bp=−1.50である。し
かし、これらの値は、使用する特定の量子化重み値Wmn
に強く依存し、それと整合するように最適化する必要が
ある。
【0084】パラメータa及びbの適当な値を推定する
ため、下記の実験的手法をとった。I画像モデルの場合
を考えると、aiとbiを推定することが望ましい。画像
間の変化を追跡するためのモデルのパラメータを適合さ
せるべきであるので、主な関心は、画像の集合ではなく
て個々の画像に対するモデルの正確さである。したがっ
て、各パスごとに異なるQP量子化ステップ・サイズの
値を使って、代表的画像を何回かコード化する。QPの
各値で各MBをコード化するのに必要なビットの数を測
定する。次に、QPの各値ごとに、Δの所与の値をもつ
すべてのMBをコード化するのに必要なビット数を平均
する。その結果は、MBのコード化に必要な平均ビット
数を、MBのΔ値及びそのコード化に使用したQPステ
ップ・サイズの関数として示す、2次元データ・セット
である。これらの平均値をBij=B(QPi,Δj)で表
す。これらの測定値を下記の形の方程式にあてはめるこ
とが望ましい。 Bij=ai×Δj×(QPibi
【0085】これは、ai及びbiで表した非線形方程式
の優決定集合であり、非線形最小二乗法を使って解け
る。問題を線形化するため、方程式の両辺の対数をと
る。その結果、log(ai)とbiで表した容易に解け
る最小二乗問題となる。
【0086】ビデオ・シーケンスの動的に変化する特徴
を追跡するために、各I画像またはP画像をコード化し
た後、線形パラメータai及びapを調節すべきである。
これは、下記のRC画像コーダ・ユニット16の説明で
詳しく述べる方法に従って行うことができる(イントラ
モードMBでは、MB中のDC項のコード化に必要なビ
ット数を表す追加の項を加えて、このモデルを改良する
ことができる。というのは、DC係数のコード化は別途
扱われるからである。)
【0087】これらのビット伝送速度モデルによる画像
全体の変換係数のコード化に必要な予測ビット数は、I
画像では次の通りである。
【数10】 P画像では次式の通りである。
【数11】 上式で、QP(r,c)は次式に従って計算される。
【数12】
【0088】QPlowの初期値は、B(QP)が画像変
換係数割振りCに最も近くなるときのQPの値とする。
【数13】
【0089】好ましい実施例では、−31と31の間で
半間隔の探索を行って、QPlow initを見つける。この
手順におけるQPの上限と下限の役割は、微妙である。
31という上限は、エンコーダが標準によって許容され
る最も粗い量子化で動作できることを保証するのに十分
であるが、上限がもっと高いと、後で詳しく説明するよ
うに、ビットの過剰生成に対してより敏感になって、速
度制御アルゴリズムの性能が変化する。QPの下限につ
いても同様の特徴がある。
【0090】QPlowが決定された後、QPレベル設定
ユニット15は、次式によって、QPlowを使ってMB
の行rをコード化するのに必要な予想ビット数を計算す
る。
【数14】 上式でNrowはMBの行数である。この式の第2項はQ
lowでモデルによって予測されるビット数と実際の変
換係数割振りCとの差を表し、第3項は各行のサイド情
報割振りSに対する取り分を表す。目標T(r)をすべ
ての行にわたって合計すると、全画像割振りAが得られ
る。これらの予想値が、RC画像コーダ・ユニット16
に対する目標行ビット伝送速度になる。
【0091】速度制御式画像コーダ 画像のコード化は、MBをインデックスし、それぞれ以
前のステップで決定されたモード及び量子化ステップ・
サイズに従ってコード化することによって進行する。し
かし、ビット伝送速度モデルとシーケンスの内容の連続
的変化とが合致しないため、実際に生成されるビット数
は予想数と厳密には一致しない。その画像について実際
に生成されるビットを目標付近に保っただけでなく、V
BVビット伝送速度の制限違反を防止するためにも、こ
の逸脱を制御することが望ましい。本発明によれば、M
Bの各行の終りでQPlowを更新する、速度制御式フィ
ードバック戦略が開発された。この更新はいくつかのフ
ァクタによって決まる。1つのファクタは、ある画像中
のMBの異なる行は、Δ(r,c)とΔmr(r,c)な
らびに割り当てられた量子化ステップ・サイズの変動の
ために、同数のビットを生成しないと予想されることで
ある。各行の終わりに、生成されたビットの数が、QP
レベル設定ユニット15で計算された予測数T(r)と
比較される。QPlowの更新である役割を果たすもう1
つのファクタは、画像割振りと実際に生成されたビット
数が共にVBV限界に近いことである。ビット伝送速度
の逸脱に応じたQPlowの更新の利得は、誤差の方向で
のVBV限界の近接度の関数である。予測ビット伝送速
度からわずかに逸脱しても、QPlowはほとんどまたは
全く変化しないが、画像のビット伝送速度をどちらかの
VBV限界に近づけるような逸脱があると、QPlow
最大の調節を受ける。この戦略は、VBV違反の防止に
したがってコード化データの脱落やビット・ストリーム
へのジャンク・バイトの詰込みなどの望ましくない動作
の回避に大成功を収めている。
【0092】下記の方程式は、好ましい実施例で実施さ
れた、QPlow、に関する更新手順を記述している。行
m及びそれより前のすべての行のコード化に使用される
ビットの総数をB(m)で表し、B(m)と累積目標の
差をΔB(m)で表すと、次式が得られる。
【数15】
【0093】行mのコード化後、ΔB(m)≠0ならば
QPlowは次式のように更新される。
【数16】 上式で、Δuは画像割振りAと画像nに対するVBV上
限の差、Δlは画像割振りAと画像nに対するVBV下
限の差である。
【数17】
【0094】この戦略では、QPlowはVBV判定基準
に従って許容される最大誤差に関係するので、現行まで
の全ビット割振り誤差に基づいてQPlowを更新する。
【0095】I画像またはP画像のコード化後、ビット
伝送速度モデルが実際に生成される変換係数ビットの数
(Ca)と一致するように、新しいビット伝送速度モデ
ル・パラメータ(aiとaP)が計算される。I画像の場
合についてこれを例示すると、各画像のコード化中にQ
Pの各値でコード化されたMBに関するすべてのΔ
(r,c)の合計が生成される。
【数18】
【0096】更新後のaiの値は、次式によって計算さ
れる。
【数19】
【0097】実施態様では、α=0.667の値が使用
できる。同様の戦略を用いて、P画像のコード化後にa
iとapを更新する。その場合は、αは、MBのうちで更
新されるビット伝送速度モデルのパラメータに対応する
モデル中でコード化された部分に比例する。
【0098】最後に、その画像に関するすべてのサイド
情報のコード化に使用されるビット数が記憶され、それ
が同じタイプの次の画像に関するサイド情報割振りSの
値として使用される。
【0099】図17ないし20及び図21ないし24
に、QP割当て戦略及び更新戦略の性能を示す。図17
ないし20は、テスト・シーケンスのフレーム16、2
2、61、67の各行中のQPlowと平均QPを示す。
QPlowに対する初期推測及びビット伝送速度モデルが
正確であれば、行ごとにQPlowは変化しないはずであ
る。しかし、QPavgは空間的アクティビティ及び画像
中の異なる行のモーション補償可能性に応じて変動する
はずである。たとえば、I画像のQP値から、「花園」
シーケンスの各行の下半分は上半分よりも空間的にはる
かに複雑なことが容易にわかる。P画像の結果は、モー
ション補償によってQPavgの変動が減少することを示
している。図21ないし24は、生成されるビットと目
標の関係をビットごとに示したものである。結果は、目
標をかなりよくたどっていることがわかる。
【0100】B画像の速度制御方法は、I画像及びP画
像の場合と異なっている。MB分類が行われておらず、
したがってMBの各行が生成する圧縮データの量を推定
しようとする試みは行われない。したがって、ある画像
中のすべての行の目標が同じである。各画像の開始点
で、量子化率が前のB画像の終わりのときの値に等しく
設定される。MBの各行の後に、QPが他のタイプの画
像の場合とほぼ同様の方式で更新されるが、その上限と
下限は次式で決定される。
【数20】
【0101】以上、適応的ビット割振り及び量子化を利
用して、原始資料及びビット伝送速度のある範囲にわた
って頑丈で高品質のコード化シーケンスを提供する、モ
ーション・ビデオ・コード化手順を提示した。そのコー
ド化されたデータは、ISO/IEC MPEGビデオ
・コード化標準の固定ビット伝送要件を満たす。適応的
技法を実施するのに必要な追加のコーダの複雑さは、そ
れぞれ基本的コーダの一部である、モーション推定、離
散的余弦変換、量子化、ハフマン・コード化という基本
的操作に関して穏当である。これらの特徴により、この
アルゴリズムは、フレキシブルな実時間ビデオ・コード
化実施態様に適したものとなっている。
【0102】ビデオ・シーケンスの適応的前処理 本発明のQP適応的前処理装置3の動作は、ある条件の
下では、入力画像を前処理して、コード化の効率は低い
が、低周波のノイズを含まない情報よりも視覚的に重要
でない、高周波情報を減衰させあるいはノイズを除去し
たとき、低ビット伝送速度のコーダによって視覚的によ
り好ましいイメージが生成されるとの観察に基づくもの
である。具体的には、シーケンスが、無視できない大き
さの空間的に非常に複雑な領域を含むとき、あるいは何
らかの理由でノイズが導入された場合に、高詳細領域及
びノイズを正確に表すために法外な数のビットが必要と
なり、視覚的品質の全体的低下をもたらす。この品質低
下は、目ざわりなちらちらするノイズ様の人工物の形を
とることが多い。線形または非線形濾波などの前処理に
よって高周波数の内容を減少させると、イメージが元の
姿と似ないものになる一方、目ざわりな人工物がなくな
って低周波情報のレンダリングが改善されるので、よい
トレードオフになることが多い。一方、多くのシーケン
スは、低ビット伝送速度での視覚的品質が全く満足でき
るもので、高周波情報とノイズを減少させる必要がない
ものである。そのような場合に前処理を施すと、不必要
な品質低下が生じる。したがって、必要に応じて前処理
することもしないこともできることが望ましい。
【0103】前処理の必要性の重要な指標の1つは、シ
ーケンスを目標ビット伝送速度でコード化するのに必要
な量子化レベルである。量子化率に関する情報を使って
前処理の量を制御することの主な利点は、それがビット
伝送速度とは無関係なことである。一般的にいうと、量
子化レベルが非常に高い(粗い量子化を、したがって不
十分な品質の再構築を示唆する)場合、その理由は、場
面が複雑すぎて、目標ビット伝送速度で正確にコード化
できないことである。
【0104】図6を参照し、かつ図25に全般的に示し
たQP適応的前処理装置3の諸構成要素と図26に示し
た好ましい実施例を参照しながら、本発明の第3のサブ
システムの全体的動作について説明する。先にAQ/R
C画像コーダ1に関して述べたように、各画像がコード
化されるとき、変換係数の量子化に使用された前の量子
化率QPprevを計算する。この量子化レベルは、画像中
のMBの数、画像ビット割振りサブシステム2によって
その画像に割り振られたビット数、その画像の全体的複
雑さなど、多くのものに依存する可能性がある。画像の
コード化に使用される平均QPは、QPprevに使用する
良い量となることが多い。各画像のコード化完了後に、
QPprevがAQ/RC画像コード1からQP適応的前処
理装置3に渡される。場合によっては2個以上の以前の
画像からのQPprevの値に基づいて、いくつかの前処理
装置の1つが選択され、将来のある時点から始まるすべ
ての画像に適用され、後の画像からのQPprevの新しい
値がその前処理装置に別の変化を起こさせるまでそれが
続く。図25を見るとわかるように、QPprev信号は
「実施ラグ・バッファ」31で受信され、前処理装置ア
ルゴリズム選択ユニット32に渡される。選択ユニット
32は、前処理装置ユニット33への信号の切換えを制
御する。
【0105】前処理装置ユニット33は、1組のフィル
タ、フィルタ1、フィルタ2、...、フィルタnから
構成することができる。図26に前処理装置ユニット3
3の好ましい実施態様の1つを示す。この実施態様で
は、前処理装置のフィルタは純粋に線形であり、3種の
フィルタ状態(FS)が可能である。
【数21】
【0106】実施ラグ・バッファ31と前処理装置アル
ゴリズム選択ユニット32の制御下でフィルタ状態を更
新するのに有用なアルゴリズムの1つは、次のようなも
のである。
【数22】
【0107】フィルタ状態の更新はI画像の後でだけ起
こり、新しい状態は次のI画像まで有効にならない(こ
の遅延を、実施ラグと称する)。T1とT2の有用な値
は、それぞれ10と5である。
【0108】上記のフィルタ、フィルタ状態、フィルタ
状態更新規則及び実施ラグの特定の選択は、本発明の範
囲に含まれる多くの可能性のうちの1つにすぎない。フ
ィルタは任意の数でよく、また非線形あるいは空間的適
応的なものでもよいことになっている。もう1つの重要
な変形は、フィルタ状態の更新をもっと頻繁に実行し、
同時に実施ラグを減らすものである。たとえば、各画像
の後ごとにフィルタ状態の更新を行い、実施ラグをP画
像間の遅延にまで減らすことができる。
【0109】
【発明の効果】本発明により、ISO/IEC MPE
Gビデオ圧縮標準など、固定ビット伝送速度型圧縮デー
タ・ストリームの生成を目的とし、モーション補償が利
用される、ビデオ圧縮アルゴリズムに適用される、ビデ
オ・シーケンス中の圧縮画像間でビットを割り振るため
のシステム及び技法が提供される。
【図面の簡単な説明】
【図1】MPEGデータ・ストリームのビデオ圧縮層内
の圧縮データの層のうち、1組の画像群(GOP)の例
を示す図である。
【図2】MPEGデータ・ストリームのビデオ圧縮層内
の圧縮データの層のうち、ある画像のマクロブロック
(MB)区分の例を示す図である。
【図3】MPEGデータ・ストリームのビデオ圧縮層内
の圧縮データの層のうち、あるフレームまたは画像のス
ライス区分の例を示す図である。
【図4】MPEGデータ・ストリームのビデオ圧縮層内
の圧縮データの層のうち、あるマクロブロックのブロッ
ク区分を示す図である。
【図5】MPEGで使用されるGOP中の画像間での2
段式モーション補償を示す図である。
【図6】本発明による技法を実施するための3つの構成
サブシステムを組み込んだMPEGエンコーダの構成図
である。
【図7】「花園」シーケンスの最初の60フレームと、
その次の「卓球」シーケンスの最初の60フレームと、
続いて(スチル場面をシミュレートする)「卓球」の6
1番目のフレームの30回の反復とを含み、本発明の方
法を例示するための説明で至る所で使用される、MPE
G標準の開発中に使用された2つのテスト・シーケンス
からなる、ビデオ・シーケンス中の画像の1シーケンス
全体に関するコード化困難度を示す図である。
【図8】図7のシーケンスの各画像について計算したビ
ット割振りを示す図である。
【図9】図7のシーケンスの各画像に対する目標ビット
伝送速度を示す図である。
【図10】図7のシーケンスの各画像に対する実際ビッ
ト伝送速度を示す図である。
【図11】図7のシーケンスをコード化する際に使用す
る量子化(QP)率をプロットした図である。
【図12】図6のAQ/RC画像コーダ・サブシステム
をより詳細に示した構成図である。
【図13】MPEGテスト・シーケンスの「花園」セグ
メントと「卓球」セグメントから取ったI画像及びP画
像の典型的なクラス分布を示す図である。
【図14】MPEGテスト・シーケンスの「花園」セグ
メントと「卓球」セグメントから取ったI画像及びP画
像の典型的なクラス分布を示す図である。
【図15】MPEGテスト・シーケンスの「花園」セグ
メントと「卓球」セグメントから取ったI画像及びP画
像の典型的なクラス分布を示す図である。
【図16】MPEGテスト・シーケンスの「花園」セグ
メントと「卓球」セグメントから取ったI画像及びP画
像の典型的なクラス分布を示す図である。
【図17】MPEGテスト・シーケンスの「花園」セグ
メントと「卓球」セグメントから取ったI画像及びP画
像の典型的なクラス分布を示す図である。
【図18】本発明によるビット伝送速度制御におけるQ
P割振り及び更新戦略の性能を示すもので、テスト・シ
ーケンスのフレーム16、22、61、67の各行にお
けるQPlowと平均QPを示す図である。
【図19】本発明によるビット伝送速度制御におけるQ
P割振り及び更新戦略の性能を示すもので、テスト・シ
ーケンスのフレーム16、22、61、67の各行にお
けるQPlowと平均QPを示す図である。
【図20】本発明によるビット伝送速度制御におけるQ
P割振り及び更新戦略の性能を示すもので、テスト・シ
ーケンスのフレーム16、22、61、67の各行にお
けるQPlowと平均QPを示す図である。
【図21】本発明による伝送速度制御におけるQP割振
り及び更新戦略の性能を示すもので、生成されるビット
と目標のビットごとの関数を示す図である。
【図22】本発明による伝送速度制御におけるQP割振
り及び更新戦略の性能を示すもので、生成されるビット
と目標のビットごとの関数を示す図である。
【図23】本発明による伝送速度制御におけるQP割振
り及び更新戦略の性能を示すもので、生成されるビット
と目標のビットごとの関数を示す図である。
【図24】本発明による伝送速度制御におけるQP割振
り及び更新戦略の性能を示すもので、生成されるビット
と目標のビットごとの関数を示す図である。
【図25】図6に示した、QP適応的前処理装置の詳細
を示す図である。
【図26】図25に示したQP適応的前処理装置の可能
な3つのフィルタ状態(FS)を示す図である。
【符号の説明】
1 適応的量子化速度制御型(AQ/RC)画像コーダ 2 画像ビット割振りサブシステム 3 QP適応的前処理装置 14 モーション指定/MB分類ユニット 15 QPレベル設定ユニット 16 速度制御式画像コーダ 31 実施ラグ・バッファ 32 前処理装置アルゴリズム選択ユニット 33 前処理装置ユニット
フロントページの続き (72)発明者 エリック・ヴィシート アメリカ合衆国06811、コネティカット 州ダンベリー、ミル・プレーン・ロード 55、18−4号 (56)参考文献 特開 平5−111012(JP,A) 特開 平4−227186(JP,A) (58)調査した分野(Int.Cl.6,DB名) H04N 7/24 - 7/68

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項1】 それぞれが複数のマクロブロックに分割
    される複数の画像を含むモーション・ビデオ・シーケン
    スを圧縮する方法であって、 圧縮コード化される各画像をI、P、B、の3つのタイ
    プのうちの1つとして識別するステップと、 各画像ごとに、上記画像の圧縮コード化に割り振られた
    ビット数を示すビット割振り信号を受信するステップ
    と、 コード化される画像の各マクロブロックを、上記マクロ
    ブロックの画素データまたは画素差分データに基づいて
    分類するステップと、 上記画像の各マクロブロックのコード化に使用される量
    子化ステップ・サイズを、上記マクロブロックの分類及
    び上記画像に関する上記ビット割振り信号に基づいて決
    定するステップと、 上記画像をマクロブロックの複数のグループに分割し、
    上記画像の圧縮コード化に割り振られた上記の数のビッ
    トを上記グループ間で割り振るステップと、 上記の決定された量子化ステップ・サイズを用いて、上
    記マクロブロックの上記グループを順次圧縮コード化す
    るステップと、 上記画像の既にコード化済みのグループをコード化する
    のに使用したビット数と、上記既にコード化済みのグル
    ープに割り振られたビット割振りとの差に応じて、上記
    画像中の次のグループの未コード化マクロブロックに適
    用される量子化ステップ・サイズを調節するステップ
    と、 を含む方法。
  2. 【請求項2】 それぞれが複数のマクロブロックに分割
    される複数の画像を含むモーション・ビデオ・シーケン
    スを圧縮するためのシステムであって、 圧縮コード化される各画像をI、P、B、の3つのタイ
    プのうちの1つとして識別する手段と、 各画像ごとに、上記画像の圧縮コード化に割り振られた
    ビット数を示すビット割振り信号を受信する手段と、 コード化される画像の各マクロブロックを、上記マクロ
    ブロックの画素データまたは画素差分データに基づいて
    分類する手段と、 上記画像の各マクロブロックのコード化に使用される量
    子化ステップ・サイズを、上記マクロブロックの分類及
    び上記画像に関する上記ビット割振り信号に基づいて決
    定する手段と、 上記画像をマクロブロックの複数のグループに分割し、
    上記画像の圧縮コード化に割り振られた上記の数のビッ
    トを上記グループ間で割り振る手段と、 上記の決定された量子化ステップ・サイズを用いて、上
    記マクロブロックの上記グループを順次圧縮コード化す
    る手段と、 上記画像の既にコード化済みのグループをコード化する
    のに使用したビット数と、上記既にコード化済みのグル
    ープに割り振られたビット割振りとの差に応じて、上記
    画像中の次のグループの未コード化マクロブロックに適
    用される量子化ステップ・サイズを調節する手段と、 を含むシステム。
  3. 【請求項3】 上記マクロブロックの上記グループは上
    記順次圧縮コード化するステップの前に複数のフィルタ
    前処理方法のうちの1つに従って前処理されてから上記
    順次圧縮コード化するステップにより圧縮コード化さ
    れ、 上記シーケンス中の以前にコード化された画像の圧縮コ
    ード化で使用された量子化の度合を示す信号に応答し
    て、上記画像の圧縮コード化の前に、上記画像に関する
    ディジタル・データ信号に対して使用する前処理方法を
    選択するようにした請求項1に記載の方法。
  4. 【請求項4】 複数の前処理方法が、対応する量子化の
    度合に対するその前処理の度合に従ってランク付けさ
    れ、上記度合に関して少なくとも1つの高閾値が選択さ
    れ、かつ先行する画像の前処理に使用された方法の度合
    が上記の高閾値を越えない限り、上記画像を前処理する
    ための前処理方法として、上記シーケンス中の先行する
    画像の前処理に使用された方法と同じものを選択し、高
    閾値を越えた時は、上記画像を前処理するためにより高
    い度合の前処理方法を選択する、 請求項3に記載の方法。
  5. 【請求項5】 複数の前処理方法が、対応する量子化の
    度合に対するその前処理の度合に従ってランク付けさ
    れ、上記度合に関して少なくとも1つの低閾値が選択さ
    れ、かつ先行する画像の前処理に使用された方法の度合
    が低閾値より低い限り、上記画像を前処理するための前
    処理方法として、上記シーケンス中の先行する画像の前
    処理に使用された方法と同じものを選択し、低閾値を越
    えた時は、上記画像を前処理するためにより低い度合の
    前処理方法を選択する、 請求項3に記載の方法。
  6. 【請求項6】 複数の前処理方法が、対応する量子化の
    度合に対するその前処理の度合に従ってランク付けさ
    れ、上記度合に関して少なくとも1つの閾値が選択さ
    れ、かつ上記シーケンス中の先行する前処理に使用する
    方法の度合を上記閾値と比較し、上記比較の結果に応答
    して、前処理方法の度合を変更すべきかどうか示す判断
    信号を生成することによって、上記画像の前処理に使用
    される前処理方法を選択する、 請求項3に記載の方法。
  7. 【請求項7】 上記マクロブロックの上記グループを上
    記圧縮コード化手段により圧縮コード化する前に複数の
    フィルタ前処理方法のうちの1つに従って前処理する手
    段と、 上記シーケンス中の以前にコード化された画像の圧縮コ
    ード化で使用された量子化の度合を示す信号に応答し
    て、上記画像の圧縮コード化の前に、上記画像に関する
    ディジタル・データ信号に対して使用する前処理方法を
    選択する手段と、を更に含む請求項2に記載のシステ
    ム。
JP4295717A 1991-11-08 1992-11-05 モーション・ビデオ圧縮システムおよび方法 Expired - Fee Related JP2818340B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US789505 1991-11-08
US07/789,505 US5231484A (en) 1991-11-08 1991-11-08 Motion video compression system with adaptive bit allocation and quantization

Publications (2)

Publication Number Publication Date
JPH05252507A JPH05252507A (ja) 1993-09-28
JP2818340B2 true JP2818340B2 (ja) 1998-10-30

Family

ID=25147833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4295717A Expired - Fee Related JP2818340B2 (ja) 1991-11-08 1992-11-05 モーション・ビデオ圧縮システムおよび方法

Country Status (8)

Country Link
US (1) US5231484A (ja)
EP (3) EP0540961B1 (ja)
JP (1) JP2818340B2 (ja)
KR (1) KR960007264B1 (ja)
CN (1) CN1035593C (ja)
CA (1) CA2077058C (ja)
DE (2) DE69233411T2 (ja)
TW (1) TW221085B (ja)

Families Citing this family (323)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9405914D0 (en) * 1994-03-24 1994-05-11 Discovision Ass Video decompression
EP0576749B1 (en) 1992-06-30 1999-06-02 Discovision Associates Data pipeline system
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US6005627A (en) * 1991-05-31 1999-12-21 Kabushiki Kaisha Toshiba Video coding apparatus
US5986713A (en) * 1991-05-31 1999-11-16 Kabushiki Kaisha Toshiba Video coding apparatus using inter-field prediction
JP3189861B2 (ja) * 1992-11-13 2001-07-16 ソニー株式会社 動画像符号化装置および方法
US5640208A (en) * 1991-06-27 1997-06-17 Sony Corporation Video signal encoding in accordance with stored parameters
US5539836A (en) * 1991-12-20 1996-07-23 Alaris Inc. Method and apparatus for the realization of two-dimensional discrete cosine transform for an 8*8 image fragment
US6870884B1 (en) * 1992-01-29 2005-03-22 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
EP1555817B1 (en) * 1992-01-29 2008-07-23 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
JP3134455B2 (ja) * 1992-01-29 2001-02-13 ソニー株式会社 高能率符号化装置及び方法
JPH05236427A (ja) * 1992-02-25 1993-09-10 Sony Corp 画像信号の符号化装置及び符号化方法
JPH05268590A (ja) * 1992-03-17 1993-10-15 Nec Corp 動画像符号化復号化回路
KR0150955B1 (ko) * 1992-05-27 1998-10-15 강진구 비트고정을 위한 영상압축방법과 신장방법 및 그 장치
US5291281A (en) * 1992-06-18 1994-03-01 General Instrument Corporation Adaptive coding level control for video compression systems
US5289276A (en) * 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
US5768561A (en) 1992-06-30 1998-06-16 Discovision Associates Tokens-based adaptive video processing arrangement
US6079009A (en) 1992-06-30 2000-06-20 Discovision Associates Coding standard token in a system compromising a plurality of pipeline stages
US6330665B1 (en) 1992-06-30 2001-12-11 Discovision Associates Video parser
US5809270A (en) 1992-06-30 1998-09-15 Discovision Associates Inverse quantizer
US6047112A (en) 1992-06-30 2000-04-04 Discovision Associates Technique for initiating processing of a data stream of encoded video information
US6263422B1 (en) 1992-06-30 2001-07-17 Discovision Associates Pipeline processing machine with interactive stages operable in response to tokens and system and methods relating thereto
US6112017A (en) 1992-06-30 2000-08-29 Discovision Associates Pipeline processing machine having a plurality of reconfigurable processing stages interconnected by a two-wire interface bus
US5784631A (en) 1992-06-30 1998-07-21 Discovision Associates Huffman decoder
US6067417A (en) 1992-06-30 2000-05-23 Discovision Associates Picture start token
JP3127600B2 (ja) * 1992-09-11 2001-01-29 ソニー株式会社 ディジタル信号復号化装置及び方法
US5379122A (en) * 1992-10-02 1995-01-03 Xerox Corporation Decompression of standard ADCT-compressed images
US5384598A (en) * 1992-10-20 1995-01-24 International Business Machines Corporation System and method for frame differencing video compression and decompression with frame rate scalability
JP3343962B2 (ja) * 1992-11-11 2002-11-11 ソニー株式会社 高能率符号化方法及び装置
EP0670096A4 (en) * 1992-11-16 1996-03-27 Multimedia Systems Corp METHOD FOR PRODUCING AND TRANSMITTING IMPROVED INTERACTIVE MULTIMEDIA INFORMATION.
JP3240017B2 (ja) * 1993-01-11 2001-12-17 ソニー株式会社 Mpeg信号記録方法およびmpeg信号再生方法
JP3282260B2 (ja) * 1993-01-18 2002-05-13 ソニー株式会社 画像再生装置及び方法
US5786858A (en) * 1993-01-19 1998-07-28 Sony Corporation Method of encoding image signal, apparatus for encoding image signal, method of decoding image signal, apparatus for decoding image signal, and image signal recording medium
EP0645930B1 (en) * 1993-04-09 2000-06-14 Sony Corporation Method and apparatus for coding image
US5703646A (en) * 1993-04-09 1997-12-30 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
KR970000683B1 (ko) * 1993-05-31 1997-01-16 삼성전자 주식회사 해상도 가변 적응적 화상압축/복원방법 및 장치
FR2707070B1 (ja) * 1993-06-22 1995-09-08 Centre Nat Etd Spatiales
US5861894A (en) 1993-06-24 1999-01-19 Discovision Associates Buffer manager
US5805914A (en) 1993-06-24 1998-09-08 Discovision Associates Data pipeline system and data encoding method
US5699544A (en) * 1993-06-24 1997-12-16 Discovision Associates Method and apparatus for using a fixed width word for addressing variable width data
US5829007A (en) * 1993-06-24 1998-10-27 Discovision Associates Technique for implementing a swing buffer in a memory array
US5812735A (en) * 1993-07-09 1998-09-22 Sony Corporaiton Picture signal decoding method and picture signal decoding apparatus
FR2708168B1 (fr) * 1993-07-20 1995-08-25 Thomson Consumer Electronics Procédé et dispositif d'estimation d'un budget de bits pour encodeurs à longueur de mot variable.
US5598514A (en) * 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
JP2531106B2 (ja) * 1993-08-17 1996-09-04 日本電気株式会社 動画像符号化制御方式
FR2711879B1 (fr) * 1993-10-22 1995-12-15 Thomson Csf Procédé et dispositif de codage inter-trame avec régulation de débit pour l'enregistrement d'images sur magnétoscope.
KR970003789B1 (ko) * 1993-11-09 1997-03-21 한국전기통신공사 비디오 부호기의 전송율을 제어하기 위한 비트 할당 방법
BE1007807A3 (nl) * 1993-11-30 1995-10-24 Philips Electronics Nv Inrichting voor het coderen van een videosignaal.
BE1007808A3 (nl) * 1993-11-30 1995-10-24 Philips Electronics Nv Inrichting voor het coderen van een videosignaal.
JPH07202820A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
US5764698A (en) * 1993-12-30 1998-06-09 International Business Machines Corporation Method and apparatus for efficient compression of high quality digital audio
US5587708A (en) * 1994-01-19 1996-12-24 Industrial Technology Research Institute Division technique unified quantizer-dequantizer
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
EP0670663A1 (fr) * 1994-03-02 1995-09-06 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de codage de signaux numériques représentatifs d'une séquence d'images
FR2717029A1 (fr) * 1994-03-02 1995-09-08 Philips Laboratoire Electroniq Procédé et dispositif de codage à longueur variable de signaux numériques.
US5563961A (en) * 1994-03-03 1996-10-08 Radius Inc. Video data compression method and system which measures compressed data storage time to optimize compression rate
US5576765A (en) * 1994-03-17 1996-11-19 International Business Machines, Corporation Video decoder
CA2145365C (en) * 1994-03-24 1999-04-27 Anthony M. Jones Method for accessing banks of dram
CA2145361C (en) 1994-03-24 1999-09-07 Martin William Sotheran Buffer manager
CA2145379C (en) * 1994-03-24 1999-06-08 William P. Robbins Method and apparatus for addressing memory
US5754235A (en) * 1994-03-25 1998-05-19 Sanyo Electric Co., Ltd. Bit-rate conversion circuit for a compressed motion video bitstream
DE69536095D1 (de) * 1994-03-25 2010-09-30 Nec Corp Bildwiedergabevorrichtung
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
JP3265818B2 (ja) * 1994-04-14 2002-03-18 松下電器産業株式会社 動画符号化方法
CN1067203C (zh) * 1994-04-20 2001-06-13 汤姆森消费电子有限公司 利用恒定位率编码器的多路复用系统
KR100314329B1 (ko) * 1994-04-20 2001-12-28 크리트먼 어윈 엠 일정비트율엔코더를이용하는멀티플렉서
US6055270A (en) * 1994-04-20 2000-04-25 Thomson Cosumer Electronics, Inc. Multiplexer system using constant bit rate encoders
US5650829A (en) * 1994-04-21 1997-07-22 Sanyo Electric Co., Ltd. Motion video coding systems with motion vector detection
DE4416967A1 (de) * 1994-05-13 1995-11-16 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Transcodierung von Bitströmen mit Videodaten
FR2720582B1 (fr) * 1994-05-27 1996-08-14 Sgs Thomson Microelectronics Circuit de détermination du coefficient de quantification dans une chaîne de compression d'image.
FR2721787B1 (fr) * 1994-06-22 1996-07-26 Thomson Consumer Electronics Procédé de quantification des coefficients.
US5767898A (en) * 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
JP3050047B2 (ja) * 1994-06-24 2000-06-05 日本ビクター株式会社 動画像符号化装置及び動画像符号化方法
US5651078A (en) * 1994-07-18 1997-07-22 Thomson Consumer Electronics, Inc. Method and apparatus for reducing contouring in video compression
JP3336754B2 (ja) * 1994-08-19 2002-10-21 ソニー株式会社 デジタルビデオ信号の記録方法及び記録装置
JP2882287B2 (ja) * 1994-08-22 1999-04-12 日本電気株式会社 動画像符号化装置
GB9417138D0 (en) 1994-08-23 1994-10-12 Discovision Ass Data rate conversion
JP3911035B2 (ja) * 1994-08-31 2007-05-09 ソニー株式会社 動画像符号化方法及び動画像符号化装置
JPH08154247A (ja) * 1994-09-29 1996-06-11 Sanyo Electric Co Ltd 圧縮画像データ処理装置及び方法
JP3954656B2 (ja) * 1994-09-29 2007-08-08 ソニー株式会社 画像符号化装置及び方法
JP3711572B2 (ja) * 1994-09-30 2005-11-02 ソニー株式会社 画像符号化装置及び方法
US5734419A (en) 1994-10-21 1998-03-31 Lucent Technologies Inc. Method of encoder control
CA2157066C (en) 1994-10-21 1999-09-21 Nelson Botsford Iii Method for controlling a compressed data buffer
US5889561A (en) * 1994-11-04 1999-03-30 Rca Thomson Licensing Corporation Method and apparatus for scaling a compressed video bitstream
GB9424436D0 (en) * 1994-12-02 1995-01-18 Philips Electronics Video editing buffer management
JPH08163554A (ja) * 1994-12-02 1996-06-21 Electron & Telecommun Res Inst ビデオビット率制御方法
US5646687A (en) * 1994-12-29 1997-07-08 Lucent Technologies Inc. Temporally-pipelined predictive encoder/decoder circuit and method
US5710595A (en) * 1994-12-29 1998-01-20 Lucent Technologies Inc. Method and apparatus for controlling quantization and buffering for digital signal compression
EP0720376B1 (en) * 1994-12-29 2001-10-31 Sony Corporation Quantizing apparatus and quantizing method
US5802211A (en) * 1994-12-30 1998-09-01 Harris Corporation Method and apparatus for transmitting and utilizing analog encoded information
FR2729520B1 (fr) * 1995-01-16 1997-06-13 France Telecom Procede de regulation du debit de codage par prediction temporelle et compensation de mouvement, d'un signal numerique de television
US5546336A (en) * 1995-01-19 1996-08-13 International Business Machine Corporation Processor using folded array structures for transposition memory and fast cosine transform computation
US5677969A (en) * 1995-02-23 1997-10-14 Motorola, Inc. Method, rate controller, and system for preventing overflow and underflow of a decoder buffer in a video compression system
JPH08242452A (ja) * 1995-03-02 1996-09-17 Matsushita Electric Ind Co Ltd 映像信号圧縮符号化装置
US5841476A (en) * 1995-03-03 1998-11-24 Kokusai Denshin Denwa Co. Ltd. Coding apparatus for encoding motion picture
US5734677A (en) * 1995-03-15 1998-03-31 The Chinese University Of Hong Kong Method for compression of loss-tolerant video image data from multiple sources
JPH08256341A (ja) * 1995-03-17 1996-10-01 Sony Corp 画像信号符号化方法、画像信号符号化装置、画像信号記録媒体、及び画像信号復号化装置
US6198767B1 (en) * 1995-03-27 2001-03-06 International Business Machines Corporation Apparatus for color component compression
US5668598A (en) * 1995-03-27 1997-09-16 International Business Machines Corporation Motion video compression system with guaranteed bit production limits
JP2809126B2 (ja) * 1995-03-30 1998-10-08 日本電気株式会社 音声信号処理回路および音声信号処理方法
US5729294A (en) * 1995-04-05 1998-03-17 International Business Machines Corporation Motion video compression system with novel adaptive quantization
US5694170A (en) * 1995-04-06 1997-12-02 International Business Machines Corporation Video compression using multiple computing agents
US5914712A (en) * 1995-05-08 1999-06-22 Video Jukebox Network, Inc. Interactive video system
US5819004A (en) * 1995-05-08 1998-10-06 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of previously encoded video frames
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
GB2301970B (en) * 1995-06-06 2000-03-01 Sony Uk Ltd Motion compensated video processing
US6480664B1 (en) * 1995-06-07 2002-11-12 Hou-Chun Ting Trick mode VTR which generates trick play data from a stream of images containing intra-pictures and predictive pictures and selects specific DCT coefficients for intra-pictures
US5860086A (en) * 1995-06-07 1999-01-12 International Business Machines Corporation Video processor with serialization FIFO
KR0153671B1 (ko) * 1995-06-30 1998-11-16 배순훈 고선명 텔레비젼 엔코더의 레이트 콘트롤러
FR2736743B1 (fr) * 1995-07-10 1997-09-12 France Telecom Procede de controle de debit de sortie d'un codeur de donnees numeriques representatives de sequences d'images
JP2795223B2 (ja) * 1995-07-18 1998-09-10 日本電気株式会社 画像信号の符号化方法
EP0757490A3 (en) 1995-08-02 1999-01-13 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
JPH0955941A (ja) * 1995-08-16 1997-02-25 Sony Corp 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置
US5910909A (en) * 1995-08-28 1999-06-08 C-Cube Microsystems, Inc. Non-linear digital filters for interlaced video signals and method thereof
JPH0974566A (ja) * 1995-09-04 1997-03-18 Sony Corp 圧縮符号化装置及び圧縮符号化データの記録装置
US5652629A (en) * 1995-09-12 1997-07-29 International Business Machines Corporation Bidirectional motion estimation in a motion video compression system
GB9519923D0 (en) * 1995-09-29 1995-11-29 Philips Electronics Nv Motion estimation for predictive image coding
US5675384A (en) * 1995-10-03 1997-10-07 Nec Usa, Inc. VBR MPEG video encoding for ATM networks with dynamic bandwidth renegotiation
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US6571019B1 (en) * 1995-10-26 2003-05-27 Hyundai Curitel, Inc Apparatus and method of encoding/decoding a coded block pattern
US6192081B1 (en) 1995-10-26 2001-02-20 Sarnoff Corporation Apparatus and method for selecting a coding mode in a block-based coding system
GB2306831B (en) * 1995-10-30 2000-05-24 Sony Uk Ltd Video data compression
WO1997016926A1 (en) * 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for determining ambient conditions from an image sequence
KR100355375B1 (ko) * 1995-11-01 2002-12-26 삼성전자 주식회사 영상부호화장치에있어서양자화간격결정방법및회로
DE69615533T2 (de) * 1995-11-15 2002-05-23 Koninkl Philips Electronics Nv Verfahren und vorrichtung zur steuerung der globalen bitrate einer vielzahl von kodierern
US5717464A (en) * 1995-12-18 1998-02-10 Divicom, Inc. Rate control for a video encoder
US5761398A (en) * 1995-12-26 1998-06-02 C-Cube Microsystems Inc. Three stage hierarchal motion vector determination
US5872598A (en) * 1995-12-26 1999-02-16 C-Cube Microsystems Scene change detection using quantization scale factor rate control
US5686963A (en) * 1995-12-26 1997-11-11 C-Cube Microsystems Method for performing rate control in a video encoder which provides a bit budget for each frame while employing virtual buffers and virtual buffer verifiers
US5801779A (en) * 1995-12-26 1998-09-01 C-Cube Microsystems, Inc. Rate control with panic mode
US6057893A (en) * 1995-12-28 2000-05-02 Sony Corporation Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium
KR970057947A (ko) * 1995-12-28 1997-07-31 배순훈 영상 부호화기에서의 타입 결정 및 버퍼 제어 장치
US5963256A (en) * 1996-01-11 1999-10-05 Sony Corporation Coding according to degree of coding difficulty in conformity with a target bit rate
US5719632A (en) * 1996-01-25 1998-02-17 Ibm Corporation Motion video compression system with buffer empty/fill look-ahead bit allocation
KR0170735B1 (ko) * 1996-01-29 1999-03-20 김광호 정지영상 데이터의 압축장치
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5731839A (en) * 1996-02-06 1998-03-24 David Sarnoff Research Center, Inc. Bitstream for evaluating predictive video decoders and a method of generating same
US5731835A (en) * 1996-02-26 1998-03-24 David Sarnoff Research Center, Inc. Dynamic coding rate control in a block-based video coding system
JP3493872B2 (ja) * 1996-02-29 2004-02-03 ソニー株式会社 画像データ処理方法およびその装置
US6100931A (en) * 1996-03-19 2000-08-08 Sony Corporation Method and apparatus for controlling a target amount of code and for compressing video data
US5844607A (en) * 1996-04-03 1998-12-01 International Business Machines Corporation Method and apparatus for scene change detection in digital video compression
DE69738878D1 (de) * 1996-04-12 2008-09-11 Sony Corp Bildkodierung mit Pufferunterlaufvermeidung
EP1182888A3 (en) * 1996-04-25 2004-11-03 Matsushita Electric Industrial Co., Ltd. Video coding with bit rate dependent quantisation
FR2748623B1 (fr) 1996-05-09 1998-11-27 Thomson Multimedia Sa Encodeur a debit variable
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US6026217A (en) * 1996-06-21 2000-02-15 Digital Equipment Corporation Method and apparatus for eliminating the transpose buffer during a decomposed forward or inverse 2-dimensional discrete cosine transform through operand decomposition storage and retrieval
US6292589B1 (en) * 1996-06-21 2001-09-18 Compaq Computer Corporation Method for choosing rate control parameters in motion-compensated transform-based picture coding scheme using non-parametric technique
US5805228A (en) * 1996-08-09 1998-09-08 U.S. Robotics Access Corp. Video encoder/decoder system
US6337879B1 (en) * 1996-08-14 2002-01-08 Sony Corporation Video data compression apparatus and method of same
US6205253B1 (en) 1996-08-19 2001-03-20 Harris Corporation Method and apparatus for transmitting and utilizing analog encoded information
JP3318825B2 (ja) * 1996-08-20 2002-08-26 ソニー株式会社 デジタル信号符号化処理方法、デジタル信号符号化処理装置、デジタル信号記録方法、デジタル信号記録装置、記録媒体、デジタル信号伝送方法及びデジタル信号伝送装置
JP3908789B2 (ja) * 1996-08-30 2007-04-25 コーニンクレッカ、フィリップス、エレクトロニクス、エヌ.ヴィ. ビデオ伝送システム
JP3864461B2 (ja) * 1996-08-30 2006-12-27 ソニー株式会社 映像データ圧縮装置およびその方法
FR2753330B1 (fr) * 1996-09-06 1998-11-27 Thomson Multimedia Sa Procede de quantification pour codage video
KR100297830B1 (ko) * 1996-11-09 2001-08-07 윤종용 영상단위별 비트발생량 조절 장치 및 방법
US6094455A (en) * 1996-09-25 2000-07-25 Matsushita Electric Industrial Co., Ltd. Image compression/encoding apparatus and system with quantization width control based on bit generation error
US5818535A (en) * 1996-09-30 1998-10-06 Alaris, Inc. Method and apparatus for adaptive hybrid motion video compression and decompression
US5745058A (en) * 1996-10-21 1998-04-28 International Business Machines Corporation Method and system for compressing microcode to be executed within a data processing system
US6037985A (en) * 1996-10-31 2000-03-14 Texas Instruments Incorporated Video compression
DE69630122T2 (de) * 1996-11-04 2004-05-27 Alcatel Verfahren und Vorrichtung zur Vorfilterung von Videobildern
US6512775B1 (en) * 1996-11-08 2003-01-28 The Trustees Of Columbia University In The City Of New York Method and apparatus for a programmable bitstream parser for audiovisual and generic decoding systems
JPH10145773A (ja) * 1996-11-14 1998-05-29 Toshiba Corp 動画像データの暗号化方法およびその方法が適用されるコンピュータシステム並びに動画像データ符号化/復号化装置
US6243417B1 (en) * 1996-12-12 2001-06-05 Sony Corporation Device and method for encoding image data, and image data transmission method
WO1998037701A1 (en) 1997-02-12 1998-08-27 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US6272175B1 (en) * 1997-02-13 2001-08-07 Conexant Systems, Inc. Video signal coding systems and processes using adaptive quantization
EP1359766A3 (en) * 1997-02-14 2005-02-16 AT&T Corp. A method of generating a dequantized dc luminance or dc chrominance coefficient
US6347116B1 (en) * 1997-02-14 2002-02-12 At&T Corp. Non-linear quantizer for video coding
US7269219B1 (en) 1997-02-14 2007-09-11 At&T Corp. Non-linear quantizer for video coding
US6577680B2 (en) * 1997-03-12 2003-06-10 Matsushita Electric Industrial Co., Ltd. Video signal coding method and coding device adapted to control code amounts according to the characteristics of pictures
US6553068B1 (en) * 1997-03-12 2003-04-22 Matsushita Electric Industrial Co., Ltd. Video signal coding method and device adapted to control code amounts according to the characteristics of pictures
US6178203B1 (en) * 1997-04-03 2001-01-23 Lsi Logic Corporation Method and apparatus for two-row decoding of MPEG video
US6067321A (en) * 1997-04-03 2000-05-23 Lsi Logic Corporation Method and apparatus for two-row macroblock decoding to improve caching efficiency
JP4061511B2 (ja) * 1997-04-15 2008-03-19 ソニー株式会社 符号化装置及び符号化方法
JP3588970B2 (ja) * 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
US6088392A (en) * 1997-05-30 2000-07-11 Lucent Technologies Inc. Bit rate coder for differential quantization
US6339616B1 (en) 1997-05-30 2002-01-15 Alaris, Inc. Method and apparatus for compression and decompression of still and motion video data based on adaptive pixel-by-pixel processing and adaptive variable length coding
WO1999003282A1 (en) 1997-07-08 1999-01-21 Sony Corporation Video data encoder, video data encoding method, video data transmitter, and video data recording medium
US6023296A (en) * 1997-07-10 2000-02-08 Sarnoff Corporation Apparatus and method for object based rate control in a coding system
US6690833B1 (en) 1997-07-14 2004-02-10 Sarnoff Corporation Apparatus and method for macroblock based rate control in a coding system
US6192075B1 (en) * 1997-08-21 2001-02-20 Stream Machine Company Single-pass variable bit-rate control for digital video coding
FR2769453B1 (fr) * 1997-10-06 2000-01-07 Telediffusion Fse Procede d'evaluation de la degradation d'une image video introduite par un systeme de codage et/ou de stockage et/ou de transmission numerique
US6885702B1 (en) 1997-10-06 2005-04-26 Telediffusion De France Method for spatial synchronization of a digitally coded video image and/or for identification of the syntax of a video sequence
US5978029A (en) * 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis
US6366704B1 (en) 1997-12-01 2002-04-02 Sharp Laboratories Of America, Inc. Method and apparatus for a delay-adaptive rate control scheme for the frame layer
US6111914A (en) * 1997-12-01 2000-08-29 Conexant Systems, Inc. Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes
US6118822A (en) * 1997-12-01 2000-09-12 Conexant Systems, Inc. Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes
WO1999030505A1 (en) * 1997-12-08 1999-06-17 Sony Corporation Encoder and encoding method
GB2337392B (en) * 1997-12-08 2002-04-17 Sony Corp Coding device and method
US6067118A (en) * 1997-12-16 2000-05-23 Philips Electronics North America Corp. Method of frame-by-frame calculation of quantization matrices
US6181742B1 (en) * 1998-01-26 2001-01-30 International Business Machines Corporation Single pass target allocation for video encoding
US6192154B1 (en) * 1998-01-26 2001-02-20 International Business Machines Corporation Two-pass encoding method of digital motion video sequences for constant-or variable bit rate
US6459439B1 (en) * 1998-03-09 2002-10-01 Macromedia, Inc. Reshaping of paths without respect to control points
US6278735B1 (en) 1998-03-19 2001-08-21 International Business Machines Corporation Real-time single pass variable bit rate control strategy and encoder
US6895048B2 (en) * 1998-03-20 2005-05-17 International Business Machines Corporation Adaptive encoding of a sequence of still frames or partially still frames within motion video
JP2002506605A (ja) * 1998-04-30 2002-02-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ データ圧縮
US6125147A (en) * 1998-05-07 2000-09-26 Motorola, Inc. Method and apparatus for reducing breathing artifacts in compressed video
US6212232B1 (en) 1998-06-18 2001-04-03 Compaq Computer Corporation Rate control and bit allocation for low bit rate video communication applications
US6804294B1 (en) * 1998-08-11 2004-10-12 Lucent Technologies Inc. Method and apparatus for video frame selection for improved coding quality at low bit-rates
DE59904186D1 (de) 1998-09-29 2003-03-06 Siemens Ag Verfahren und anordnung zur bearbeitung eines digitalisierten bildes mit bildpunkten
CN1174624C (zh) * 1998-09-29 2004-11-03 松下电器产业株式会社 可变比特率编码装置
WO2000040032A1 (en) * 1998-12-23 2000-07-06 Koninklijke Philips Electronics N.V. Adaptive buffer and quantizer regulation scheme for bandwidth scalability of video data
CN1184820C (zh) * 1999-01-15 2005-01-12 皇家菲利浦电子有限公司 编码和噪声过滤图象序列
JP2000253397A (ja) * 1999-03-01 2000-09-14 Nec Corp 動画像符号化装置
FR2791211B1 (fr) 1999-03-18 2001-10-19 Cit Alcatel Dispositif de regulation en debit ou en qualite d'un compresseur de donnees numeriques, notamment d'images
KR100390115B1 (ko) * 1999-04-12 2003-07-04 마츠시타 덴끼 산교 가부시키가이샤 화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체
US6633673B1 (en) * 1999-06-17 2003-10-14 Hewlett-Packard Development Company, L.P. Fast fade operation on MPEG video or other compressed data
JP3807157B2 (ja) * 1999-06-25 2006-08-09 日本ビクター株式会社 符号化装置及び符号化方法
JP2001086512A (ja) * 1999-09-14 2001-03-30 Nec Corp 可変ビットレート符号化装置
EP1085765A3 (en) * 1999-09-20 2006-03-01 Matsushita Electric Industrial Co., Ltd. System stream creating apparatus which adjusts system clock reference based on total number of pictures to be stored and decoded during certain time period
GB2356510B (en) * 1999-11-18 2004-04-21 Sony Uk Ltd Data compression
US6754371B1 (en) * 1999-12-07 2004-06-22 Sony Corporation Method and apparatus for past and future motion classification
US6810082B1 (en) * 1999-12-17 2004-10-26 Koninklijke Philips Electronics N.V. Chroma based adaptive signal peaking
US6678332B1 (en) 2000-01-04 2004-01-13 Emc Corporation Seamless splicing of encoded MPEG video and audio
US6792047B1 (en) 2000-01-04 2004-09-14 Emc Corporation Real time processing and streaming of spliced encoded MPEG video and associated audio
US7096481B1 (en) 2000-01-04 2006-08-22 Emc Corporation Preparation of metadata for splicing of encoded MPEG video and audio
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US6600836B1 (en) * 2000-01-28 2003-07-29 Qualcomm, Incorporated Quality based image compression
US6522693B1 (en) 2000-02-23 2003-02-18 International Business Machines Corporation System and method for reencoding segments of buffer constrained video streams
AU777595B2 (en) * 2000-03-13 2004-10-21 Sony Corporation Content supplying apparatus and method, and recording medium
US6382331B1 (en) * 2000-04-17 2002-05-07 Noble Drilling Services, Inc. Method of and system for optimizing rate of penetration based upon control variable correlation
US7091985B1 (en) 2000-05-16 2006-08-15 International Business Machines Corporation System and method for compressing color data using expandable color palette
JP2002077917A (ja) * 2000-06-13 2002-03-15 Sony Corp 画像データ処理装置及び画像データ処理方法
KR100341063B1 (ko) * 2000-06-28 2002-06-20 송문섭 실시간 영상 통신을 위한 율제어 장치 및 그 방법
US6871006B1 (en) 2000-06-30 2005-03-22 Emc Corporation Processing of MPEG encoded video for trick mode operation
US6771703B1 (en) 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
US7020205B1 (en) * 2000-07-12 2006-03-28 Thomson Licensing Sending progressive video sequences suitable for MPEG and other data formats
US7424058B1 (en) * 2000-09-28 2008-09-09 Autodesk, Inc. Variable bit-rate encoding
US7751683B1 (en) 2000-11-10 2010-07-06 International Business Machines Corporation Scene change marking for thumbnail extraction
US7023924B1 (en) 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
US6937770B1 (en) 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
US8374237B2 (en) 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
US6831947B2 (en) 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
US6907081B2 (en) * 2001-03-30 2005-06-14 Emc Corporation MPEG encoder control protocol for on-line encoding and MPEG data storage
CN1229774C (zh) * 2001-04-09 2005-11-30 皇家菲利浦电子有限公司 有特殊步长适应的自适应差分脉码调制语音编码系统
ES2261637T3 (es) * 2001-04-09 2006-11-16 Koninklijke Philips Electronics N.V. Sistema de codificacion del habla adpcm, con filtros de difuminado de fase y difuminado de fase inverso.
US7174561B2 (en) * 2001-04-13 2007-02-06 Emc Corporation MPEG dual-channel decoder data and control protocols for real-time video streaming
US9894379B2 (en) * 2001-07-10 2018-02-13 The Directv Group, Inc. System and methodology for video compression
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US8111754B1 (en) 2001-07-11 2012-02-07 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US20030112863A1 (en) 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
US6914936B1 (en) * 2001-07-19 2005-07-05 Bigband Networks, Inc. Method for allocating media unit sequences among a plurality of output channels
US6980594B2 (en) 2001-09-11 2005-12-27 Emc Corporation Generation of MPEG slow motion playout
US6968091B2 (en) * 2001-09-18 2005-11-22 Emc Corporation Insertion of noise for reduction in the number of bits for variable-length coding of (run, level) pairs
US6959116B2 (en) * 2001-09-18 2005-10-25 Emc Corporation Largest magnitude indices selection for (run, level) encoding of a block coded picture
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
EP2302929B1 (en) * 2001-11-27 2015-03-25 Samsung Electronics Co., Ltd. Coding and decoding of a bitstream with a coordinate interpolator
US6763068B2 (en) * 2001-12-28 2004-07-13 Nokia Corporation Method and apparatus for selecting macroblock quantization parameters in a video encoder
KR100468726B1 (ko) * 2002-04-18 2005-01-29 삼성전자주식회사 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법
WO2004025943A2 (en) * 2002-04-23 2004-03-25 Nokia Corporation Method and device for indicating quantizer parameters in a video coding system
US20030202780A1 (en) * 2002-04-25 2003-10-30 Dumm Matthew Brian Method and system for enhancing the playback of video frames
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
KR20040007818A (ko) * 2002-07-11 2004-01-28 삼성전자주식회사 동영상 부호화를 위한 dct연산량 조절 방법 및 그 장치
US7418037B1 (en) * 2002-07-15 2008-08-26 Apple Inc. Method of performing rate control for a compression system
US7769084B1 (en) 2002-07-15 2010-08-03 Apple Inc. Method for implementing a quantizer in a multimedia compression and encoding system
US7804897B1 (en) 2002-12-16 2010-09-28 Apple Inc. Method for implementing an improved quantizer in a multimedia compression and encoding system
US7940843B1 (en) * 2002-12-16 2011-05-10 Apple Inc. Method of implementing improved rate control for a multimedia compression and encoding system
FI116016B (fi) * 2002-12-20 2005-08-31 Oplayo Oy Puskurointijärjestely
JP2004274212A (ja) * 2003-03-06 2004-09-30 Renesas Technology Corp 画像符号化装置
US7519115B2 (en) * 2003-03-31 2009-04-14 Duma Video, Inc. Video compression method and apparatus
DE602004028927D1 (de) 2003-05-06 2010-10-14 Nxp Bv Videokodierungs- und dekodierungsverfahren und entsprechende kodierungs- und dekodierungsvorrichtungen
US7782940B2 (en) * 2003-08-01 2010-08-24 Polycom, Inc. Methods for encoding or decoding in a videoconference system to reduce problems associated with noisy image acquisition
US7430329B1 (en) * 2003-11-26 2008-09-30 Vidiator Enterprises, Inc. Human visual system (HVS)-based pre-filtering of video data
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7809061B1 (en) 2004-01-22 2010-10-05 Vidiator Enterprises Inc. Method and system for hierarchical data reuse to improve efficiency in the encoding of unique multiple video streams
US7986731B2 (en) 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7453938B2 (en) 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US7492820B2 (en) 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US20050207501A1 (en) * 2004-03-18 2005-09-22 Sony Corporation Method of and system for video bit allocation for scene cuts and scene changes
US20060062481A1 (en) * 2004-09-21 2006-03-23 Markus Suvanto Apparatuses, computer program product and method for bit rate control of digital image encoder
US7474701B2 (en) * 2004-09-23 2009-01-06 International Business Machines Corporation Single pass variable bit rate control strategy and encoder for processing a video frame of a sequence of video frames
CN101069432B (zh) * 2004-12-02 2015-10-21 汤姆逊许可公司 用于视频编码器速率控制的量化参数的确定方法和设备
US20060174296A1 (en) * 2005-01-05 2006-08-03 Parikh Sandip S System and method for evaluating predictive video decoders
US7403562B2 (en) * 2005-03-09 2008-07-22 Eg Technology, Inc. Model based rate control for predictive video encoder
JP4687216B2 (ja) * 2005-04-18 2011-05-25 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
US9667999B2 (en) * 2005-04-25 2017-05-30 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for encoding video data
KR101170799B1 (ko) 2005-05-21 2012-08-02 삼성전자주식회사 영상 압축 방법 및 그 장치와 영상 복원 방법 및 그 장치
US20060280242A1 (en) * 2005-06-13 2006-12-14 Nokia Corporation System and method for providing one-pass rate control for encoders
SG130962A1 (en) 2005-09-16 2007-04-26 St Microelectronics Asia A method and system for adaptive pre-filtering for digital video signals
US7809057B1 (en) * 2005-09-27 2010-10-05 Ambarella, Inc. Methods for intra beating reduction in video compression
US7822117B1 (en) * 2005-09-30 2010-10-26 Ambarella, Inc. Video encoder rate control using bit usage measuring and allocating by macroblock classes
US8160156B2 (en) * 2006-02-01 2012-04-17 Verint Systems, Inc. System and method for controlling the long term generation rate of compressed data
WO2007104266A1 (en) * 2006-03-16 2007-09-20 Huawei Technologies Co., Ltd. Method and apparatus for realizing adaptive quantization in encoding process
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8077775B2 (en) * 2006-05-12 2011-12-13 Freescale Semiconductor, Inc. System and method of adaptive rate control for a video encoder
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
US8831089B1 (en) * 2006-07-31 2014-09-09 Geo Semiconductor Inc. Method and apparatus for selecting optimal video encoding parameter configurations
JP4358215B2 (ja) * 2006-09-27 2009-11-04 株式会社東芝 動画像符号化装置及びその方法
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8064517B1 (en) 2007-09-07 2011-11-22 Zenverge, Inc. Perceptually adaptive quantization parameter selection
CN101594525B (zh) * 2008-05-31 2011-08-10 华为技术有限公司 量化参数的获取方法、装置及转码器
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
WO2010017166A2 (en) 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
JP5550032B2 (ja) * 2008-08-05 2014-07-16 株式会社メガチップス トランスコーダ
US9232226B2 (en) * 2008-08-19 2016-01-05 Marvell World Trade Ltd. Systems and methods for perceptually lossless video compression
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
CN101510950B (zh) * 2008-10-10 2011-05-18 慧帝科技(深圳)有限公司 一种影像处理装置和方法
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8879623B2 (en) * 2009-09-02 2014-11-04 Sony Computer Entertainment Inc. Picture-level rate control for video encoding a scene-change I picture
JP5484083B2 (ja) * 2010-01-14 2014-05-07 株式会社メガチップス 画像処理装置
TWI421798B (zh) * 2010-04-27 2014-01-01 Novatek Microelectronics Corp 影像壓縮之位元率控制方法及其裝置
US8477050B1 (en) 2010-09-16 2013-07-02 Google Inc. Apparatus and method for encoding using signal fragments for redundant transmission of data
CN103748612B (zh) 2011-01-24 2018-04-27 英特尔公司 用于获取、表示、比较和传输三维数据的方法和系统
US9215466B2 (en) * 2011-01-31 2015-12-15 Apple Inc. Joint frame rate and resolution adaptation
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
GB2499843B (en) * 2012-03-02 2014-12-03 Canon Kk Methods for encoding and decoding an image, and corresponding devices
US20140192898A1 (en) * 2013-01-04 2014-07-10 Intel Corporation Coding unit bit number limitation
WO2014107183A1 (en) * 2013-01-04 2014-07-10 Intel Corporation Coding unit bit number limitation
TWI578763B (zh) * 2013-02-28 2017-04-11 英特爾股份有限公司 編碼單元位元數限制
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
FR3024313B1 (fr) * 2014-07-25 2017-12-08 Allegro Dvt Codeur de video a debit variable
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
KR101631950B1 (ko) * 2014-11-12 2016-06-20 삼성전자주식회사 전처리기법을 이용한 영상 부호화 방법 및 장치
US10264257B2 (en) * 2015-06-30 2019-04-16 Texas Instruments Incorporated Video encoding
US10178390B2 (en) * 2016-03-30 2019-01-08 Sony Interactive Entertainment Inc. Advanced picture quality oriented rate control for low-latency streaming applications
KR102543444B1 (ko) 2017-08-29 2023-06-13 삼성전자주식회사 영상 부호화 장치
US10979747B2 (en) * 2017-12-21 2021-04-13 Arris Enterprises Llc Statistical multiplexing system for variable bit rate encoding with constant bit rate encoder
US10659514B2 (en) * 2018-03-28 2020-05-19 Arlo Technologies, Inc. System for video monitoring with adaptive bitrate to sustain image quality
CN114363624B (zh) * 2020-10-13 2023-03-31 北京大学 一种基于敏感度的码率分配特征压缩方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3735349A1 (de) * 1986-10-18 1988-04-28 Toshiba Kawasaki Kk Bildpresservorrichtung
SE457402B (sv) * 1987-02-20 1988-12-19 Harald Brusewitz Foerfarande och anordning foer kodning och avkodning av bildinformation
US5051840A (en) * 1988-12-14 1991-09-24 Fuji Photo Film Co., Ltd. Device for coding a picture signal by compression
DE69031198T2 (de) * 1989-06-09 1998-03-19 Matsushita Electric Ind Co Ltd Einrichtung zur orthogonalen Transformationskodierung
JPH03129987A (ja) * 1989-10-14 1991-06-03 Sony Corp 映像信号符号化装置及び映像信号符号化方法
EP0444918B1 (en) * 1990-02-28 1996-06-05 Victor Company Of Japan, Limited Data compression apparatus
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
US5038209A (en) * 1990-09-27 1991-08-06 At&T Bell Laboratories Adaptive buffer/quantizer control for transform video coders
JP2514111B2 (ja) * 1990-12-28 1996-07-10 日本ビクター株式会社 フレ―ム間符号化出力デ―タ量制御方式及び画像符号化出力デ―タ量制御方法
US5111292A (en) * 1991-02-27 1992-05-05 General Electric Company Priority selection apparatus as for a video signal processor
JP3187097B2 (ja) * 1991-10-17 2001-07-11 株式会社東芝 動画像符号化における符号量配分方法とこれを用いた動画像符号化方法及び装置

Also Published As

Publication number Publication date
EP0959628A3 (en) 2002-01-30
EP0540961A2 (en) 1993-05-12
JPH05252507A (ja) 1993-09-28
EP0540961A3 (ja) 1994-08-31
DE69230704D1 (de) 2000-03-30
DE69230704T2 (de) 2000-08-31
KR960007264B1 (ko) 1996-05-29
EP0959627A3 (en) 2002-01-30
EP0959628A2 (en) 1999-11-24
DE69233411T2 (de) 2005-09-22
CN1072554A (zh) 1993-05-26
KR930011724A (ko) 1993-06-24
US5231484A (en) 1993-07-27
CN1035593C (zh) 1997-08-06
CA2077058C (en) 1998-05-05
CA2077058A1 (en) 1993-05-09
DE69233411D1 (de) 2004-10-21
EP0540961B1 (en) 2000-02-23
TW221085B (ja) 1994-02-11
EP0959627A2 (en) 1999-11-24
EP0959627B1 (en) 2004-09-15

Similar Documents

Publication Publication Date Title
JP2818340B2 (ja) モーション・ビデオ圧縮システムおよび方法
US6192154B1 (en) Two-pass encoding method of digital motion video sequences for constant-or variable bit rate
US5719632A (en) Motion video compression system with buffer empty/fill look-ahead bit allocation
US9774859B2 (en) Image coding and decoding method and apparatus considering human visual characteristics
US6181742B1 (en) Single pass target allocation for video encoding
US6658157B1 (en) Method and apparatus for converting image information
KR100253931B1 (ko) 디지탈 영상 시퀀스의 디코딩 방법 및 장치
US6040861A (en) Adaptive real-time encoding of video sequence employing image statistics
US6008848A (en) Video compression using multiple computing agents
US20040252758A1 (en) Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder
EP1086593B1 (en) Sequence adaptive bit allocation for pictures encoding
KR20010021879A (ko) 코딩 시스템의 매크로 블록 기반 비율을 제어하기 위한장치 및 방법
JP2001510311A (ja) 符号化方式におけるオブジェクトベースのレート制御装置及びその方法
JPH07288810A (ja) 動画符号化方法
KR100238622B1 (ko) 새로운 적응형 양자화기를 이용한 동영상 압축 시스템 및 방법
AU4875899A (en) Encoding apparatus and method
US5668598A (en) Motion video compression system with guaranteed bit production limits
US20050286628A1 (en) Human visual system (HVS) filter in a discrete cosine transformator (DCT)
US5652629A (en) Bidirectional motion estimation in a motion video compression system
JPH09149412A (ja) ビデオデータ圧縮方式
JPH10108197A (ja) 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体
JPH10136354A (ja) 映像信号符号化方法、映像信号符号化装置及び記録媒体
JPH09149420A (ja) 動画像圧縮方法および装置
JP3922581B2 (ja) 可変転送レート符号化方法および装置
Brown A bitrate control algorithm for the Berkeley MPEG-1 video encoder

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070821

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080821

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080821

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090821

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100821

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100821

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110821

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120821

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees