JP4256574B2 - 画像信号符号化方法および画像信号符号化装置 - Google Patents

画像信号符号化方法および画像信号符号化装置 Download PDF

Info

Publication number
JP4256574B2
JP4256574B2 JP2000237572A JP2000237572A JP4256574B2 JP 4256574 B2 JP4256574 B2 JP 4256574B2 JP 2000237572 A JP2000237572 A JP 2000237572A JP 2000237572 A JP2000237572 A JP 2000237572A JP 4256574 B2 JP4256574 B2 JP 4256574B2
Authority
JP
Japan
Prior art keywords
code amount
quantization scale
quantization
encoding
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000237572A
Other languages
English (en)
Other versions
JP2002051343A (ja
Inventor
幸二 山田
潔 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2000237572A priority Critical patent/JP4256574B2/ja
Priority to US09/815,057 priority patent/US6801572B2/en
Publication of JP2002051343A publication Critical patent/JP2002051343A/ja
Application granted granted Critical
Publication of JP4256574B2 publication Critical patent/JP4256574B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像信号符号化方法および画像信号符号化装置に係り、特に、画像信号を可変ビットレートで符号化する画像信号符号化方法および画像信号符号化装置に関する。
【0002】
【従来の技術】
近年、画像信号符号化装置において、国際標準であるMPEG(MovingPicture Experts Group)等の画像信号符号化方法が利用されている。このような画像信号符号化装置では、ビットストリームが画像信号復号化装置の受信バッファを破綻させない為に、画像信号符号化装置のビットストリーム出力先にVBV(Video Buffering Verifier:ビデオ・バッファ検証器)を仮想的に接続し、このVBVを破綻させないように符号化を行っている。
【0003】
図1は、VBVのバッファ占有量の時間変化について説明する一例の図を示す。時刻Aでは、VBVにビットストリームが供給され始め、次第にバッファ占有量が増加している。時刻Bでは、符号量Dの画像フレームを復号化する為、符号量D分のバッファ占有量が減少している。時刻Bから時刻Cにかけて、引き続きバッファ占有量が増加している。時刻Cでは、符号量Eの画像フレームを復号化する為、符号量E分のバッファ占有量が減少している。図1中、バッファ占有量が増加するときのグラフの傾きは、VBVに供給されるビットストリームの転送レートを表している。
【0004】
ところで、画像信号符号化装置では、図1に示すように、バッファ占有量が0から所定のバッファサイズまでの間で変化するように、符号化による発生符号量を制御する必要があった。符号化による発生符号量の制御が適切でないと、図2,3に示すように、VBVが破綻してしまう。
【0005】
図2は、VBVで生じるアンダーフローについて説明する一例の図を示す。時刻Fでは、VBVにビットストリームが供給され始め、次第にバッファ占有量が増加している。時刻Gでは、符号量Iの画像フレームを復号化する為、符号量I分のバッファ占有量が減少している。時刻Gから時刻Hにかけて、引き続きバッファ占有量が増加している。
【0006】
時刻Hでは、符号量Jの画像フレームを復号化しなければならないが、その画像フレームの全てのビットストリームがVBVに供給されておらず、復号化が不可能となる。この状態をバッファアンダーフローという。
【0007】
図3は、VBVで生じるオーバーフローについて説明する一例の図を示す。符号化による発生符号量の制御は、固定レート符号化モードと可変レート符号化モードとで異なる。VBVで生じるオーバ−フローは、固定レート符号化モードのとき生じる。
【0008】
時刻Kでは、VBVにビットストリームが供給され始め、次第にバッファ占有量が増加している。時刻Lでは、符号量Nの画像フレームを復号化する為、符号量N分のバッファ占有量が減少している。時刻Lから時刻Mにかけて、引き続きバッファ占有量が増加している。
【0009】
ところで、時刻Mでは画像フレームを復号化するのであるが、時刻Lで復号化した画像フレームの符号量Nが少ないために、時刻M以前にVBVのバッファ占有量が所定のバッファサイズに達してしまう。このため、時刻Mでは、あふれたビットストリームが欠けてしまい、正常な復号化が不可能となる。この状態をバッファオーバーフローという。
【0010】
図4は、可変レート符号化モード時のバッファ占有量の時間変化について説明する一例の図を示す。可変レート符号化モードでは、バッファオーバフローがなく、バッファ占有量が所定のバッファサイズに達すると、ビットストリームの供給が停止される。なお、バッファ占有量が減少すると、ビットストリームの供給が再開される。
【0011】
時刻Pでは、VBVにビットストリームが供給され始め、次第にバッファ占有量が増加している。時刻Qでは、符号量Tの画像フレームを復号化する為、符号量T分のバッファ占有量が減少している。時刻Qから時刻Rにかけて、引き続きバッファ占有量が増加している。
【0012】
時刻Rでは、バッファ占有量が所定のバッファサイズに達したため、VBVへのビットストリームの供給を停止する。時刻Sでは、符号量Uの画像フレームの復号化に伴い、符号量U分のバッファ占有量が減少するため、VBVへのビットストリームの供給が再開されている。
【0013】
上記のバッファオーバーフローおよびバッファアンダーフローは、符号化による発生符号量の制御が不適切である場合に生じるため、符号化による発生符号量の制御を適切に行う必要がある。符号化による発生符号量の制御を適切に行うためには、画像フレームに適切な目標符号量を設定すると共に、その目標符号量となるように発生符号量を制御する。
【0014】
従来、発生符号量と目標符号量とが近似するように、以下のような制御を行っていた。例えば、画像フレームの目標符号量をT,量子化制御バッファの初期占有量をd,符号化単位jの符号化前の量子化制御バッファの占有量をd,画像フレームの先頭からj番目の符号化単位(マクロブロック)までの発生符号量をB,1画像フレーム内の符号化単位数(マクロブロック数)をMBcnt,j番目の符号化単位を量子化する量子化スケールコードをQ,リアクションパラメータをrとする。
【0015】
リアクションパラメータrは、動画像のフレームレートをpicture_rate,符号化レートをbitrateとすると、以下の式(1)に従って求められる。
【0016】
r=2×(bitrate)/(picture_rate)・・・(1)
また、符号化単位は、複数の画素からなる領域とする。図5に示すように、J番目の符号化単位(マクロブロック)を符号化するときの量子化制御バッファの占有量を以下の式(2)に従って求める。なお、図5中、斜線部分が符号化済みマクロブロックを表し、斜線部分以外が未符号化マクロブロックを表す。
【0017】
=d+B -1−(T×(j−1))/MBcnt・・・(2)
そして、算出した量子化制御バッファの占有量を以下の式(3)に代入することにより、J番目の符号化単位(マクロブロック)を量子化する量子化スケールコードを算出する。
【0018】
Q=d×31/r・・・(3)
式(3)により算出した量子化スケールコードQを以下の式(4)に代入することにより、量子化スケールQSを算出する。
【0019】
QS=Q×2・・・(4)
上記処理を画像フレームの最初の符号化単位(マクロブロック)から最後の符号化単位(マクロブロック)まで行うことにより、発生符号量を目標符号量に収束させる。つまり、発生符号量が目標符号量より大きいときは、量子化スケールQSを大きくすることにより発生符号量を削減し、発生符号量が目標符号量より小さいときは、量子化スケールQSを小さくすることにより発生符号量を増大させる。以上のような処理を行うことにより、発生符号量を制御し、受信バッファの破綻を抑制していた。
【0020】
【発明が解決しようとする課題】
従来の画像信号符号化装置では、ネットワーク等の要求から一定の符号化レートで圧縮画像信号を転送する固定レート符号化モードが用いられていた。しかしながら、固定レート符号化モードでは、複雑な画像や動きの激しい画像の様な圧縮が困難な画面と、静止した画面のような圧縮が容易な画面とに画質の差が生じやすい。一方、可変レート符号化モードでは、圧縮が困難な画面について符号化レートを高く設定し、圧縮が容易な画面について符号化レートを低く設定することにより、圧縮が困難な画面と圧縮が容易な画面とに画質の差が生じないようにしていた。
【0021】
近年、IP(Internet Protocol)網などの非同期ネットワークの広帯域化,可変レート符号化モードに対応する蓄積メディアの開発などにより、圧縮画像信号の可変レート符号化モードが開発され、使用されつつある。
【0022】
一方、DVD(Digital Versatile Disc)などで用いられる可変レート符号化モードは、Nパス可変レート符号化方法と呼ばれ、動画像を圧縮符号化するために2回以上の符号化が必要となる。例えば、2パス可変レート符号化方法は、1回目に圧縮率を一定にして符号化を行なうことで画像フレーム毎の圧縮の困難性を求め、画像フレーム毎に割り当てる符号量を算出する。そして、2回目の符号化では、画像フレーム毎に割り当てた符号量に応じて各画像フレームを符号化していた。したがって、Nパス可変レート符号化方法では、リアルタイムに画像フレームを符号化することができなかった。
【0023】
ハードディスクやDVD−RAM(DVD−Random Access Memory)等を用いたディスク録画装置やディスク搭載カムコーダでは、高画質の動画像を長時間録画するために可変レート符号化モードを採用するが、リアルタイムに画像フレームを符号化する必要がある。そのため、符号化済み画像フレームの統計情報から次の画像フレームの圧縮の困難性を予測し、平均符号化レートを尊守しながらリアルタイムに画像フレームを符号化する方法が開発されている。
【0024】
このように、符号化済み画像フレームの統計情報を利用する可変レート符号化モードでは、固定レート符号化モードと同様に画像フレームの目標符号量を設定し、その目標符号量に近似するように符号化を行う。しかし、2Mbps(bit per second)以下の低符号化レートでは、画像フレームの発生符号量の予測がはずれた場合、以下の問題が生じる。
【0025】
例えば、次の画像フレームは圧縮が容易であると予測して目標符号量を少なく設定したが、実際の画像フレームの圧縮が困難であった場合、目標符号量に発生符号量を圧縮するために圧縮率が高くなり、画像劣化が生じてしまうという問題があった。
【0026】
本発明は、上記の点に鑑みなされたもので、画像の急激な変化に対応することができ、高画質の可変レ−ト符号化が可能な画像信号符号化方法および画像信号符号化装置を提供することを目的とする。
【0027】
【課題を解決するための手段】
そこで、上記課題を解決するため、本発明は、画像フレームを量子化スケールで量子化し、量子化された画像フレームを符号化する画像信号符号化方法において、符号化済み画像フレームの符号化結果に応じて最大符号量および第1量子化スケールを算出し、算出された最大符号量から符号化対象画像フレームを構成する所定単位の予測符号量を算出する段階と、前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を算出する段階と、前記予測符号量と発生符号量とを比較し、前記比較結果に応じて更新される第2量子化スケールを算出する段階と、前記第1量子化スケールと第2量子化スケールとを比較し、大きい方を新たな量子化スケールとして更新する段階とを有することを特徴とする。
【0028】
このような画像信号符号化方法では、符号化済み画像フレームの符号化結果に応じた第1量子化スケールと、最大符号量と発生符号量との比較結果に応じた第2量子化スケールとを比較し、大きい方を新たな量子化スケールとする。この第2量子化スケールは最大符号量を尊守するものであるので、少なくとも第2量子化スケールより大きな量子化スケールで量子化を行うことにより、量子化制御バッファの破綻および最大符号化レート違反を抑制することが可能となる。
【0029】
また、本発明は、画像フレームを量子化スケールで量子化し、量子化された画像フレームを符号化する画像信号符号化装置において、符号化済み画像フレームの符号化結果に応じて最大符号量および第1量子化スケールを算出する第1量子化スケール・最大符号量計算部と、前記最大符号量から符号化対象画像フレームを構成する所定単位の予測符号量を算出する一方、前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を供給され、前記予測符号量と発生符号量との差に応じて第2量子化スケールを算出する量子化制御バッファ計算部と、前記第1量子化スケールと第2量子化スケールとを比較し、大きい方を新たな量子化スケールとして出力する量子化制御部とを有することを特徴とする。
【0030】
このような画像信号符号化装置では、符号化済み画像フレームの符号化結果に応じて第1量子化スケールを算出する第1量子化スケール・最大符号量計算部と、最大符号量と発生符号量との比較結果に応じて第2量子化スケールを算出する量子化制御バッファ計算部と、第1量子化スケールおよび第2量子化スケールを比較して大きい方を新たな量子化スケールとして出力する量子化制御部とを有することにより、少なくとも最大符号量を尊守する第2量子化スケールより大きな量子化スケールで量子化を行うことができ、量子化制御バッファの破綻および最大符号化レート違反を抑制することが可能となる。
【0031】
【発明の実施の形態】
次に、本発明の実施の形態について図面に基づいて説明する。
【0032】
図6は、本発明の原理について説明する一例のブロック図を示す。量子化部15は画像データが供給され、量子化制御部10で決定された量子化スケールで画像データの量子化を行う。そして、量子化された画像データは、可変長符号化部16に供給される。可変長符号化部16は、量子化された画像データを符号化してビットストリームを生成し、そのビットストリームを発生符号量測定部12およびバッファ17に供給する。
【0033】
バッファ17では、供給されたビットストリームを格納すると共に、バッファ占有量を算出し、そのバッファ占有量を量子化制御部10および量子化スケール・最大符号量計算部13に通知する。発生符号量測定部12は、供給されたビットストリームの発生符号量を測定し、量子化制御バッファ計算部14および符号化データ用メモリ11に発生符号量を通知する。
【0034】
符号化データ用メモリ11は、発生符号量測定部12から通知される発生符号量と量子化制御部10から通知される符号化に使用された量子化スケールとを蓄積すると共に、その発生符号量と量子化スケールとを量子化スケール・最大符号量計算部13に通知する。
【0035】
量子化スケール・最大符号量計算部13は、符号化データ用メモリ11から通知される符号化済み画像フレームの量子化スケール,発生符号量と、バッファ17から通知されるバッファ占有量とから符号化対象画像フレームの最大符号量および符号化単位(例えばマクロブロック)の量子化スケールを算出し、量子化制御部10に通知する。ここで、最大符号量とは、符号化対象画像フレームの発生符号量の目標値でなく、量子化制御バッファを破綻させず、最大符号化レートの制限を尊守する最大発生符号量である。
【0036】
量子化制御バッファ計算部14は、発生符号量測定部12から通知された発生符号量と、量子化スケール・最大符号量計算部13から通知された符号化対象画像の最大符号量とから量子化スケールを算出し、その量子化スケールを量子化制御部10に通知する。そして、量子化制御部10では、量子化制御バッファ計算部14から通知された量子化スケールと、量子化スケール・最大符号量計算部13から通知された量子化スケールとを比較し、大きい方の量子化スケールを選択して量子化部15に通知している。
【0037】
更に、図7のフローチャートを参照しつつ、図6について説明していく。図7は、図6のブロック図の処理について説明する一例のフローチャートを示す。ステップS10では、量子化スケール・最大符号量計算部13にて最大符号量および量子化スケールの初期値が算出され、最初に符号化する画像フレームの量子化スケールとして量子化制御部10に供給される。ただし、最大符号量は符号化対象画像フレームの発生符号量の目標値でなく、量子化制御バッファを破綻させず、最大符号化レートの制限を尊守する最大発生符号量である。
【0038】
ステップS10に続いてステップS11に進み、量子化部15では量子化スケールの初期値を用いて画像フレームの最初の符号化単位(マクロブロック)の量子化が行われる。そして、量子化部15は量子化した画像データを可変長符号化部16に供給する。可変長符号化部16は、量子化された画像データを符号化してビットストリームを生成し、そのビットストリームを発生符号量測定部12およびバッファ17に供給する。
【0039】
ステップS11に続いてステップS12に進み、発生符号量測定部12は、供給されたビットストリームの発生符号量を測定し、量子化制御バッファ計算部14および符号化データ用メモリ11に発生符号量を通知する。ステップS12に続いてステップS13に進み、量子化制御バッファ計算部14は、前述した式(1)〜式(4)を利用して量子化スケールを算出し、量子化制御部10に通知する。量子化制御バッファ計算部14で算出される量子化スケールは、最大符号量を尊守する最小量子化スケールなので、この量子化スケールより大きい量子化スケールで量子化している限り、量子化制御バッファの破綻や最大符号化レート違反が起こり得ない。
【0040】
ステップS13に続いてステップS14に進み、量子化制御部10は、量子化制御バッファ計算部14から供給された量子化スケールと、量子化スケール・最大符号量計算部13から供給された量子化スケールとを比較し、大きい方の量子化スケールを選択して量子化部15に通知する。そして、ステップS14に続いてステップS15に進み、量子化部15は、量子化制御部10から供給された量子化スケールを利用して符号化単位の量子化を行う。
【0041】
ステップS15に続いてステップS16に進み、1画像フレーム分の符号化が終了すると(S16においてYES)、ステップS17に進む。なお、1画像フレーム分の符号化が終了していなければ(S16においてNO)、ステップS12〜S16の処理を繰り返す。
【0042】
ステップS17では、量子化スケール・最大符号量計算部13は、符号化済み画像の量子化スケールと発生符号量とから次の符号化対象画像フレームの符号化単位毎の量子化スケール,最大符号量を算出する。そして、算出された最大符号量が量子化制御バッファ計算部14に通知される。ステップS17に続いてステップS18に進み、符号化処理が終了すると(S18においてYES)、処理を終了する。また、符号化処理が終了していなければ(S18においてNO)、ステップS11〜S18の処理を繰り返す。
【0043】
以上のように、量子化スケール・最大符号量計算部13は、最大符号量を計算するときに次の画像フレームの圧縮の困難性を予測し、その圧縮の困難性に応じて最大符号量と符号化単位毎の量子化スケールとを決定する。圧縮が容易な画像フレームから圧縮が困難な画像フレームに急激に変化したとき、量子化スケール・最大符号量計算部13の画像フレームの圧縮の困難性の予測度が小さい。
【0044】
しかし、実際の符号化対象画像フレームは圧縮の困難性が高く、量子化スケール・最大符号量計算部13で予め算出した量子化スケールで画像フレームを符号化すると、発生符号量が最大符号量より大きくなり、量子化制御バッファを破綻させる恐れがある。そこで、量子化制御バッファの破綻を抑制するため、1符号化単位を符号化する毎に量子化制御バッファ計算部14で算出される最大発生符号量を尊守する最小量子化スケールと、画像フレームの符号化前に量子化スケール・最大符号量計算部13で算出される量子化スケールとを比較し、大きい方の量子化スケールを利用して符号化を行う。
【0045】
したがって、画像フレームの圧縮の困難性に急激な変化がなければ、量子化スケール・最大符号量計算部13で予め算出した量子化スケールで量子化が行われる。一方、圧縮が容易な画像フレームから圧縮が困難な画像フレームに急激に変化し、発生符号量が最大符号量を超える恐れがあれば、量子化制御バッファ計算部14で算出される最大発生符号量を尊守する最小量子化スケールを利用することにより、量子化制御バッファの破綻,最大符号化レート違反を抑制することができる。
【0046】
図8は、量子化制御バッファ計算部14の一例の構成図を示す。量子化制御バッファ計算部14は、最大符号量の符号化済み部分計算部20、減算器21、初期値格納部22,24,26、Iピクチャ量子化制御バッファ23,Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27,量子化スケール変換部28,スイッチ29,30を含むように構成される。
【0047】
最大符号量の符号化済み部分計算部20は量子化スケール・最大符号量計算部13から符号対象画像フレームの最大符号量が供給される。そして、最大符号量の符号化済み部分計算部20は、最大符号量の符号化済み部分の符号量を算出する。
【0048】
減算器21は、発生符号量測定部12から供給される発生符号量と、最大符号量の符号化済み部分計算部20から供給される最大符号量の符号化済み部分の符号量との差分を算出する。減算器21はスイッチ29を介してIピクチャ量子化制御バッファ23,Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27の何れか一つに接続される。
【0049】
スイッチ29は、符号化対象画像フレームのピクチャタイプがIピクチャのときに(a)側に接続され、符号化対象画像フレームのピクチャタイプがPピクチャのときに(b)側に接続され、符号化対象画像フレームのピクチャタイプがBピクチャのときに(c)側に接続される。
【0050】
初期値格納部22は、Iピクチャ量子化制御バッファ23に初期値を供給している。同様に、初期値格納部24,26は、Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27に初期値を供給している。Iピクチャ量子化制御バッファ23,Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27は、夫々が格納している量子化制御バッファのピクチャ符号化開始時の値に減算器21から供給される差分を加算する。
【0051】
Iピクチャ量子化制御バッファ23,Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27は、スイッチ30を介して量子化スケール変換部28に接続される。スイッチ30は、スイッチ29と同様に、符号化対象画像フレームのピクチャタイプがIピクチャのときに(a)側に接続され、符号化対象画像フレームのピクチャタイプがPピクチャのときに(b)側に接続され、符号化対象画像フレームのピクチャタイプがBピクチャのときに(c)側に接続される。量子化スケール変換部28は、Iピクチャ量子化制御バッファ23,Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27に格納されている値から量子化スケールを算出して量子化制御部10に出力している。
【0052】
更に、図9のフローチャートを参照しつつ、図8について説明していく。図9は、量子化制御バッファ計算部14の処理について説明する一例のフローチャートを示す。ステップS20では、初期値格納部22,24,26は、Iピクチャ量子化制御バッファ23,Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27に初期値を供給する。
【0053】
ステップS20に続いてステップS21に進み、最大符号量の符号化済み部分計算部20は、量子化スケール・最大符号量計算部13から符号化対象画像の最大符号量が供給される。ステップS21に続いてステップS22に進み、量子化部15,可変長符号化部16にて画像フレームの最初の符号化単位が量子化,符号化される。ステップS22に続いてステップS23に進み、減算器21は発生符号量測定部12から符号化対象画像フレームの発生符号量が供給される。
【0054】
ステップS23に続いてステップS24に進み、最大符号量の符号化済み部分計算部20は、最大符号量の符号化済み部分の符号量を算出し、算出した最大符号量の符号化済み部分の符号量を減算器21に供給する。ステップS24に続いてステップS25に進み、減算器21は発生符号量測定部12から供給される発生符号量と、最大符号量の符号化済み部分計算部20から供給される最大符号量の符号化済み部分の符号量との差分を算出する。
【0055】
ステップS25に続いてステップS26に進み、減算器21は符号化対象画像のピクチャタイプに応じてIピクチャ量子化制御バッファ23,Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27の何れか一つに接続されており、算出した差分をスイッチ29を介して接続されているIピクチャ量子化制御バッファ23,Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27の何れか一つに供給する。そして、Iピクチャ量子化制御バッファ23,Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27は、夫々が格納している量子化制御バッファのピクチャ符号化開始時の値に減算器21から供給される差分を加算する。
【0056】
ステップS26に続いてステップS27に進み、量子化スケール変換部28は符号化対象画像のピクチャタイプに応じてIピクチャ量子化制御バッファ23,Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27の何れか一つに接続されており、Iピクチャ量子化制御バッファ23,Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27に格納されている値が供給される。そして、量子化スケール変換部28は、Iピクチャ量子化制御バッファ23,Pピクチャ量子化制御バッファ25,Bピクチャ量子化制御バッファ27の何れか一つから供給された値から量子化スケールを算出して量子化制御部10に出力している。
【0057】
ステップS27に続いてステップS28に進み、1ピクチャ分の符号化が終了すると(S28においてYES)、ステップS29に進む。なお、1ピクチャ分の符号化が終了していなければ(S28においてNO)、ステップS22〜S28の処理を繰り返す。また、ステップS29では、符号化処理が終了すると(S29においてYES)、処理を終了する。また、符号化処理が終了していなければ(S29においてNO)、ステップS21〜S29の処理を繰り返す。
【0058】
図10は、量子化スケール・最大符号量計算部13の一例の構成図を示す。量子化スケール・最大符号量計算部13は、スイッチ40,41、初期値格納部42,44,46、Iピクチャ画像複雑度計算部43、Pピクチャ画像複雑度計算部45、Bピクチャ画像複雑度計算部47、最大符号化レート格納部48、平均符号化レート格納部49、最大符号量計算部50、量子化スケール計算部51を含むように構成される。
【0059】
Iピクチャ画像複雑度計算部43,Pピクチャ画像複雑度計算部45,Bピクチャ画像複雑度計算部47は、スイッチ40,41を介して符号化データ用メモリ11に接続される。スイッチ40,41は、符号化対象画像フレームのピクチャタイプがIピクチャのときに(a)側に接続され、符号化対象画像フレームのピクチャタイプがPピクチャのときに(b)側に接続され、符号化対象画像フレームのピクチャタイプがBピクチャのときに(c)側に接続される。
【0060】
初期値格納部42は、Iピクチャ画像複雑度計算部43に初期値を供給している。同様に、初期値格納部44,46は、Pピクチャ画像複雑度計算部45,Bピクチャ画像複雑度計算部47に初期値を供給している。Iピクチャ画像複雑度計算部43,Pピクチャ画像複雑度計算部45,Bピクチャ画像複雑度計算部47は、符号化データ用メモリ11から供給される符号化済みピクチャの量子化スケールの平均値および符号化対象画像フレームの発生符号量に応じて画像複雑度を算出し、その画像複雑度を最大符号量計算部50,量子化スケール計算部51に出力する。
【0061】
最大符号化レート格納部48は、最大符号化レートを最大符号量計算部50,量子化スケール計算部51に供給する。平均符号化レート格納部49は、平均符号化レートを量子化スケール計算部51に供給する。また、バッファ17はバッファ占有量を最大符号量計算部50,量子化スケール計算部51に供給する。
【0062】
最大符号量計算部50は、供給された画像複雑度,バッファ占有量,最大符号化レートに応じて符号化対象画像フレームの最大符号量を算出し、その最大符号量を量子化制御バッファ計算部14に出力している。また、量子化スケール計算部51は、供給された画像複雑度,バッファ占有量,最大符号化レート,平均符号化レートに応じて符号化対象画像フレームの量子化スケールを算出し、その量子化スケールを量子化制御部10に出力している。
【0063】
更に、図11のフローチャートを参照しつつ、図10について説明していく。図11は、量子化スケール・最大符号量計算部13の処理について説明する一例のフローチャートを示す。ステップS30では、初期値格納部42,44,46は、Iピクチャ画像複雑度計算部43,Pピクチャ画像複雑度計算部45,Bピクチャ画像複雑度計算部47に初期値を供給する。
【0064】
ステップS30に続いてステップS31に進み、最大符号量計算部50は、Iピクチャ画像複雑度計算部43,Pピクチャ画像複雑度計算部45,Bピクチャ画像複雑度計算部47から画像複雑度,バッファ17からバッファ占有量,最大符号化レート格納部48から最大符号化レートが供給される。そして、最大符号量計算部50は、供給された画像複雑度,バッファ占有量,最大符号化レートに応じて符号化対象画像フレームの最大符号量を算出し、その最大符号量を量子化制御バッファ計算部14に出力する。
【0065】
ステップS31に続いてステップS32に進み、量子化スケール計算部51は、Iピクチャ画像複雑度計算部43,Pピクチャ画像複雑度計算部45,Bピクチャ画像複雑度計算部47から画像複雑度,バッファ17からバッファ占有量,最大符号化レート格納部48から最大符号化レート,平均符号化レート格納部49から平均符号化レートが供給される。そして、量子化スケール計算部51は、供給された画像複雑度,バッファ占有量,最大符号化レート,平均符号化レートに応じて符号化対象画像フレームの量子化スケールを算出し、その量子化スケールを量子化制御部10に出力する。
【0066】
ステップS32に続いてステップS33に進み、量子化部15,可変長符号化部16にて符号化対象画像フレームが量子化,符号化される。ステップS33に続いてステップS34に進み、Iピクチャ画像複雑度計算部43,Pピクチャ画像複雑度計算部45,Bピクチャ画像複雑度計算部47は、符号化済み画像フレームの量子化スケールの平均値,発生符号量が符号化データ用メモリ11から供給される。また、最大符号量計算部50,量子化スケール計算部51は、バッファ占有量がバッファ17から供給される。
【0067】
ステップS34に続いてステップS35に進み、符号化処理が終了すると(S35においてYES)、処理を終了する。また、符号化処理が終了していなければ(S35においてNO)、ステップS31〜S35の処理を繰り返す。
【0068】
図12は、量子化制御部10の一例の構成図を示す。量子化制御部10は、量子化スケール比較器60を含むように構成される。量子化スケール比較器60は、量子化制御バッファ計算部14から量子化スケールが供給されると共に、量子化スケール・最大符号量計算部13から量子化スケールが供給される。量子化スケール比較器60は、量子化制御バッファ計算部14から供給される量子化スケールと、量子化スケール・最大符号量計算部13から供給される量子化スケールとを比較し、大きい方の量子化スケールを符号化データ用メモリ11及び量子化部15に出力している。
【0069】
更に、図13のフローチャートを参照しつつ、図12について説明していく。図13は、量子化制御部の処理について説明する一例のフローチャートを示す。ステップS40では、量子化スケール比較器60は、量子化制御バッファ計算部14から供給される量子化スケールと、量子化スケール・最大符号量計算部13から供給される量子化スケールとを比較し、大きい方の量子化スケールを符号化データ用メモリ11及び量子化部15に出力する。
【0070】
ステップS40に続いてステップS41に進み、量子化制御部10から供給する量子化スケールに応じて、量子化部15,可変長符号化部16で画像フレームの符号化単位が量子化,符号化される。そして、ステップS41に続いてステップS42に進み、符号化処理が終了すると(S42においてYES)、処理を終了する。また、符号化処理が終了していなければ(S42においてNO)、ステップS40〜S42の処理を繰り返す。
【0071】
図14は、本発明の画像信号符号化装置の一実施例の構成図を示す。本発明の画像信号符号化装置に入力される符号化単位(マクロブロック)の画像データは、動き検出部70,減算器71に供給される。入力された符号化単位の画像データがフレーム内符号化される画像フレーム(例えば、Iピクチャ)の場合は、スイッチ78が解放されるので、減算器71に供給された符号化単位の画像データがDCT部72供給されることになる。なお、符号化単位は、例えば16×16画素からなる矩形の領域である。
【0072】
DCT部72は、減算器71から供給された符号化単位の画像データをDCT(離散コサイン変換)により、周波数領域の係数であるDCT係数に変換し、量子化部15に出力する。量子化部15は、前述したように、量子化制御部10から供給される量子化スケールでDCT係数を量子化し、その量子化したDCT係数を可変長符号化部16,逆量子化部73に供給する。
【0073】
逆量子化部73は、量子化されたDCT係数が供給されると、その量子化されたDCT係数を逆量子化して逆DCT部74に供給する。逆DCT部74は、逆量子化部73からDCT係数が供給されると、DCT係数を逆DCT変換して加算器75に供給する。入力された符号化単位の画像データがフレーム内符号化される画像フレーム(例えば、Iピクチャ)の場合は、スイッチ78が解放されているので、加算器75に供給された符号化単位の画像データがフレームメモリ76に供給される。フレームメモリ76は、加算器75から供給された符号化単位の画像データを参照画像として格納しておく。
【0074】
一方、入力された符号化単位の画像データがフレーム間符号化される画像フレーム(例えば、P,Bピクチャ)の場合は、スイッチ78が接続される。動き検出部70は、フレームメモリ76に格納されている参照画像の中から、入力された符号化単位の画像データに最も類似した符号化単位の画像データを選択し、その動きベクトルを動き補償部77に供給する。
【0075】
動き補償部77は、動き検出部70から供給された動きベクトルが参照しているフレームメモリ76中の符号化単位の画像データを選択し、減算器71に供給する。減算器71は、符号化単位の画像データと、動き補償部77からスイッチ78を介して供給される符号化単位の画像データとの差分データを算出し、その差分データをDCT部72に供給する。
【0076】
DCT部72は、減算器71から供給された差分データをDCT(離散コサイン変換)により、周波数領域の係数であるDCT係数に変換し、量子化部15に出力する。量子化部15は、前述したように、量子化制御部10から供給される量子化スケールでDCT係数を量子化し、その量子化したDCT係数を可変長符号化部16,逆量子化部73に供給する。
【0077】
逆量子化部73は、量子化されたDCT係数が供給されると、その量子化されたDCT係数を逆量子化して逆DCT部74に供給する。逆DCT部74は、逆量子化部73からDCT係数が供給されると、DCT係数を逆DCT変換して加算器75に供給する。入力された差分データがフレーム間符号化される画像フレーム(例えば、P,Bピクチャ)の場合は、スイッチ78が接続されているので、加算器75は逆DCT部74から供給された差分データと、動き補償部77からスイッチ78を介して供給された符号化単位の画像データとを加算してフレームメモリ76に供給する。そして、フレームメモリ76は、加算器75から供給された加算データを参照画像として格納しておく。
【0078】
可変長符号化部16は、量子化部15から量子化されたDCT係数が供給されると、その量子化されたDCT係数を可変長符号化したビットストリームを生成して発生符号量測定部12およびバッファ17に供給する。バッファ17は、供給されたビットストリームを予め決められている出力レートで出力する。なお、出力レートは、固定レ−ト符号化モードのとき固定符号化レートであり、可変レート符号化モードのとき可変符号化レートである。また、バッファ17は、バッファ占有量を量子化制御部10,量子化スケール・最大符号量計算部13に供給する。
【0079】
発生符号量測定部12はビットストリームの発生符号量を測定し、その発生符号量を符号化データ用メモリ11,量子化制御バッファ計算部14に供給する。符号化データ用メモリ11は、発生符号量測定部12から供給される発生符号量と、量子化制御部10から供給される量子化スケールとを格納し、量子化スケール・最大符号量計算部13に供給する。
【0080】
ここで、可変レート符号化モードの最大符号化レートをRmax、GOP(Group Of Pictures)サイズをGOPsize、GOPの最大符号量をR、Iピクチャの最大符号量をTi、Pピクチャの最大符号量をTp、Bピクチャの最大符号量をTbとすると、各ピクチャタイプ毎の最大符号量は以下の式(5)〜式(7)で表すことができる。
【0081】
Ti=R/(1+Np×Xp/(Xi×Kp)+Nb×Xb/(Xi×Kb))・・・(5)
Tp=R/(Np+Nb×Kp×Xb/(Kb×Xp))・・・(6)
Tb=R/(Nb+Np×Kb×Xp/(Kp×Xb))・・・(7)
ただし、R=Rmax×GOPsize/29.97(入力がNTSC信号のとき)、Np=GOP内のPピクチャの枚数、Nb=GOP内のBピクチャの枚数、Xi=Si×Qi、初期値Xi0=160×bit_rate/115、Xp=Sp×Qp、初期値Xp0=50×bit_rate/115、Xb=Sb×Qb、初期値Xb0=42×bit_rate/115、Kp=1.0、Kb=1.4、Si=Iピクチャの発生符号量、Sp=Pピクチャの発生符号量、Sb=Bピクチャの発生符号量、bit_rate=符号化レートとする。
【0082】
まず、式(5)を利用してIピクチャの最大符号量Tiを算出すると共に、Iピクチャを符号化する。GOPの最大符号量RからIピクチャの発生符号量を減算し、この減算したRを利用してPピクチャの最大符号量Tpを算出すると共に、Pピクチャを符号化する。上記減算したRからPピクチャの発生符号量を減算し、この減算したRを利用してBピクチャの最大符号量Tbを算出する。この処理をGOPの符号化終了まで繰り返す。
【0083】
量子化スケール・最大符号量計算部13は、符号化データ用メモリ11に格納されている発生符号量,量子化スケール等の符号化済み画像フレームの符号化情報の統計から符号化対象画像の符号化単位毎の量子化スケールを算出して量子化制御部10に供給し、1画像フレーム最大符号量を算出して量子化制御バッファ計算部14に供給する。ただし、最大符号量は、発生符号量の目標値ではなく、符号化制御バッファを破綻させることなく、最大符号化レートの制限を尊守する最大発生符号量とする。
【0084】
量子化制御バッファ計算部14は、量子化スケール・最大符号量計算部13から供給される最大符号量と発生符号量測定部12から供給される発生符号量とから符号化単位の画像データを符号化するごとに前記式(2)の計算を行ない、バッファ破綻を抑制し、最大符号化レートの制限を尊守する最小量子化スケールを量子化制御部10に供給する。
【0085】
量子化制御部10は、バッファ17から供給されるバッファ占有量を利用してバッファの破綻を監視し、破綻する発生符号量が発生しないように量子化スケールを制御する。量子化制御部10は、量子化制御バッファ計算部14から供給される量子化スケールと、量子化スケール・最大符号量計算部13から供給される量子化スケールとを比較し、大きい方を量子化部15に供給する。
【0086】
量子化スケール・最大符号量計算部13は符号化前に符号化対象画像の画像複雑度を予測するが、画像複雑度が小さく圧縮容易な画像と予測したが実際は画像複雑度が大きく圧縮困難な画像であった場合、符号化前に決めた符号化単位毎の量子化スケールで符号化を行うと予測していた発生符号量より大きくなり、バッファ破綻や最大符号化レートの制限を超えることもありえる。
【0087】
そこで、符号化前に計算した最大符号量以内に収まるような最小量子化スケールを前記式(2)により符号化単位毎に計算し、予め計算した量子化スケールと比較して大きい方の量子化スケールを利用して量子化を行うことにより、符号化制御バッファの破綻や最大符号化レートの制限を尊守することができる。
【0088】
なお、量子化スケール・最大符号量計算部13は、符号化単位毎に量子化スケールを計算しているが、画像フレーム内で同一であってもよい。また、量子化制御バッファ計算部14は、量子化スケール・最大符号量計算部13により符号化前に決めた量子化スケールと比較する量子化スケールを符号化単位毎に計算しているが、スライス単位毎または5符号化単位毎等の一定単位ごとに行うこともできる。
【0089】
量子化制御バッファ計算部14による量子化スケールの計算を行う際、前記式(2)のように、画像フレーム内の全ての符号化単位で画像フレームの最大符号量を割った値,言い換えれば最大符号量を均等に分割した値を利用して量子化制御バッファ計算部14の計算を行っているが、以下の式(8),(9)のように、画像の複雑度,例えば画素の分散,差分絶対値和に比例した符号量を符号化単位毎に減算してもよい。
【0090】
Figure 0004256574
なお、符号化単位jの符号化前の量子化制御バッファの占有量をd,量子化制御バッファの初期占有量をd,符号化単位jの画像複雑度をF,画像複雑度を分割の基準としたときの画像フレームの最大符号量の符号化単位jの割り当て部分をC,画像フレームの最大符号量をTとする。
【0091】
本発明は、以下の付記に記載されているような構成が考えられる。
【0092】
(付記1) 画像フレームを量子化スケールで量子化し、量子化された画像フレームを符号化する画像信号符号化方法において、
符号化済み画像フレームの符号化結果に応じて最大符号量および第1量子化スケールを算出し、算出された最大符号量から符号化対象画像フレームを構成する所定単位の予測符号量を算出する段階と、
前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を算出する段階と、
前記予測符号量と発生符号量とを比較し、前記比較結果に応じて更新される第2量子化スケールを算出する段階と、
前記第1量子化スケールと第2量子化スケールとを比較し、大きい方を新たな量子化スケールとして更新する段階と
を有する画像信号符号化方法。
【0093】
(付記2) 付記1記載の画像信号符号化方法において、
前記第2量子化スケールを算出する段階は、前記発生符号量が予測符号量より多ければ前記第2量子化スケールを大きくし、前記発生符号量が予測符号量より小さければ前記第2量子化スケールを小さくすることを特徴とする画像信号符号化方法。
【0094】
(付記3) 付記1記載の画像信号符号化方法において、
前記第1量子化スケールと第2量子化スケールとの比較は、前記符号化対象画像フレームを構成する所定単位毎に行うことを特徴とする画像信号符号化方法。
【0095】
(付記4) 付記1記載の画像信号符号化方法において、
前記第1量子化スケールは、前記符号化対象画像フレーム内で同一であることを特徴とする画像信号符号化方法。
【0096】
(付記5) 付記1記載の画像信号符号化方法において、
前記最大符号量は、符号化制御バッファを破綻させず、最大符号化レートを満たす最大発生符号量であることを特徴とする画像信号符号化方法。
【0097】
(付記6) 付記1記載の画像信号符号化方法において、
前記予測符号量は、前記符号化対象画像フレームを構成する所定単位の画面複雑度の和に対する符号化済み所定単位の画像複雑度の和の割合から算出されることを特徴とする画像信号符号化方法。
【0098】
(付記7) 付記1記載の画像信号符号化方法において、
前記符号化対象画像フレームを構成する所定単位は、所定符号化単位であることを特徴とする画像信号符号化方法。
【0099】
(付記8) 画像フレームを量子化スケールで量子化し、量子化された画像フレームを符号化する画像信号符号化装置において、
符号化済み画像フレームの符号化結果に応じて最大符号量および第1量子化スケールを算出する第1量子化スケール・最大符号量計算部と、
前記最大符号量から符号化対象画像フレームを構成する所定単位の予測符号量を算出する一方、前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を供給され、前記予測符号量と発生符号量との差に応じて第2量子化スケールを算出する量子化制御バッファ計算部と、
前記第1量子化スケールと第2量子化スケールとを比較し、大きい方を新たな量子化スケールとして出力する量子化制御部と
を有する画像信号符号化装置。
【0100】
(付記9) 付記8記載の画像信号符号化装置において、
前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を測定する発生符号量測定部と、
前記発生符号量測定部から供給される発生符号量および前記量子化制御部から供給される量子化スケールを格納する符号化データ用メモリとを更に有する画像信号符号化装置。
【0101】
(付記10) 付記8記載の画像信号符号化装置において、
前記量子化制御バッファ計算部は、前記発生符号量が予測符号量より多ければ前記第2量子化スケールを大きくし、前記発生符号量が予測符号量より小さければ前記第2量子化スケールを小さくすることを特徴とする画像信号符号化装置。
【0102】
(付記11) 付記8記載の画像信号符号化装置において、
前記第1量子化スケールと第2量子化スケールとの比較は、前記符号化対象画像フレームを構成する所定単位毎に行うことを特徴とする画像信号符号化装置。
【0103】
(付記12) 付記8記載の画像信号符号化装置において、
前記第1量子化スケールは、前記符号化対象画像フレーム内で同一であることを特徴とする画像信号符号化装置。
【0104】
(付記13) 付記8記載の画像信号符号化装置において、
前記最大符号量は、符号化制御バッファを破綻させず、最大符号化レートを満たす最大発生符号量であることを特徴とする画像信号符号化装置。
【0105】
(付記14) 付記8記載の画像信号符号化装置において、
前記予測符号量は、前記符号化対象画像フレームを構成する所定単位の画面複雑度の和に対する符号化済み所定単位の画像複雑度の和の割合から算出されることを特徴とする画像信号符号化装置。
【0106】
(付記15) 付記8記載の画像信号符号化装置において、
前記符号化対象画像フレームを構成する所定単位は、所定符号化単位であることを特徴とする画像信号符号化装置。
【0107】
【発明の効果】
上述の如く、本発明によれば、符号化済み画像フレームの符号結果に応じた第1量子化スケールと、最大符号量と発生符号量との比較結果に応じた第2量子化スケールとを比較し、大きい方を新たな量子化スケールとすることができる。この第2量子化スケールは最大符号量を尊守するものであるので、少なくとも第2量子化スケールより大きな量子化スケールで量子化を行うことにより、量子化制御バッファの破綻および最大符号化レート違反を抑制すると共に、高画質の可変レ−ト符号化ができる。したがって、画像符号化技術の向上に寄与することが可能となる。
【図面の簡単な説明】
【図1】VBVのバッファ占有量の時間変化について説明する一例の図である。
【図2】VBVで生じるアンダーフローについて説明する一例の図である。
【図3】VBVで生じるオーバーフローについて説明する一例の図である。
【図4】可変レート符号化モード時のバッファ占有量の時間変化について説明する一例の図である。
【図5】画像フレーム内の符号化単位について説明する一例の図である。
【図6】本発明の原理について説明する一例のブロック図である。
【図7】図6のブロック図の処理について説明する一例のフローチャートである。
【図8】量子化制御バッファ計算部の一例の構成図である。
【図9】量子化制御バッファ計算部の処理について説明する一例のフローチャートである。
【図10】量子化スケール・最大符号量計算部の一例の構成図である。
【図11】量子化スケール・最大符号量計算部の処理について説明する一例のフローチャートである。
【図12】量子化制御部の一例の構成図である。
【図13】量子化制御部の処理について説明する一例のフローチャートである。
【図14】本発明の画像信号符号化装置の一実施例の構成図である。
【符号の説明】
10 量子化制御部
11 符号化データ用メモリ
12 発生符号量測定部
13 量子化スケール・最大符号量計算部
14 量子化制御バッファ計算部
15 量子化部
16 可変長符号化部
17 バッファ
20 最大符号量の符号化済み部分計算部
23 Iピクチャ量子化制御バッファ
25 Pピクチャ量子化制御バッファ
27 Bピクチャ量子化制御バッファ
28 量子化スケール変換部
43 Iピクチャ画像複雑度計算部
45 Pピクチャ画像複雑度計算部
47 Bピクチャ画像複雑度計算部
50 最大符号量計算部
51 量子化スケール計算部
60 量子化スケール比較器
70 動き検出部
71 減算器
72 DCT部
73 逆量子化部
74 逆DCT部
75 加算器
76 フレームメモリ
77 動き補償部

Claims (5)

  1. 画像フレームを量子化スケールで量子化し、量子化された画像フレームを符号化する画像信号符号化方法において、
    符号化済み画像フレームの符号化結果に応じて最大符号量および第1量子化スケールを算出し、算出された最大符号量から符号化対象画像フレームを構成する所定単位の予測符号量を算出する段階と、
    前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を算出する段階と、
    前記予測符号量と発生符号量とを比較し、前記比較結果に応じて更新される第2量子化スケールを算出する段階と、
    前記第1量子化スケールと第2量子化スケールとを比較し、大きい方を新たな量子化スケールとして更新する段階と
    を有する画像信号符号化方法。
  2. 請求項1記載の画像信号符号化方法において、
    前記第2量子化スケールを算出する段階は、前記発生符号量が予測符号量より多ければ前記第2量子化スケールを大きくし、前記発生符号量が予測符号量より小さければ前記第2量子化スケールを小さくすることを特徴とする画像信号符号化方法。
  3. 画像フレームを量子化スケールで量子化し、量子化された画像フレームを符号化する画像信号符号化装置において、
    符号化済み画像フレームの符号化結果に応じて最大符号量および第1量子化スケールを算出する第1量子化スケール・最大符号量計算部と、
    前記最大符号量から符号化対象画像フレームを構成する所定単位の予測符号量を算出する一方、前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を供給され、前記予測符号量と発生符号量との差に応じて第2量子化スケールを算出する量子化制御バッファ計算部と、
    前記第1量子化スケールと第2量子化スケールとを比較し、大きい方を新たな量子化スケールとして出力する量子化制御部と
    を有する画像信号符号化装置。
  4. 請求項3記載の画像信号符号化装置において、
    前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を測定する発生符号量測定部と、
    前記発生符号量測定部から供給される発生符号量および前記量子化制御部から供給される量子化スケールを格納する符号化データ用メモリとを更に有する画像信号符号化装置。
  5. 請求項3記載の画像信号符号化装置において、
    前記量子化制御バッファ計算部は、前記発生符号量が予測符号量より多ければ前記第2量子化スケールを大きくし、前記発生符号量が予測符号量より小さければ前記第2量子化スケールを小さくすることを特徴とする画像信号符号化装置。
JP2000237572A 2000-08-04 2000-08-04 画像信号符号化方法および画像信号符号化装置 Expired - Fee Related JP4256574B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000237572A JP4256574B2 (ja) 2000-08-04 2000-08-04 画像信号符号化方法および画像信号符号化装置
US09/815,057 US6801572B2 (en) 2000-08-04 2001-03-23 Method and apparatus for image signal encoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000237572A JP4256574B2 (ja) 2000-08-04 2000-08-04 画像信号符号化方法および画像信号符号化装置

Publications (2)

Publication Number Publication Date
JP2002051343A JP2002051343A (ja) 2002-02-15
JP4256574B2 true JP4256574B2 (ja) 2009-04-22

Family

ID=18729411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000237572A Expired - Fee Related JP4256574B2 (ja) 2000-08-04 2000-08-04 画像信号符号化方法および画像信号符号化装置

Country Status (2)

Country Link
US (1) US6801572B2 (ja)
JP (1) JP4256574B2 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2365240B (en) * 2000-07-19 2002-09-25 Motorola Inc Apparatus and method for image transmission
US7268924B2 (en) * 2001-01-22 2007-09-11 Hand Held Products, Inc. Optical reader having reduced parameter determination delay
JP4769392B2 (ja) * 2001-09-25 2011-09-07 キヤノン株式会社 信号処理装置
US7483488B1 (en) * 2002-05-30 2009-01-27 Intervideo, Inc. Systems and methods for improving bit rate control of video encoding by correcting for the effects of scene changes and bit stuffing in a video buffer verifier (VBV) buffer model
US7418037B1 (en) * 2002-07-15 2008-08-26 Apple Inc. Method of performing rate control for a compression system
US7940843B1 (en) * 2002-12-16 2011-05-10 Apple Inc. Method of implementing improved rate control for a multimedia compression and encoding system
BRPI0411757A (pt) 2003-06-26 2006-09-19 Thomson Licensing controle de taxa de vìdeo multipasse para casar restrições de canal de janela deslizante
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US8218624B2 (en) 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US7602851B2 (en) 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
TWI225363B (en) * 2003-11-10 2004-12-11 Mediatek Inc Method and apparatus for controlling quantization level of a video encoding bit stream
JP2005311559A (ja) * 2004-04-20 2005-11-04 Sony Corp データ処理装置およびその方法と符号化装置
US7801383B2 (en) 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
TW200644638A (en) * 2005-03-10 2006-12-16 Qualcomm Inc Quasi-constant-quality rate control with look-ahead
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
KR100770873B1 (ko) * 2005-07-25 2007-10-26 삼성전자주식회사 영상 부호화시 비트율 제어 방법 및 장치
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8050320B2 (en) * 2007-02-09 2011-11-01 Ericsson Television, Inc. Statistical adaptive video rate control
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8548042B2 (en) * 2008-06-05 2013-10-01 Nippon Telegraph And Telephone Corporation Video bitrate control method, video bitrate control apparatus, video bitrate control program, and computer-readable recording medium having the program recorded thereon
US20100098166A1 (en) * 2008-10-17 2010-04-22 Texas Instruments Incorporated Video coding with compressed reference frames
JP5618128B2 (ja) * 2010-02-22 2014-11-05 ソニー株式会社 符号化装置、符号化方法、およびプログラム
JP5879555B2 (ja) * 2010-05-10 2016-03-08 パナソニックIpマネジメント株式会社 動画像符号化装置
US8831108B2 (en) * 2011-05-04 2014-09-09 Cavium, Inc. Low latency rate control system and method
US10931950B2 (en) * 2018-11-19 2021-02-23 Intel Corporation Content adaptive quantization for video coding

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136371A (en) * 1990-03-15 1992-08-04 Thomson Consumer Electronics, Inc. Digital image coding using random scanning
US5283646A (en) * 1992-04-09 1994-02-01 Picturetel Corporation Quantizer control method and apparatus
US5241383A (en) * 1992-05-13 1993-08-31 Bell Communications Research, Inc. Pseudo-constant bit rate video coding with quantization parameter adjustment
JP2873781B2 (ja) 1994-08-17 1999-03-24 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 動画像符号量制御方法と装置
JP3258840B2 (ja) * 1994-12-27 2002-02-18 シャープ株式会社 動画像符号化装置および領域抽出装置
KR100238066B1 (ko) * 1996-06-26 2000-01-15 윤종용 양자화활동도를 이용한 비트 발생량 제어방법 및 그 영상 부호화장치
JPH1079948A (ja) * 1996-09-03 1998-03-24 Mitsubishi Electric Corp 画像符号化装置
US6088392A (en) * 1997-05-30 2000-07-11 Lucent Technologies Inc. Bit rate coder for differential quantization
JP4231565B2 (ja) * 1997-12-19 2009-03-04 テキサス インスツルメンツ インコーポレイテツド 画像情報エンコーディングシステム
US6181742B1 (en) * 1998-01-26 2001-01-30 International Business Machines Corporation Single pass target allocation for video encoding
US6654417B1 (en) * 1998-01-26 2003-11-25 Stmicroelectronics Asia Pacific Pte. Ltd. One-pass variable bit rate moving pictures encoding
US6278735B1 (en) * 1998-03-19 2001-08-21 International Business Machines Corporation Real-time single pass variable bit rate control strategy and encoder
US6539124B2 (en) * 1999-02-03 2003-03-25 Sarnoff Corporation Quantizer selection based on region complexities derived using a rate distortion model
US6480539B1 (en) * 1999-09-10 2002-11-12 Thomson Licensing S.A. Video encoding method and apparatus

Also Published As

Publication number Publication date
JP2002051343A (ja) 2002-02-15
US6801572B2 (en) 2004-10-05
US20020034246A1 (en) 2002-03-21

Similar Documents

Publication Publication Date Title
JP4256574B2 (ja) 画像信号符号化方法および画像信号符号化装置
JP4361613B2 (ja) 可変ビットレートビデオ符号化方法及び対応するビデオ符号化装置
JP2963416B2 (ja) 量子化活動度を用いてビット発生量を制御する映像符号化方法及び装置
EP1446952B1 (en) Method and system for rate control during video transcoding
KR100756596B1 (ko) 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법
JPH07184196A (ja) 画像符号化装置
JP2001169281A (ja) 動画像符号化装置、および動画像符号化方法
JP2000102008A (ja) ビットレ―ト制御方法
JP4221655B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
US20120002724A1 (en) Encoding device and method and multimedia apparatus including the encoding device
JP2000197049A (ja) 動画像可変ビットレート符号化装置および方法
JP3872849B2 (ja) 動画像符号化装置
KR100708182B1 (ko) 동영상 부호화기의 비트율 제어 장치 및 방법
JP4179917B2 (ja) 動画像符号化装置及び方法
JP4081727B2 (ja) 画像符号化装置および画像符号化方法、並びに記録装置および記録方法
JP3858520B2 (ja) 動画像符号化装置及びその方法
JP4586340B2 (ja) 符号化装置、および、符号化方法、並びに、プログラム
JP3889552B2 (ja) 符号量割り当て装置および方法
JP3425130B2 (ja) 符号化装置及び符号化方法
JP3779066B2 (ja) 動画像符号化装置
JP4273385B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
JP4186544B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
JP4273386B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
JP4239734B2 (ja) 符号化装置、および、符号化方法、並びに、プログラム
JP3852442B2 (ja) データ符号化方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090130

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees