JPH11122612A - 動画像の圧縮符号化装置 - Google Patents

動画像の圧縮符号化装置

Info

Publication number
JPH11122612A
JPH11122612A JP29964597A JP29964597A JPH11122612A JP H11122612 A JPH11122612 A JP H11122612A JP 29964597 A JP29964597 A JP 29964597A JP 29964597 A JP29964597 A JP 29964597A JP H11122612 A JPH11122612 A JP H11122612A
Authority
JP
Japan
Prior art keywords
image
input image
code amount
generated code
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29964597A
Other languages
English (en)
Other versions
JP2902386B2 (ja
Inventor
Akio Yoneyama
暁夫 米山
Yasuyuki Nakajima
康之 中島
Hiromasa Yanagihara
広昌 柳原
Masaru Sugano
勝 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDD Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDD Corp filed Critical KDD Corp
Priority to JP29964597A priority Critical patent/JP2902386B2/ja
Priority to US09/167,886 priority patent/US6426772B1/en
Publication of JPH11122612A publication Critical patent/JPH11122612A/ja
Application granted granted Critical
Publication of JP2902386B2 publication Critical patent/JP2902386B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 実時間処理で、均一化された画質での圧縮符
号化処理を行うことができる動画像の圧縮符号化装置を
提供することにある。 【解決手段】 次入力画像選択部８は、１枚の画像の圧
縮符号化の終了直後に、次に処理すべき入力画像の時間
的特定を行う。入力画像取得部１は該時間的特定された
画像を取得し、入力画像情報抽出部２に送る。入力画像
情報抽出部２は、入力画像と、画像保存部３に蓄積され
ている、その直前に処理対象とした入力画像との画像変
化量から、該入力画像が処理対象となる画像であるか否
かを判断する。この判断が否定の時には入力画像再選択
部４が処理対象となる画像を再選択し、肯定の時には処
理対象画像となって目標生成符号量設定部５と動き予測
部１１へ送られる。発生符号量制御部６は目標生成符号
量と符号化部１５から得た実際の生成符号量から、量子
化部１４の量子化レベルを決定する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は動画像の圧縮符号化
装置に関し、特に、発生符号量が時間的に一定となるよ
うに制御を行う、いわゆるレート制御を用いた動画像の
圧縮符号化装置に関する。
【０００２】
【従来の技術】動画像の圧縮符号化装置において、発生
符号量が時間的に一定となるように制御する従来の制御
方式の一つとして、処理対象となる各入力画像の時間的
間隔を一定に固定し、量子化レベルの変更を行うことの
みで生成符号量の制御を行うものが提案されている（第
１従来方式）。
【０００３】また、他の制御方式として、処理対象画像
よりも時間的に先にある画像の情報をあらかじめ入手
し、その情報から前もって生成される符号の量を制御し
て全体での画質の均一化を達成する方法も提案されてい
る（第２従来方式）。
【０００４】
【発明が解決しようとする課題】しかしながら、前記第
１の従来方式では、処理対象となる各入力画像の時間的
間隔を一定に固定しているため、圧縮符号化処理におい
てあまり情報量を必要としない画像に対しても、あるい
は多くの情報量を必要とする画像に対しても、ほぼ均一
の符号量の割当てを行うことしかできず、画像の符号化
複雑度という見地からは不均衡な符号量配分となってし
まい、動画像全体としての画質を均一化することができ
ない。
【０００５】また、前記第２の従来方式では、処理対象
からみて時間的に未来の画像の情報を利用して制御を行
うため、実時間性を重視する処理の場合には必ず処理に
遅延を生じることとなり、そのまま実時間性を重視する
処理へ適用することは困難といえる。
【０００６】本発明の目的は、前記した従来技術の問題
点を除去し、入力動画像が動き等により時間的に大きく
変化する場合や、シーンチェンジ等により画像特性が急
激に変化した場合に対しても、符号化画像の品質を均一
にすることができる動画像の圧縮符号化装置を提供する
ことにある。また、本発明の他の目的は、時間的に未来
の画像情報を使わずに、前記均一化された画質での圧縮
符号化処理を行うことができる、換言すれば、実時間処
理で、前記均一化された画質での圧縮符号化処理を行う
ことができる動画像の圧縮符号化装置を提供することに
ある。
【０００７】
【課題を解決するための手段】前記目的を達成するため
に、本発明は、発生符号量が時間的に一定となるように
するレート制御を用いた動画像の圧縮符号化装置におい
て、圧縮符号化の終了直後に、少なくとも、予定の生成
符号量からの入力画像の生成符号量のずれと、以前に動
画像から抽出された処理対象画像間のスキップ時間間隔
と、符号化された信号を送出するために一時的に蓄えて
おく符号化情報一時蓄積部の蓄積状態とに基づいて、次
に処理すべき入力画像の時間的特定を行う手段と、該時
間的特定に基づいて選択された次に処理すべき入力画像
と、その直前に処理対象とした画像との画像変化量か
ら、該入力画像が処理対象となる画像であるか否かを判
断する手段を具備した点に第１の特徴がある。
【０００８】前記特徴によれば、符号化処理対象画像の
時間的間隔を可変とし、また、その処理対象となる画像
の画素情報から更に圧縮符号化処理対象とする入力画像
を変更することが可能となり、処理の実時間性を損うこ
となく、動画像を符号化することができるようになる。
【０００９】また、前記処理対象として抽出した画像を
複数個の小領域に分割し、各小領域毎に目標生成符号量
を設定し、該各小領域毎の目標生成符号量と、順次符号
化される前記各小領域の実際の生成符号量とから、順次
符号化される次の小領域の量子化レベルを決定するよう
にした点に第２の特徴がある。
【００１０】この特徴によれば、符号化動画像の画質の
均一化の達成を図ることができるようになる。
【００１１】
【発明の実施の形態】以下に図面を参照して、本発明を
詳細に説明する。図１は、本発明の一実施形態の構成を
示すブロック図である。この実施形態は、動画像符号化
の国際標準方式であるＨ２６３による圧縮化方式に対し
て符号化レート制御を行ったものであるが、本発明はこ
れに限定されるものではない。
【００１２】図１の入力画像取得部１は、入力される動
画像ａ、つまり定期的に入力される静止画像の連続か
ら、処理対象とする画像を選択的に取得する。この処理
対象画像の取得は、後述する入力画像再選択部４または
次入力画像選択部８からの指示に基づいて行われる。入
力画像情報抽出部２は、該入力画像取得部１によって取
得された入力画像ｂが処理対象画像として適切かどうか
の判断を行う。画像保存部３は前回すなわち直前の処理
対象画像の画像データを保持している。
【００１３】前記入力画像情報抽出部２は、画像特徴変
化量抽出機能を有し、図２に示されているように、画像
変化量演算部２１、処理対象画像決定部２２、処理対象
画像出力部２３、画像変化量出力部２４、および小領域
分割部２５を有している。ここに、図２は、前記入力画
像情報抽出部２の機能ブロック図を示している。
【００１４】図２において、画像変化量演算部２１は、
下記の(1) 式から、入力画像ｂと前記画像保存部３に記
憶されている前回の処理対象画像ｄとの画像変化量 Fra
mediffを求める。
【００１５】
【数１】 ここで、入力画像はＮ×Ｍ画素とし、Pix(n,m)は位置
(n,m) の画素が持つ成分の値である。この成分として
は、輝度成分、色差成分、またはこれらの両成分を用い
ることが可能である。(1) 式中のａｂｓは絶対値を表し
ている。以下の式でも同様である。前記(1) 式で得られ
る値は、前回処理した画像ｄと入力画像ｂとの同一位置
画素間での平均変化量を示している。したがって、この
値の大小から、動画像圧縮符号化における発生符号量を
予測することが可能になる。
【００１６】なお、前記画像変化量 Framediffの導出に
は、サブサンプル（代表点のみ利用）して求めることも
可能である。また、前記画像変化量 Framediffに変え
て、２乗誤差を用いることも可能である。また、入力画
像ではなく、動き予測を行った後の予測誤差値を用いて
も良い。
【００１７】前記処理対象画像決定部２２は、前記画像
変化量 Framediffと後述する一時蓄積状態情報抽出部７
からの現在利用できるビット量 bitavail との関係か
ら、該入力画像ｂが処理対象画像として適切かどうかの
判断を行う。前記画像変化量 Framediffを基に得た適切
な画質を保っての符号化を行うための符号量に対して、
前記現在利用できるビット量 bitavail が小さい場合に
は、画質を保証した圧縮符号化ができないから、入力画
像ｂを処理対象画像とするのは不適当であると判断す
る。前記と逆の場合には、入力画像ｂを処理対象画像と
するのは適当であると判断する。
【００１８】この判断により、入力画像ｂが処理対象画
像として不適当であるとされた場合には、直ちにそれま
で対象としていた入力画像ｂを除去し、該画像変化量ｆ
を入力画像再選択部４に送る。該入力画像再選択部４
は、該画像変化量ｆと、後述する一時蓄積状態情報抽出
部７からの現在利用できるビット量 bitavail とから処
理対象画像を選択すべき時間Ｔを決定し、その時刻Ｔに
入力される画像情報を新たな処理対象画像として入力画
像取得部１から取り込む。
【００１９】前記時刻Ｔは、例えば下記の(2) 式から求
めることができる。 Ｔ＝（ Framediff×α− bitavail ）／Bitrate …(2) ここに、αは定数、 bitavail はその時刻において符号
化に利用することができる最大符号量、Bitrate は圧縮
符号化で生成する符号のビットレート、すなわち目標ビ
ットレートを示す。
【００２０】一方、圧縮符号化処理対象画像として適切
であると判断された場合には、前記入力画像ｂは、前記
小領域分割部２５において圧縮符号化を行う単位となる
小領域（マクロブロック）ｃに分割される。該小領域ｃ
のそれぞれは目標発生符号量設定部５と動き予測部１１
に送られる。
【００２１】なお、該動き予測部１１、減算器１２、変
換部１３、量子化部１４、符号化部１５、符号化情報一
時蓄積部（バッファ）１６、逆量子化部１７、逆変換部
１８、加算器１９および画像保存部２０は、動画像符号
化の国際標準方式であるＨ２６３による圧縮化方式の構
成を示し、その動作は既知であるので説明を省略する。
なお、図中のＭＶは動きベクトル情報、Ｐ1 、Ｐ2 は画
像情報を示す。
【００２２】前記目標発生符号量設定部５は、画像内で
の画質を均一に保つように、前記入力画像ｂを圧縮符号
化する場合に目標とする生成符号量の設定を行うための
指標を算出する。
【００２３】具体例により説明すると、目標発生符号量
設定部５は、まず初めに、前記小領域分割部で得られた
小領域をさらに４領域に分割する。次に、分割された各
領域内の平均画素値 PixAve を算出する。そして、この
平均画素値を用いて、分割された各領域に対して、下記
の式(3) でアクティビティAct の計算を行う。
【００２４】
【数２】 なお、該 Actn は分割された領域内における画素値と平
均画素値との絶対誤差和あるいは画素値の分散とも呼ぶ
ことができる。前記(3) 式は、誤差量を２乗して、２乗
誤差和として算出することも可能である。
【００２５】次に、この４領域で求めた Act1 〜 Act4
の中の最大値 ActMax と最小値 ActMin との差 Actdif
が、下式にて求められる。
【００２６】Actdif ＝ ActMax − ActMin この Actdif が大きい場合、すなわち分散の差が大きい
場合には、圧縮符号化を行った際の発生符号量は大きく
なると予測できる。
【００２７】目標生成符号量設定部５は、まずはじめに
処理対象画像全体で目標とする生成符号量の設定を行
う。そのため、 Actdif(n,m)を全ての小領域に対して求
め、その対象画像内のアクティビティ差の総和Σ Act
dif を算出する。この値と対象画像の目標量子化レベル
ＱＰtargetを基に、直前に処理した画像のアクティビテ
ィ差の総和Σ Actdif-last、直前画像の生成符号量 Bit
used、および直前画像内の平均量子化レベルＱＰ
mean-last 値を利用して、対象画像に対する目標生成符
号量 Bittargetの設定を、次式により行う。
【００２８】Bittarget＝Ｗ1(ＱＰmean-last ／ＱＰ
target) ×Ｗ2(Σ Actdif ／Σ Actdif-last) × Bit
used なお、上式において、Ｗ1 、Ｗ2 は重み係数である。
【００２９】次に、上記にて求めた各小領域の分散の差
Actdif(n,m)に応じて各小領域に対して符号量を分配す
ることにより、各小領域の目標生成符号量 Bit
target(n,m)の設定を下式により行う。
【００３０】Bittarget(n,m) ＝ Bittarget× Act
dif(n,m)／Σ Actdif ここに、 Bittargetは対象画像の目標生成符号量であ
る。この各小領域の目標生成符号量 Bittarget(n,m) を
発生符号量制御部６に出力する。
【００３１】なお、前記の例では、動き予測を行う最小
単位を４分割したが、本発明はこれに限定されるもので
はない。上記の説明から、前記目標生成符号量 Bit
targetは前記各小領域毎に得られることは明らかであ
る。
【００３２】以上の動作を、理解しやすいように簡単に
まとめると、図３のようになる。前記入力画像情報抽出
部２の画像変化量演算部２１は、同図(a) のように、た
とえば１フレームの入力画像ｂと前記画像保存部３に記
憶されている前回の１フレームの処理対象画像ｂ´とか
ら、前記(1) 式により、画像変化量 Framediffを求め
る。前記小領域分割部２５は同図(b) に示されているよ
うに、選択された入力画像ｂを小領域（例えば、マクロ
ブロック）ＭＢ00、ＭＢ01、…、ＭＢpqに分割する。ま
た、前記目標発生符号量設定部５は、同図(c) に示され
ているように、前記小領域ＭＢ00、ＭＢ01、…、ＭＢpq
の各々をさらに４分割し、各４分割領域のアクティビテ
ィAct1〜Act4を求める。そして、これらのアクティビテ
ィAct1〜Act4を用いて、上記の式から各小領域毎の目標
生成符号量 Bittargetを求め、発生符号量制御部６に出
力する。
【００３３】次に、発生符号量制御部６は前記目標発生
符号量設定部５から送られてきた各小領域毎の目標生成
符号量 Bittargetを対象画像内の各小領域に割り当て、
量子化部１４での量子化レベルを決定するための参考情
報とする。
【００３４】量子化部１４での量子化レベルの制御は、
圧縮符号化により生成される符号量に直接的に影響を及
ぼす。量子化レベルは、値が小さくなると生成される符
号量が増え、逆に大きな値をとるときには生成される符
号量が少なくなる。ただし、この量子化レベルの大幅変
動は、画質の大幅な変動を招くため、量子化レベルを大
幅に変動させないようにすることが望まれる。
【００３５】そこで、発生符号量制御部６は前記目標生
成符号量 Bittargetを用いて、圧縮符号化を行っている
画像に対して、その画像内小領域の符号化毎に、以下の
処理を行って、生成符号量の制御を行う。
【００３６】まず、圧縮符号化を行っている処理対象画
像に対して、その１枚の画像の符号化を開始してから符
号化を終了した小領域部分（符号化終了小領域部分）ま
での実際の生成符号量を求める。次いで、この生成符号
量と、前記目標発生符号量設定部５により求めた目標生
成符号量の値での、符号化開始から前記符号化終了小領
域部分に相当する部分までの和との比較を行い、この差
を利用して、次に符号化する小領域の量子化レベルＱＰ
を下式(4) 〜(6) を用いて設定する。この量子化レベル
は直前に用いた量子化レベルから相対的に求められるた
め、画質の大幅な差を許容しないよう設定することが可
能である。設定された量子化レベルＱＰは、量子化部１
４に送られる。
【００３７】
【数３】 ここに、γは１より大きい定数、δは１より小さい定数
である。また、ε1 ,ε2 は量子化レベルＱＰの補正値
であり、ε1 ＝ε2 であっても良い。いま、１枚の画像
の最後の小領域（右下の小領域）の番号をＭＢpqとする
と（図３(b) 参照）、前記(4) および(5) 式の（Ｋ，
Ｌ）は、（０，１）〜（ｐ，ｑ）の値を順次取るものと
する。
【００３８】上記の式(4) 〜(6) の動作を具体的に説明
すると、例えば次に量子化する小領域ＭＢ02の量子化レ
ベルＱＰは、小領域ＭＢ00およびＭＢ01の目標生成符号
量と実際の生成符号量とから、次のように設定される。
すなわち、γ(Bittarget(0,0) ＋ Bittarget(0,1) と
（ Bitused(0,0) ＋ Bitused(0,1) ）、およびδ（ Bit
used(0,0) ＋ Bitused(0,1) ）と（ Bitused(0,0) ＋ B
itused(0,1) ）とが比較され、例えばγ(Bit
target(0,0) ＋ Bittarget(0,1) ) ＜（ Bitused(0,0)
＋ Bitused(0,1) ）が成立すれば、量子化レベルＱＰは
ＱＰlast＋ε1 に設定される。一方、δ(Bit
target(0,0) ＋ Bittarget(0,1 )＞（ Bitused(0,0) ＋
Bitused(0,1) ）が成立すれば、量子化レベルＱＰはＱ
Ｐlast−ε2 に設定される。さらに、δ(Bit
target(0,0) ＋ Bittarget(0,1 )＜（ Bitused(0,0) ＋
Bitused(0,1) ）＜γ(Bittarget(0,0) ＋ Bit
target(0,1 )が成立すれば、量子化レベルＱＰはＱＰ
lastに設定される。なお、前記ＱＰlastは直前の小ブロ
ックに対して用いられた量子化レベルである。以下、同
様にして小領域ＭＢpqまでの各小領域に対する量子化レ
ベルＱＰが順次設定される。
【００３９】次に、各小領域に対する量子化レベルＱＰ
の他の求め方について説明する。この方法は、次に符号
化しようとする小領域の目標生成符号量 bit
target(current) と、直前の符号化を終了した小領域の
目標とする生成符号量 bittarget(prev)との比較から、
下記の(7) 式で表されるように量子化レベルＱＰを更新
することで、小領域毎の入力画像の画質の変化に即応す
ることが可能である。
【００４０】 ＱＰ＝ＱＰ＋ζ× bittarget(prev)／ bittarget(current) …(7) 上記の式のζは、レベル変更の大きさを制御するパラメ
ータである。
【００４１】また、前記各小領域に対する量子化レベル
ＱＰの第３の求め方として、前記(4) 〜(6) 式から求め
られた量子化レベルＱＰと、前記(7) から求められた量
子化レベルＱＰとの平均、あるいは重み付けをした後の
平均を用いることができる。次に、次入力画像選択部８
の動作を説明する。該次入力画像選択部８は、直前処理
画像とそのもう一枚前の処理画像とのスキップ時間間隔
をＴlast、直前処理画像内で用いた量子化レベルの平均
をMeanＱＰlast、目標とする画質を達成するために必要
となる量子化レベルをＱＰtargetとすると、次の処理対
象画像として取込む時刻Ｔnextを、１枚の画像の圧縮符
号化の終了直後に、下式(8) により求める。ここに、前
記量子化レベルＱＰtargetは予め定められている値であ
り、次入力画像選択部８に予めセットされているものと
する。また、MeanＱＰlastは、該次入力画像選択部８が
発生符号量制御部６から得た量子化レベルＱＰを基に算
出するものとする。 Ｔnext＝Ｔlast×（MeanＱＰlast／ＱＰtarget）＋η …(8) 上記のηは符号化情報一時蓄積部１６の情報、すなわち
一時蓄積状態情報抽出部７から得られた利用可能な符号
量から得られる値であり、この値によっても変更するこ
とが可能である。
【００４２】以上の本実施形態の動作を簡単にまとめた
のが、図５のフローチャートである。ステップＳ１で
は、動画像ｂが入力画像情報抽出部２に入力する。ステ
ップＳ２では、該動画像の入力があるか否かの判断がな
され、この判断が否定の時にはステップＳ３に進み、入
力画像情報抽出部２が前記(1) 式から画像特徴情報を抽
出する。そして、ステップＳ４で、該動画像ｂが符号化
するのに適した画像であるか否かを判断する。この判断
が否定の場合にはステップＳ５に進み、入力画像再選択
部４が入力画像の再選択を行う。次いでステップＳ１に
戻り、前記入力画像情報抽出部２は次に入力してくる画
像ｂを待つ。一方、前記ステップＳ４の判断が肯定の場
合には、ステップＳ６に進んで、前記目標生成符号量設
定部５が目標生成符号量を設定する。
【００４３】ステップＳ７では、１枚の入力画像の符号
化が完了したか否かの判断がなされる。この判断が否定
の時にはステップＳ８に進んで、発生符号量制御部６が
量子化部１４に対して量子化レベルを制御する。ステッ
プＳ９では、量子化部１４が画像内の小領域を符号化す
る。ステップＳ１０では、発生符号量制御部６は符号化
部１５から、発生符号量情報を抽出する。ステップＳ７
〜Ｓ１０の動作が繰返し行われ、ステップＳ７の判断が
肯定になると、ステップＳ１１に進み、次入力画像選択
部８は発生符号量制御部６から得た量子化レベル情報か
ら平均量子化レベルMeanＱＰlastを算出する。ステップ
Ｓ１２では、次入力画像選択部８は一時蓄積状態情報抽
出部７から一時蓄積状態情報を取得する。そして、ステ
ップＳ１３において、次入力画像選択部８は次入力画像
の選択を行う。これにより、入力画像取得部１は動画像
ａから選択的に取得する。続いて、前記ステップＳ１に
戻り、ステップＳ１〜Ｓ４において、該取得された画像
が符号化適性画像であるか否かの判断がされる。そし
て、この判断が否定の時には該取得された画像を廃棄
し、ステップＳ５で入力画像再選択部４が入力画像を再
選択する。
【００４４】以上のように、本実施形態によれば、次入
力画像選択部８によって選ばれた画像が入力画像情報抽
出部２で符号化適性画像であるか否かを判断され、この
判断が肯定の場合には該画像は符号化に供され、逆に否
定の場合には入力画像再選択部４が符号化すべき画像を
再選択することになる。また、符号化対象画像として選
択された画像は、ステップＳ７〜Ｓ１０において、その
小領域の目標生成符号量と実際の発生符号量を基に設定
された次の小領域の量子化レベルに従って符号かされる
ことになる。
【００４５】次に、本実施形態の符号化部１５は、図４
に示されているように、符号化手段１５ａとスタッフビ
ット挿入手段１５ｂとから構成されている。スタッフビ
ット挿入手段１５ｂには、一時蓄積状態情報抽出部７か
ら一時蓄積状態情報が入力する。
【００４６】圧縮符号化を行っている際には、一定時間
に一定量の生成符号量となるよう制御を行うと、目標と
している符号量を生成できず、目標生成符号量よりも少
ない符号量で圧縮符号化を完了してしまうことがある。
このような状態が連続的に生じた場合には、圧縮符号を
通信回線を利用して受信、直ちに復号するようなシステ
ムにおいては、受信情報の蓄積量が容量を越えてしま
う、いわゆるバッファオーバーフローが発生する恐れが
ある。
【００４７】そのため、前記スタッフビット挿入手段１
５ｂは圧縮符号化方式に則った符号規則での意味を持た
ないビットを挿入することで、圧縮符号化の対象となっ
た画像の生成符号量を目標符号量以上に適応させるよう
にする。本発明方式は、処理対象入力画像の時間間隔に
選択幅を持たせる本方式では、次に圧縮符号化処理の対
象となる画像の時間的位置が確定しない限りは、受信情
報の蓄積量が容量を越えるかどうかの判断を行うことが
不可能である。そのため、あらかじめ一枚の入力画像の
符号化が完結する直前の符号挿入可能位置まで符号化が
行われた状態で、圧縮符号の受信情報の蓄積量が容量を
越えないよう必要最小限の挿入符号量を算出し、算出さ
れた符号量の挿入を行い、それ以降の符号化を通常通り
に行う。
【００４８】なお、本発明はＨ２６３のみならず、ＭＰ
ＥＧ１、ＭＰＥＧ２、Ｈ２６１などの国際標準化された
符号化法を用いた動画像の符号化データへの適用が可能
であり、変換方式もDCT 変換のみならず、ウェーブレッ
ト変換、ベクトル量子化等を利用する動画像の圧縮符号
化方式への適用も可能である。
【００４９】
【発明の効果】以上の説明から明らかなように、本発明
によれば、入力画像情報をあらかじめ複数枚先読みする
などの時間的制約もなく、また、入力される画像の急激
な画質の変化に対しても発生符号量を適性に保つことが
可能となる。このため、リアルタイム性のある動画像の
圧縮符号化が可能となり、かつ画質向上、圧縮効率の向
上を計れるという効果がある。例えばＩＴＵーＴ勧告Ｈ
２６３ＴＭＮ５における符号化レート制御方式等では画
像の特徴の変化（急激な画像の変化やシーンチェンジ）
時には著しく画質が劣化する問題があったが、本発明に
おいては主観評価で画質の変動を認識することがないこ
とが確認された。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図
である。
【図２】 図１の入力画像情報抽出部の機能を示すブロ
ック図である。
【図３】 図１の入力画像情報抽出部および目標生成符
号量設定部の動作の概要を示す説明図である。
【図４】 図１の符号化部の一具体例を示すブロック図
である。
【図５】 本発明の概略の動作を示すフローチャートで
ある。
【符号の説明】
１…入力画像取得部、２…入力画像情報抽出部、３…画
像保存部、４…入力画像再選択部、５…目標生成符号量
設定部、６…発生符号量制御部、７…一時蓄積状態情報
抽出部、８…次入力画像選択部、１１…動き予測部、１
２…減算器、１３…変換部、１４…量子化部、１５…符
号化部、１６…符号化情報一時蓄積部、１７…逆量子化
部、１８…逆変換部、１９…加算器、２０…画像保存
部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 菅野 勝 東京都新宿区西新宿２丁目３番２号 国際 電信電話株式会社内

Claims (7)

    【特許請求の範囲】
  1. 【請求項１】 発生符号量が時間的に一定となるように
    するレート制御を用いた動画像の圧縮符号化装置におい
    て、 圧縮符号化の終了直後に、少なくとも、予定の生成符号
    量からの処理した入力画像の生成符号量のずれと、以前
    に動画像から抽出された処理対象画像間のスキップ時間
    間隔と、符号化された信号を送出するために一時的に蓄
    えておく符号化情報一時蓄積部の蓄積状態とに基づい
    て、次に処理すべき入力画像の時間的特定を行う手段
    と、 該時間的特定に基づいて選択された次に処理すべき入力
    画像と、その直前に処理対象とした画像との画像変化量
    から、該入力画像が処理対象となる画像であるか否かを
    判断する手段を具備し、 動画像から処理対象となる入力画像を決めるようにした
    ことを特徴とする動画像の圧縮符号化装置。
  2. 【請求項２】 請求項１記載の動画像の圧縮符号化装置
    において、 前記時間的特定に基づいて選択された入力画像が処理対
    象となる画像でないと判断された時には、該入力画像と
    直前に処理対象とした画像との画像変化量に基づいて処
    理対象とする画像を再選択するようにしたことを特徴と
    する動画像の圧縮符号化装置。
  3. 【請求項３】 請求項１または２記載の動画像の圧縮符
    号化装置において、 前記処理対象として抽出した画像を複数個の小領域に分
    割し、各小領域毎に目標生成符号量を設定し、該各小領
    域毎の目標生成符号量と、順次符号化される前記各小領
    域の実際の生成符号量とから、順次符号化される次の小
    領域の量子化レベルを決定するようにしたことを特徴と
    する動画像の圧縮符号化装置。
  4. 【請求項４】 請求項１または２記載の動画像の圧縮符
    号化装置において、 前記予定の生成符号量からの入力画像の生成符号量のず
    れは、画像の予定の量子化レベルと、該入力画像の平均
    量子化レベルとの比であることを特徴とする動画像の圧
    縮符号化装置。
  5. 【請求項５】 発生符号量が時間的に一定となるように
    するレート制御を用いた動画像の圧縮符号化装置におい
    て、 直前に処理対象とした入力画像と次に処理対象とすべき
    入力画像との画像変化量から、該入力画像が処理対象と
    なる画像であるか否かを判断する入力画像情報抽出部
    と、 該入力画像情報抽出部により該入力画像が処理対象でな
    いと判断された時に、入力画像を再選択する入力画像再
    選択部と、 前記入力画像情報抽出部により入力画像が処理対象とな
    ると判断された時に、該入力画像の各小領域に対する目
    標生成符号量を設定する目標生成符号量設定部と、 前記各小領域に対する目標生成符号量と実際の生成符号
    量とから、各小領域に対する量子化レベルを決定する発
    生符号量制御部と、 少なくとも、予定の生成符号量からの入力画像の生成符
    号量のずれと、以前の抽出画像間のスキップ時間間隔
    と、符号化された信号を送出するために一時的に蓄えて
    おく符号化情報一時蓄積部の蓄積状態とに基づいて、次
    に処理すべき入力画像の時間的特定を行う次入力画像選
    択部と、 前記入力画像再選択部と前記次入力画像選択部とからの
    選択情報に従って、入力画像の取得を行う入力画像取得
    部とを具備したことを特徴とする動画像の圧縮符号化装
    置。
  6. 【請求項６】 請求項５記載の動画像の圧縮符号化装置
    において、 前記発生符号量制御部は、前記小領域を更にいくつかに
    分割した領域の違いによる画素値の分散の大きさの差を
    利用して前記各小領域に対する目標生成符号量を設定す
    るようにしたことを特徴とする動画像の圧縮符号化装
    置。
  7. 【請求項７】 請求項１または５記載の動画像の圧縮符
    号化装置において、 一定時間における発生符号量を一定とするために、符号
    化情報内の特定の位置に符号上の意味を持たない情報を
    挿入するスタッフビット挿入手段を設けたことを特徴と
    する動画像の圧縮符号化装置。
JP29964597A 1997-10-17 1997-10-17 動画像の圧縮符号化装置 Expired - Fee Related JP2902386B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP29964597A JP2902386B2 (ja) 1997-10-17 1997-10-17 動画像の圧縮符号化装置
US09/167,886 US6426772B1 (en) 1997-10-17 1998-10-07 Video encoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29964597A JP2902386B2 (ja) 1997-10-17 1997-10-17 動画像の圧縮符号化装置

Publications (2)

Publication Number Publication Date
JPH11122612A true JPH11122612A (ja) 1999-04-30
JP2902386B2 JP2902386B2 (ja) 1999-06-07

Family

ID=17875273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29964597A Expired - Fee Related JP2902386B2 (ja) 1997-10-17 1997-10-17 動画像の圧縮符号化装置

Country Status (2)

Country Link
US (1) US6426772B1 (ja)
JP (1) JP2902386B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001013628A1 (en) * 1999-08-17 2001-02-22 Nikon Corporation Electronic camera and program for image processing
WO2001063938A1 (en) * 2000-02-28 2001-08-30 Kabushiki Kaisha Toshiba Video encoding apparatus and video encoding method
WO2005115008A1 (ja) * 2004-05-24 2005-12-01 Mitsubishi Denki Kabushiki Kaisha 動画像符号化装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633609B1 (en) * 1996-12-24 2003-10-14 Intel Corporation Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth
US7403564B2 (en) * 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
US7356079B2 (en) * 2001-11-21 2008-04-08 Vixs Systems Inc. Method and system for rate control during video transcoding
US9256753B2 (en) * 2003-06-11 2016-02-09 Microsoft Technology Licensing, Llc Method and apparatus for protecting regions of an electronic document
US7918891B1 (en) 2004-03-29 2011-04-05 Nuvasive Inc. Systems and methods for spinal fusion
US8673005B1 (en) 2007-03-07 2014-03-18 Nuvasive, Inc. System and methods for spinal fusion
JP2009171339A (ja) * 2008-01-17 2009-07-30 Toshiba Corp 動画像符号化装置、方法及びプログラム
US8083796B1 (en) 2008-02-29 2011-12-27 Nuvasive, Inc. Implants and methods for spinal fusion
USD754346S1 (en) 2009-03-02 2016-04-19 Nuvasive, Inc. Spinal fusion implant
US9198765B1 (en) 2011-10-31 2015-12-01 Nuvasive, Inc. Expandable spinal fusion implants and related methods
WO2017023829A1 (en) * 2015-07-31 2017-02-09 Stc.Unm System and methods for joint and adaptive control of rate, quality, and computational complexity for video coding and video delivery

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100366141B1 (ko) * 1994-01-31 2003-03-03 소니 가부시끼 가이샤 화상대조방법및장치
US5515107A (en) * 1994-03-30 1996-05-07 Sigma Designs, Incorporated Method of encoding a stream of motion picture data
GB9424436D0 (en) * 1994-12-02 1995-01-18 Philips Electronics Video editing buffer management
US6118817A (en) * 1997-03-14 2000-09-12 Microsoft Corporation Digital video signal encoder and encoding method having adjustable quantization
US6181742B1 (en) * 1998-01-26 2001-01-30 International Business Machines Corporation Single pass target allocation for video encoding

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001013628A1 (en) * 1999-08-17 2001-02-22 Nikon Corporation Electronic camera and program for image processing
WO2001063938A1 (en) * 2000-02-28 2001-08-30 Kabushiki Kaisha Toshiba Video encoding apparatus and video encoding method
US6819712B2 (en) 2000-02-28 2004-11-16 Kabushiki Kaisha Toshiba Video encoding apparatus and video encoding method
WO2005115008A1 (ja) * 2004-05-24 2005-12-01 Mitsubishi Denki Kabushiki Kaisha 動画像符号化装置

Also Published As

Publication number Publication date
JP2902386B2 (ja) 1999-06-07
US6426772B1 (en) 2002-07-30

Similar Documents

Publication Publication Date Title
US5812197A (en) System using data correlation for predictive encoding of video image data subject to luminance gradients and motion
US6122400A (en) Compression encoder bit allocation utilizing colormetric-adaptive weighting as in flesh-tone weighting
KR100484148B1 (ko) 개선된 비트율 제어 방법과 그 장치
EP0562787B1 (en) Image coding method and apparatus
US6389072B1 (en) Motion analysis based buffer regulation scheme
JP4153202B2 (ja) 映像符号化装置
JPH08181992A (ja) 動画像符号化装置および領域抽出装置
US7095784B2 (en) Method and apparatus for moving picture compression rate control using bit allocation with initial quantization step size estimation at picture level
JP2902386B2 (ja) 動画像の圧縮符号化装置
JPH04196976A (ja) 画像符号化装置
KR20030040975A (ko) 오브젝트 기반 비트율 제어방법
EP1209625A2 (en) Picture coding apparatus and method
US6185253B1 (en) Perceptual compression and robust bit-rate control system
US20040234142A1 (en) Apparatus for constant quality rate control in video compression and target bit allocator thereof
JP3651706B2 (ja) 動画像符号化装置
JP2894067B2 (ja) 動画像符号化制御方法および動画像符号化装置
JP2000350211A (ja) 動画像符号化方法及び動画像符号化装置
JP3982615B2 (ja) 符号化動画像データの方式変換装置
US6480544B1 (en) Encoding apparatus and encoding method
JP3597781B2 (ja) ピクセルを有するディジタル画像における動き予測方法及び装置
JP2004040811A (ja) 動映像符号化のためのｄｃｔ演算量調節方法及びその装置
US7254176B2 (en) Apparatus for variable bit rate control in video compression and target bit allocator thereof
US7133448B2 (en) Method and apparatus for rate control in moving picture video compression
JP2002199398A (ja) 可変ビットレート動画像符号化装置および記録媒体
JPH11196424A (ja) 画像処理装置および方法、並びに提供媒体

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees