JP2907063B2 - 総符号量制御を行なう動画像符号化装置 - Google Patents

総符号量制御を行なう動画像符号化装置

Info

Publication number
JP2907063B2
JP2907063B2 JP7149543A JP14954395A JP2907063B2 JP 2907063 B2 JP2907063 B2 JP 2907063B2 JP 7149543 A JP7149543 A JP 7149543A JP 14954395 A JP14954395 A JP 14954395A JP 2907063 B2 JP2907063 B2 JP 2907063B2
Authority
JP
Japan
Prior art keywords
code amount
target
efficiency encoding
image signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP7149543A
Other languages
English (en)
Other versions
JPH08322051A (ja
Inventor
光章 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP7149543A priority Critical patent/JP2907063B2/ja
Priority to US08/699,644 priority patent/US5880785A/en
Priority to EP19960306049 priority patent/EP0825779B1/en
Publication of JPH08322051A publication Critical patent/JPH08322051A/ja
Application granted granted Critical
Publication of JP2907063B2 publication Critical patent/JP2907063B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は総符号量制御を行なう動
画像符号化装置に関する。
【0002】
【従来の技術】例えばデジタル画像信号の各サンプル値
に対して信号レベルを均等に分割し、前記した各信号レ
ベル間の範囲に含まれる値を一つの代表値で置き換える
直線量子化(均等量子化)手段を採用した場合に、代表点
と本来の値との差が判らないようにするのには、一般に
自然画像については6ビット(64階調)から8ビット
(256階調)が必要であるとされている。しかし、均等
量子化によりデジタル化した画像信号をそのまま記録,
再生、伝送等を行なうようにすると、各サンプル値に対
して前記のような多くの情報量を扱うことが必要とされ
る。それで、記録,再生、伝送の対象にされる画像信号
を、より少ない情報量で記録,再生、伝送できるように
するために、従来から各種の高能率符号化方式が提案さ
れていることは周知のとおりである。
【0003】すなわち、画像信号を少ない情報量で符号
化するのに、例えば、信号の変化の少ない部分におけ
る変化については敏感であるが、信号の変化の激しい部
分においてはある程度の誤差があっても、それを検知し
難いという人間の視覚や聴覚の性質を利用する、記録
の対象にされている情報信号における時空間軸上での相
関を利用して、画像を画素に分解した後に各画素の輝度
値の隣接相関の高さを利用して原情報の近似値の少数を
伝送したり、または画素間差分あるいはフレ−ム間差分
を伝送する、時間軸予測モードにより、フレーム内予
測符号化画像、フレーム間予測符号化画像を予測符号化
する、高周波数成分が少ないということを利用して周
波数要素の削減を行なう、等の手法を適用した各種の高
能率符号化方式が知られている。そして、前記した高能
率符号化方式によりデ−タ量の圧縮を行なってデジタル
画像・デ−タを記録,伝送,送信し、また、前記のよう
にデ−タ量が圧縮されたデジタル画像・デ−タを再生,
受信した後に画像デ−タの伸張を行なって画像の復元を
することが従来から行なわれて来ている。
【0004】一方、各種の情報の記録再生に用いられる
記録媒体についても、高い記録密度で各種の情報信号を
記録したいという要望が高まるのにつれて、近年来、色
々な構成原理や動作原理に基づいて作られた情報記録媒
体により、情報信号の高密度記録再生が行なわれるよう
になった。すなわち、例えば、情報記録媒体における強
磁性体製の記録層に情報信号に応じた磁気記録を行なっ
たり、もしくは光磁気記録媒体を用いて光学的な手段に
よって記録再生を行なったり、あるいは例えば、情報記
録媒体の信号面に、情報信号に応じた凹凸を形成させて
情報信号の記録を行ない、前記の記録された情報信号を
光学的な手段によって再生することが既に実用されてい
る。
【0005】そして、安定な動作を行なう半導体レーザ
が容易に得られるようになったのに伴い、レーザ光を用
いて高密度記録再生を行なうようにした各種の光学的記
録媒体(光ディスク)が実用されるようになった。前記
の光学的記録媒体は、非接触状態での記録再生が可能で
あるために、傷や塵埃に強く、また高密度記録により大
きな記憶容量が得られる等の利点を有している。例え
ば、幾何学的な凹部あるいは凸部として形成されている
ピットにより情報信号が記録された原盤から大量に複製
された記録済み光ディスク(再生専用の光ディスクが、
例えばコンパクト・ディスク(CD)が普及している
他、CD−I(Compact Disc-Interactive)デイスク
も用いられており、また、書換え可能な光ディスクとし
ても、例えば光磁気ディスクその他の光ディスクが、例
えばオフィス用ファイルメモリ、その他の用途で実用化
(例えば光磁気ディスクを用いたMD)されている。
【0006】ところで、前記したコンパクト・ディスク
(CD)は、原信号に対して単位時間当りに発生する符
号量が、情報内容に関係なく一定になるようにして音響
信号をデジタル符号化し、それを一定な転送レートで記
録媒体に記録させてある記録済み記録媒体である。ま
た、CD−Iデイスクでは、適応パルスコード変調(A
DPCM)によって情報量が圧縮された音響信号を、標
本化周期によって決定される固定転送レートで記録媒体
に記録させてある。さらに、前記したMD(ミニディス
ク)でも情報量を圧縮して、一定の転送レートで記録媒
体に記録させてある。それで、前記した各記録媒体に記
録された記録データを再生する場合には、前記した記録
時と同じ一定の転送レートで再生するだけで、単位時間
当りのデータ量が一定の状態で再生できる。
【0007】既述のように、原信号に対して単位時間当
りに発生する符号量が、情報内容に関係なく一定となる
ようにして原信号をデジタル符号化し、それを固定の一
定な転送レートで記録媒体に記録させ、記録媒体から記
録データを記録時と同一の転送レートで再生するように
されている従来の一般的な記録,再生装置では、単位時
間当りのデータ量が常に一定の状態であるために、記録
系や記録媒体及び再生系に特別な構成等を施す必要もな
いという利点が得られる。しかしながら、原信号におけ
る情報内容がどうであっても、固定の一定転送レートで
の記録再生が行なわれるようにされている方式では、記
録媒体の記録容量を有効に活用てきるようにして長時間
の原信号の情報を記録,再生することができなかった。
【0008】それで、前記の問題点を解決するために、
原信号の情報内容の内で、復元に影響がない情報内容の
部分については、所定時間当りの符号量として少ない符
号量を割当て、また、原信号の情報内容の内で、復元に
際して必要性の大きな情報内容の部分については、所定
時間当りの符号量として多くの符号量を割当てるように
して、記録媒体の記録容量を有効に活用てきるようにし
た可変転送レート符号化による高能率符号化方式が提案
された。そして、前記の可変転送レート符号化による高
能率符号化方式によって高能率符号化して得た記録デー
タを、所定の記憶容量の記録媒体に予め定められた記録
密度で記録した場合には、前記の記録媒体に従来の固定
転送レート符号化による高能率符号化方式によって高能
率符号化して得た記録データを、前記した場合と同一の
記録密度で記録させた場合に比べて、2倍の時間長の原
信号と対応する記録データを記録することができた。
【0009】図8は前記の可変転送レート符号化による
高能率符号化方式によって高能率符号化するようにした
し本出願人会社による既提案の符号化装置である。図8
に示す既提案の符号化装置は、高能率符号化の対象にさ
れている画像信号に対して、まず仮の符号化動作を行な
って発生符号量についてのデータを求める。次いで、前
記した仮の符号化動作によって得たデータを用いて、目
標とする総符号量に適合する発生符号量の状態で符号化
動作が行なわれるように符号化の条件を設定して、高能
率符号化の対象にされている画像信号に対する符号化動
作を行なうようにしたものである。すなわち、図8に示
す既提案の符号化装置は、高能率符号化の対象にされて
いる同一の画像信号に対して、2度の符号化動作を行な
うことにより、総符号量制御を行ない、記録媒体の記憶
容量に適合する発生符号量の状態で高能率符号化された
可変転送レートのデータを発生させることができるよう
にした動画像符号化装置である。
【0010】図8に示す既提案の総符号量制御を行なう
動画像符号化装置において、1は画像源(画像信号源)
であり、また2は予測減算器、3は直交変換器、4は量
子化器、5は画像情報変化態様検出器、7は符号化器、
8は局部復号器、9は加算器、10は予測器である。ま
た、11,18は切換スイッチ、13は符号量変換器、
15は目標転送レート設定器、16はバッファメモリ、
17は基準量子化スケール設定器、25は量子化スケー
ル設定器、19は仮符号量カウンタ(具体的な構成例が
図2中に示されている)、20は仮符号量メモリ(具体的
な構成例が図2中に示されている)、22は目標符号量
への変換器、23は目標符号量メモリ、24は符号量比
較器、28は出力端子である。
【0011】前記した画像源1から供給される高能率符
号化の対象にされている画像信号に対する符号化動作は
次のようにして行なわれる。まず2つの切換スイッチ1
1,18の可動接点vを、固定接点b側に切換えた状態
にするとともに、スイッチ26をオフの状態にした後
に、画像源1からの画像信号に対する1回目の符号化動
作を開始する。符号化動作の開始により、画像源(画像
信号源)1から送出された画像信号は、画像情報変化態
様検出器(アクティビィティ検出器)5と予測減算器2
とに供給される。前記の画像情報変化態様検出器5で
は、例えば画素値の分散、予測誤差値の絶対値和、直交
変換係数の絶対値和などを用いて、画像情報の変化の程
度を検出し、画像信号から切出された順次のブロック
(例えば8×8画素)毎の画像情報の変化の程度と対応
して、量子化制御器6で決定されるべき量子化スケール
の設定のために用いられる情報を発生して、それを量子
化制御器6に供給する。なお、画像信号から切出された
順次のブロックが集合してピクチャとなり、また、前記
のピクチャが集合して複数のピクチャよりなる画像単位
(GOP)となる状態が図7に例示されている。
【0012】また、前記の量子化制御器6には、基準量
子化スケール設定器17から切換スイッチ18の固定接
点bと可動接点vとを介して、予め定められた量子化ス
ケールを設定させうるような情報が供給されているとと
もに、前記の画像情報変化態様検出器5から量子化スケ
ールの設定のために用いられる情報とが供給されてい
る。それで、量子化制御器6では、画像内容に変化が少
ない画像による画像信号が量子化の対象にされている場
合には、量子化器4の量子化スケールを小さな値に設定
し、また、画像内容の変化の激しい画像による画像信号
が量子化の対象にされている場合には、量子化器4の量
子化スケールを大きな値に設定する。
【0013】また、画像源(画像信号源)1から送出さ
れて予測減算器2に被減数信号として供給された画像信
号は、予測減算器2で予測器10の出力信号が減算され
て直交変換器3に与えられる。そして、前記の直交変換
器3から出力された直交変換係数は量子化器4に供給さ
れる。直交変換器3から出力された直交変換係数は、前
記した量子化制御器6によって設定された量子化スケー
ルで量子化されされたデジタルデータとして局部復号器
8と、符号化器7とに供給される。前記の局部復号器8
では、逆量子化動作と逆直交変換動作とを行なって再生
予測誤差信号を出力し、それを加算器9に供給する。ま
た、加算器9では予測器(画像間予測器)10から出力
されている予測信号(画像間予測信号)と、前記した再
生予測誤差信号とを加算して予測器10に供給する。前
記の予測器10では、再生画像信号を1画像期間遅延さ
せて動き補償を行ない、予測信号(画像間予測信号)を
出力して、それを予測減算器2と加算器9とに供給す
る。
【0014】前記の量子化器4から出力したデジタルデ
ータが供給された符号化器7では、それに入力されたデ
ジタルデータを、可変長符号化してデータ量が圧縮され
た状態の符号化データを出力して切換スィッチ11の可
変接点vに与える。ところで、画像源1からの画像信号
に対する1回目の符号化動作を行なっている状態におけ
る切換スイッチ11の可変接点vは、既述のように固定
接点b側に接触しているから、符号化器7から出力され
た符号化データは、切換スィッチ11の可変接点vと固
定接点bとを介して仮符号量カウンタ19に供給され
る。前記した仮符号量カウンタ19は、それの具体的な
構成の概略が図2中に示されている。
【0015】図2に示す仮符号量カウンタ19の端子2
9には、符号化器7から切換スイッチ11の可動接点v
と固定接点bとを介して、順次のブロックの符号化デー
タが供給される。図2において30はブロック符号量カ
ウンタ、31はピクチャ符号量カウンタ、32はGOP
符号量カウンタであり、また、33は各1ブロック毎の
終端の検出部、34は各1ピクチャ毎の終端の検出部、
35は各1GOP毎の終端の検出部である。
【0016】前記の仮符号量カウンタ19の入力端子2
9に供給された符号化データは、ブロック符号量カウン
タ30に与えられる。ブロック符号量カウンタ30に供
給された符号化データは、ブロック符号量カウンタ30
と各1ブロック毎の終端の検出部33との動作によっ
て、順次の各ブロック毎の符号量を計数して順次の各ブ
ロック毎の符号量のデータを発生する。前記の順次の各
ブロック毎の符号量のデータは、伝送線41を介して仮
符号量メモリ20におけるブロック仮符号量メモリ36
に与えられ、それに順次に記憶される。次いで前記のブ
ロック仮符号量メモリ36に記憶された各ブロック毎の
符号量のデータは、ブロック仮符号量メモリ36から読
出され、線43を介して前記の仮符号量カウンタ19に
おけるピクチャ符号量カウンタ31に与えられる。
【0017】ピクチャ符号量カウンタ31に供給された
符号化データは、ピクチャ符号量カウンタ31と各1ピ
クチャ毎の終端の検出部34との動作によって、順次の
各ピクチャ毎の符号量を計数して順次の各ピクチャ毎の
符号量のデータを発生する。前記の順次の各ピクチャ毎
の符号量のデータは、伝送線40を介して仮符号量メモ
リ20におけるピクチャ仮符号量メモリ37に与えら
れ、それに順次に記憶される。前記のピクチャ仮符号量
メモリ37に記憶された各ピクチャ毎の符号量のデータ
は、ピクチャ仮符号量メモリ37にから読出され、線4
2を介して前記の仮符号量符号量カウンタ19における
GOP符号量カウンタ32に与えられる。
【0018】GOP符号量カウンタ32に供給された符
号化データは、GOP符号量カウンタ32と各1GOP
毎の終端の検出部35との動作によって、順次の各GO
P毎の符号量を計数して順次の各GOP毎の符号量のデ
ータを発生する。前記の順次の各GOP毎の符号量のデ
ータは、伝送線39を介して仮符号量メモリ20におけ
るGOP仮符号量メモリ38に与えられ、それに順次に
記憶される。前記のようにして仮符号量メモリ20にお
けるブロック仮符号量メモリ36と、ピクチャ仮符号量
メモリ37と、GOP仮符号量メモリ38とに、それぞ
れ記憶された符号量のデータは、画像源1からの画像信
号に対する第2回目の符号化動作時に、前記した仮符号
量メモリ20における各メモり、すなわち、ブロック仮
符号量メモリ36と、ピクチャ仮符号量メモリ37と、
GOP仮符号量メモリ38から読出されて、後述のよう
に高能率符号化のために使用されるのである。
【0019】前記した図2中に例示してある仮符号量カ
ウンタ19と仮符号量メモリ20との構成例では、仮符
号量カウンタ19においてブロック、ピクチャ、GOP
の3段階の符号量について個別に計数し、仮符号量メモ
リ20ではブロック、ピクチャ、GOPの3段階の階層
の符号量を個別に記憶させるような構成態様のものを示
しているが、前記の構成部分の構成として、例えば、I
SO11172−2(動画像国際標準化規格)のよう
に、ブロック、マクロブロック、スライス、ピクチャ、
GOPの5段階の階層に分けて、5段階の階層のそれぞ
れの階層の符号量を個別に計数して、それを個別に記憶
させるようにしてもよい。また、一般的な表現では、N
段階の階層に分けてN段階の階層のそれぞれの階層の符
号量を個別に計数して、それを個別に記憶させるように
しても良いのである。
【0020】さて画像源1からの画像信号に対する第1
回目の符号化動作時に、前記した仮符号量カウンタ19
から線39を介して出力された順次の各GOPの仮符号
量のデータは符号量変換器13に供給されて、符号量変
換器13に設定されている変換特性に従って目標符号量
のデータに変換される。前記の符号量変換器13は、図
9に例示されているように、例えば、入力端子58に供
給された符号化データが与えられる複数の変換器61〜
64と、前記の各変換器61〜64と個別に対応して設
けられている累積加算器65〜68と、前記の累積加算
器65〜68と個別に対応して設けられている比較器6
9〜72と、前記の各比較器69〜72に対して共通に
総目標符号量のデータを与える総目標符号量設定部60
と、前記した各比較器69〜72からの出力に基づいて
最適な変換特性を判定する判定器73とを備えて構成さ
れているものが使用できる。そして、前記の判定器73
からの判定結果の信号は出力端子59に出力される。
【0021】画像源1からの画像信号に対して行なわれ
た第1回目の符号化動作時に、仮符号量カウンタ19か
ら線39を介して前記した符号量変換器13に供給され
る順次のGOP(複数のピクチャよりなる画像単位)の
仮符号量をT1(i){ただし(i)は順次のGOPの
順番を示す数値1〜nを示す}とし、また、前記の仮符
号量T1(i)を符号量変換器13における変換特性f
gによって変換することによって得ようとする目標符号
量をT2(i){ただし(i)は順次のGOPの順番を
示す数値1〜nを示す}とすると、前記したT2(i)
とfgとT1(i)との関係は、次式によって示され
る。 T2(i)=fg{T1(i)}…(1)
【0022】前記した変換特性fgとしては、仮符号量
の総和S1と、2回目の符号化動作時に目標とすべき目
標符号量S2との比によって、 fg(x)=k・S1/S2・x …(2) (ただし、
定数kはk>0) 前記の(2)式で示されるような変換特性(例えば図3
に例示されているような特性)とされてもよいし、ある
いは、発生符号量が少ないGOPである程、画質の劣化
が目立つので、発生符号量が少ない場合に多い符号量を
配分するような、例えば、次の(3)式で例示されるよ
うな変換特性とされてもよい。 fg(x)=a・x^b …(3) (ただし、^はべ
き乗を示し、また、定数a,bはa>0, 0<b<
1) 前記した目標符号量T2(i)は、符号化データを記録
する記録媒体の記憶容量、あるいは復号装置における制
限により上限値が定められる。
【0023】図9に例示してある符号量変換器13中の
複数の変換器61〜64は、既述のように、それらに入
力された仮符号量に対して、それぞれ異なった目標符号
量が出力できるように、それぞれ異なった変換特性fg
1,fg2,fg3…(図3に例示してある変換特性を参
照)を有するものとして構成されている。また、総目標
符号量設定部60に設定される総目標符号量としては、
例えば、高能率符号化の対象にされている画像信号を符
号化して得た符号化データを記録するのに用いられる記
録媒体の総記憶容量が用いられる。すなわち、前記した
符号量変換器13における変換器61と累積加算器65
と比較器69とによる回路配置と、変換器62と累積加
算器66と比較器70とによる回路配置と、変換器63
と累積加算器67と比較器71とによる回路配置と、変
換器64と累積加算器68と比較器72とによる回路配
置とからなるn組の回路配置には、入力端子58から同
一の画像信号による同一の符号化データが供給されてい
る。
【0024】前記の符号化データはn組の回路配置中に
設けられていて、それぞれ異なる変換特性を備えている
変換器61〜64で変換された変換符号化データを、そ
れぞれ個別の累積加算器65〜68によって、それぞれ
画像信号の全体と対応して累積して得たn個の全変換符
号化データが、前記した総目標符号量設定部60に設定
された総目標符号量と比較される。それにより前記のn
個の比較器69〜72からのn個の出力は、前記した総
目標符号量設定部60に設定された同一の総目標符号量
との間での、それぞれ異なる比較結果を有しているもの
となる。判定部73では、前記したn個の回路配置中に
個別に設けられている比較器69〜72からのn個の出
力において、前記した総目標符号量設定部60に設定さ
れた同一の総目標符号量未満の符号量の内で、最も大き
な符号量を生じさせた回路配置における変換特性を見付
けて、それに対応して定まる転送レート情報を目標転送
レート設定器15に与える。
【0025】次に、図8に示す高能率符号化装置におい
て、画像源1から供給される高能率符号化の対象にされ
ている画像信号に対して本格的な符号化動作を行なう場
合には、2つの切換スイッチ11,18の可動接点v
を、固定接点a側に切換えた状態にするとともに、スイ
ッチ26をオンの状態にする。そして、既述した1回目
の符号化動作を行なった際に用いられた画像信号と同一
の画像信号を、画像源1から出力させて2回目の符号化
動作を開始させる。2回目の符号化動作において、画像
源(画像信号源)1から送出された画像信号は、既述し
た1回目の符号化動作の場合と同様に、画像情報変化態
様検出器5と予測減算器2とに供給される。前記の画像
情報変化態様検出器5では、画像信号から切出された順
次のブロック(例えば8×8画素)毎の画像情報の変化
の程度と対応して、量子化制御器6で決定されるべき量
子化スケールの設定のために用いられる情報を発生して
量子化制御器6に供給する。
【0026】また、前記の量子化制御器6には、前記し
た切換スイッチ18の可動接点vと固定接点aとを介し
て、量子化スケール設定器25から、各ピクチャの最初
のブロックと対応して供給される量子化スケールの設定
のために用いられる情報が供給される。また前記した量
子化スケール設定器25が量子化制御器6に量子化スケ
ールの設定のために用いられる情報を供給する期間以外
には、スイッチ26を介して符号量比較器24(具体的
な構成例が図6に示されている)から、量子化スケール
の設定のために用いられる情報と、バッファメモリ16
から量子化スケールの設定のための情報に用いられるメ
モリの充足度の情報とが供給される。
【0027】画像源(画像信号源)1から送出されて予
測減算器2に被減数信号として供給された画像信号は、
予測減算器2で予測器10の出力信号が減算されて直交
変換器3に与えられて、前記の直交変換器3から出力さ
れた直交変換係数が、量子化器4に供給されて、量子化
器4が量子化制御器6で設定された量子化スケールで量
子化を行なってデジタルデータとして、局部復号器8
と、符号化器7とに供給されること、及び前記の局部復
号器8では、逆量子化動作と逆直交変換動作とによっ
て、再生予測誤差信号を出力して、それが加算器9に供
給され、加算器9では予測器(画像間予測器)10から
出力されている予測信号(画像間予測信号)と、前記し
た再生予測誤差信号とを加算して予測器10に供給さ
れ、前記の予測器では、再生画像信号を1画像期間遅延
させて動き補償を行ない、予測信号(画像間予測信号)
を出力して、それを予測減算器2と加算器9とに供給す
ること、ならびに前記の量子化器4から出力したデジタ
ルデータが供給された符号化器7では、それに入力され
たデジタルデータを可変長符号化してデータ量が圧縮さ
れた状態の符号化データを出力して切換スィッチ11の
可変接点vに与えることなどは、既述した第1回目の符
号化動作の場合と同様である。
【0028】しかし、2回目の符号化動作における符号
化器7から出力された符号化データは、切換スィッチ1
1の可変接点vと固定接点aとを介して、バッファメモ
リ16と符号量比較器24とに供給されており、前記の
バッファメモリ16に供給された符号化データは、順次
にバッファメモリ16に書込まれる。そして、バッファ
メモリ16に記憶された符号化データは、目標転送レー
ト設定器15から供給される転送レート情報に基づいて
定められる読出し速度で読出されて、出力端子28に可
変転送レートの符号化データとして送出する。
【0029】また、前記した符号量比較器24では、後
述の目標符号量メモリ23から与えられる目標符号量の
データと、2回目の符号化動作における符号化器7から
出力された符号化データの符号量との比較を行なって、
量子化スケールの設定のために用いられる情報(量子化
スケール制御情報)を発生する。そして、前記の符号量
比較器24から出力された量子化スケール制御情報はス
イッチ26を介して量子化制御器6に供給される。
【0030】2回目の符号化動作時に、符号化の対象に
されている画像信号全体による符号化データの総符号量
を、目標にされている総符号量(例えば、符号化の対象
にされている画像信号全体による符号化データを記録す
るのに用いられる記録媒体の総記憶容量)未満の符号量
の内で、最も大きな符号量にさせることができるよう
に、量子化器4における量子化スケールを制御する量子
化制御器6には、既述のように、画像情報変化態様検出
器(アクティビィティ検出器)5と、量子化スケール設
定器25と、符号量比較器24と、バッファメモリ16
とから、量子化スケールの設定のために用いられる情報
(量子化スケール制御情報)が与えられている。
【0031】そして、前記した量子化スケール設定器2
5では、各ピクチャの最初のブロックについての量子化
スケールの設定のために用いられる情報(量子化スケー
ル制御情報)だけを発生し、また、符号量比較器24で
は、前記の量子化スケール設定器25で量子化スケール
制御情報を発生する期間以外におけるブロック毎の量子
化スケールの設定のために用いられる情報(量子化スケ
ール制御情報)を発生する。既述のようにして、2回目
の符号化動作時に符号化器7から出力された符号化デー
タ、すなわち可変長符号化してデータ量が圧縮された状
態の符号化データが供給される符号量比較器24では、
目標符号量メモリ23から供給される目標符号量のデー
タと、2回目の符号化動作における符号化器7から出力
された符号化データの符号量を、ブロック発生符号量検
出部21で検出して得たブロック毎の符号量との比較を
行なって、量子化スケールの設定のために用いられる情
報(量子化スケール制御情報)を出力する。
【0032】前記の符号量比較器24の具体的な構成例
を示している図6において、端子47には前記した符号
化器7から出力された符号化データが供給されており、
また端子49には目標符号量メモリ23からの順次のブ
ロック毎の目標符号量のデータが与えられており、その
ブロック毎の目標符号量のデータは減算器54に被減数
として与えられる。端子47に供給された符号化データ
は、ブロック符号量検出部21によって順次のブロック
毎の符号量が検出される。ブロック符号量検出部21に
よって検出された順次のブロック毎の符号量データは減
算器54に減数として与えられる。
【0033】減算器54では、目標符号量メモリ23か
ら端子49を介して供給されている順次のブロック毎の
目標符号量のデータを被減数とし、また前記の順次のブ
ロック毎の符号量のデータを減数とする演算を行なう。
そして、演算結果の出力を2つの比較器55,56に与
える。前記した2つの比較器55,56の内の一方の比
較器55には、しきい値設定部51に設定された正値の
しきい値が与えられており、また、他方の比較器56に
は、しきい値設定部50に設定された負値のしきい値が
与えられている。前記した減算器54からの出力が正、
すなわち、ブロック目標符号量の方がブロック発生符号
量よりも大きく、かつ、しきい値設定部51に設定され
ている正値のしきい値よりも大きな場合には、比較器5
5から比較出力が判定器57に与えられ、また、前記し
た減算器54からの出力が負、すなわち、ブロック目標
符号量の方がブロック発生符号量よりも小さく、かつ、
しきい値設定部50に設定された負値のしきい値よりも
大きな場合には、比較器56から比較出力が判定器57
に与えられる。
【0034】さらに、前記した減算器54からの出力
が、しきい値設定部51に設定されている正値のしきい
値と、しきい値設定部50に設定された負値のしきい値
との間の場合、すなわち、ブロック目標符号量と、ブロ
ック発生符号量との差が予め定められた差よりも大きく
ない場合には、前記した2つの比較器55,56の双方
の出力が零となる。前記した各比較器55,56からの
出力が供給された判定器57では、順次のブロック毎
に、量子化スケールの設定のために用いられる情報(量
子化スケール制御情報)を出力して、それを出力端子4
9及びスイッチ26を介して量子化制御器6に供給す
る。
【0035】前記のように判定器57から量子化制御器
6に供給される量子化スケール制御情報は、2つの比較
器55,56の双方の出力が零の場合には、量子化スケ
ールを変化させないものとされるのである。また、ブロ
ック目標符号量の方がブロック発生符号量よりも大きく
比較器55からの比較出力が判定器57に与えられた場
合には、量子化スケールを小さくさせるようなものとさ
れる。さらに、ブロック目標符号量の方がブロック発生
符号量よりも小さく比較器56からの比較出力が判定器
57に与えられた場合には、量子化スケールを大さくさ
せるようなものとされる。
【0036】2回目の符号化動作時に、符号化の対象に
されている画像信号全体による符号化データの総符号量
を、目標にされている総符号量未満の符号量の内で、最
も大きな符号量T2にさせることができるように、量子
化器4における量子化スケールを制御する量子化制御器
6に対して、各ピクチャの最初のブロックについての量
子化スケールの設定のために用いられる情報(量子化ス
ケール制御情報)だけ供給するように動作する量子化ス
ケール設定器25では、1回目の符号化動作時に切換ス
イッチ18の固定接点bと可動接点vとを介して、量子
化スケール制御情報を量子化制御器6に供給するのに用
いられた基準量子化スケール設定器17で発生している
基準量子化スケール情報と、目標符号量メモリ23から
供給されたピクチャ符号量情報とに基づいて、各ピクチ
ャの最初のブロックについての量子化スケールの設定の
ために用いられる情報(量子化スケール制御情報)を発
生して、それをスイッチ26を介して量子化制御器6に
供給する。前記のスイッチ26は前記の量子化スケール
制御情報の伝送時だけにオンの状態にさせる。
【0037】前記した目標符号量メモリ23に記憶させ
てある目標符号量のデータは、既述した仮符号量メモリ
20に記憶されていた符号化の対象にされている画像信
号における各ブロック毎の符号量のデータ、各ピクチャ
毎の符号量のデータ等を、それぞれ目標符号量への変換
器22によって、目標符号量のデータに変換することに
よって得られたものである。さて、1回目の符号化動作
時に、仮符号量カウンタ19の計数動作によって得た符
号量のデータ、すなわち、符号化の対象にされている画
像信号における各ブロック毎の符号量のデータ、各ピク
チャ毎の符号量のデータ、複数のピクチャよりなる画像
単位(GOP)毎の符号量のデータ等は、仮符号量メモ
リ20に記憶させてあるとともに、前記した複数の符号
量のデータの内の各GOP毎のデータは、符号量変換器
13にも与えられている。
【0038】そして、符号化の対象にされている画像信
号全体による符号化データの総符号量が、目標とされる
総符号量(例えば、符号化の対象にされている画像信号
全体による符号化データを記録するのに用いられる記録
媒体の総記憶容量)未満の符号量の内で、最も大きな符
号量にさせることができるような符号量変換特性の決定
のためにも用いられている。前記のように、1回目の符
号化動作によって得た順次のGOP(複数のピクチャよ
りなる画像単位)の仮符号量T1(i){ただし(i)
は順次のGOPの順番を示す数値1〜nを示す}のデー
タが符号量変換器13に供給されることにより、符号量
変換器13では符号化の対象にされている画像信号全体
による符号化データの総符号量が、目標にされている総
符号量(例えば、符号化の対象にされている画像信号全
体による符号化データを記録するのに用いられる記録媒
体の総記憶容量)未満の符号量の内で、最も大きな符号
量T2(目標符号量)にさせることができるような符号
量変換特性fgを決定し、前記の符号量変換器13か
ら、順次のGOP毎の目標符号量T2(i){ただし
(i)は順次のGOPの順番を示す数値1〜nを示す}
のデータを、符号量変換器13から目標転送レート設定
器15に供給し、それが目標転送レート設定器15で保
持されている。
【0039】前記のように、2回目の符号化動作が行な
われる段階における目標転送レート設定器15には、順
次のGOPの仮符号量T1(i){ただし(i)は順次
のGOPの順番を示す数値1〜nを示す}が目標符号量
T2(i){ただし(i)は順次のGOPの順番を示す
数値1〜nを示す}に変換された状態の符号量データが
保持されており、また、仮符号量メモリ20には順次の
ブロックの仮符号量のデータ、順次のピクチャの仮符号
量のデータ、順次のGOPの仮符号量のデータとが記憶
されており、さらに、前記の目標転送レート設定器15
に保持されている順次のGOPの目標符号量T2(i)
{ただし(i)は順次のGOPの順番を示す数値1〜n
を示す}は、1回目の符号化動作時に発生した仮符号量
T1(i)を符号量変換器13における適正な変換特性
fgで変換することによって得られたものである。
【0040】そして前記の適正な変換特性fgは、既述
した(1)式から、fg(x)=T2(i)/T1(i)
・x {ただし(i)は順次のGOPの順番を示す数値
1〜nを示す}として求められることから、符号化装置
における2回目の符号化動作時には、前記した目標転送
レート設定器15に保持されている順次のGOPの目標
符号量T2(i){ただし(i)は順次のGOPの順番
を示す数値1〜nを示す}のデータと、仮符号量メモリ
20に記憶されている順次のブロックの仮符号量のデー
タ、順次のピクチャの仮符号量のデータ、順次のGOP
の仮符号量のデータとを、線44〜46を介して目標符
号量の変換器22に供給する。前記した目標符号量の変
換器22においては、前記した仮符号量メモリ20に記
憶されている順次のブロックの符号量のデータや順次の
ピクチャの符号量のデータを、順次のブロックの目標符
号量のデータと、順次のピクチャの目標符号量のデータ
とに変換して、前記のデータの内の必要なものを量子化
スケール設定器25と符号量比較器24とに供給するよ
うにしている。
【0041】図5は、GOPの仮符号量がT1(i)で目
標符号量がT2(i)である場合に、目標符号量への変換
器22において、順次のピクチャの仮符号量と、順次の
ブロックの仮符号量とのそれぞれをT2/T1の関係にあ
る所定の目標符号量に変換させるようにした場合の目標
符号量への変換器22の動作状態を説明した図である。
図5中において、Tp1(0),Tp1(1)…は順次のピクチ
ャの仮符号量を示しており、またTp2(0),Tp2(1)…
は順次のピクチャの目標符号量を示している。この図に
例示されている例においては、仮符号量がT1(i)であ
るような1つのGOPを構成している複数のピクチャに
おける仮符号量がTp1(0),Tp1(1)…であった場合
に、前記の仮符号量T1(i)である1つのGOPが、目
標符号量T2(i)に符号量が変換されていた場合、すな
わちfg(x)=T2(i)/T1(i)・x によって示さ
れる変換特性で符号量の変換が行なわれていた場合に
は、前記したGOPを構成している順次のピクチャの仮
標符号量Tp1(0),Tp1(1)…も、fg(x)=T2
(i)/T1(i)・x によって示される変換特性によっ
て符号量の変換が行なわれて、順次のピクチャの目標符
号量がTp2(0),Tp2(1)…のようにされることを示し
ている。
【0042】また、図5中において、Tb1(0),Tb1
(1)…は順次のブロックの仮符号量を示しており、また
Tb2(0),Tb2(1)…は順次のブロックの目標符号量を
示している。この図に例示されている例においては、仮
符号量がTp1(i)であるような1つのピクチャを構成
している複数のブロックにおける仮符号量がTb1(0),
Tb1(1)…であった場合に、前記の仮符号量Tp1(i)
である1つのピクチャが、目標符号量Tp2(i)に符号
量が変換されていた場合、すなわちfg(x)=Tp2
(i)/Tp1(i)・x=T2(i)/T1(i)・x によっ
て示される変換特性で符号量の変換が行なわれていた場
合には、前記したピクチャを構成している順次のブロッ
クの仮標符号量Tb1(0),Tb1(1)…も、fg(x)=
Tp2(i)/Tp1(i)・x=T2(i)/T1(i)・xによ
って示される変換特性によって符号量の変換が行なわれ
て、順次のブロックの目標符号量がTb2(0),Tb2(1)
…のようにされることを示している。
【0043】図5に例示した目標符号量への変換器22
における変換特性は、上位階層のにおける仮符号量と目
標符号量との比を、下位階層についても適用して比例配
分するようにしているものであるが、既述した(3)
式、すなわち、 fg(x)=a・x^b …(3) (ただし、^はべ
き乗を示し、また、定数a,bはa>0, 0<b<
1) のように重み付けを行なって配分するようにし
てもよい。
【0044】
【発明が解決しようとする課題】これまでに図8を参照
して既述した既提案の総符号量制御を行なう動画像符号
化装置では、バッファメモリの充足度が画質に影響を与
えたり、また第2回目の符号化動作時には、発生符号化
量の計数を行なわないために、第2回目の符号化によっ
て得られるデータ量が、必らずしも予め定められた総符
号量以内になるとは限らないことも起こるということが
問題になり、それの解決策が求められた。
【0045】
【課題を解決するための手段】本発明は、少なくとも、
量子化スケールが制御される量子化器と、符号化器とを
含んで構成されている高能率符号化手段と、高能率符号
化の対象にされている画像信号の仮符号量を得るため
に、前記した高能率符号化手段による第1回目の高能率
符号化動作を行なって、高能率符号化された画像信号に
おける複数のピクチャよりなる画像単位毎の仮符号量を
求める手段と、前記した複数のピクチャよりなる画像単
位毎の仮符号量の総計として求められる総仮符号量が、
高能率符号化後の画像信号全体の総符号量として、予め
定められている目標総符号量未満の符号量の内で、最も
大きな符号量として得られる前記した複数のピクチャよ
りなる画像単位毎の目標符号量となるように、前記した
複数のピクチャよりなる画像単位毎の仮符号量を変換す
る手段と、前記した複数のピクチャよりなる画像単位毎
に、前記した複数のピクチャよりなる画像単位を構成し
ている画像情報毎の目標符号量を、その画像情報が属す
る画像単位の目標符号量に基づいて設定する手段と、前
記した複数のピクチャよりなる画像単位毎の目標符号量
と、前記した複数のピクチャよりなる画像単位毎の目標
符号量とが設定された後に、前記した各仮符号量を求め
るのに使用された画像信号と同一の画像信号を高能率符
号化手段に与えて高能率符号化手段による第2回目の高
能率符号化動作を行ない、前記の第2回目の高能率符号
化動作によって得た、複数のピクチャよりなる画像単位
毎の符号量と、前記した複数のピクチャよりなる画像単
位毎の目標符号量との差を、その後に高能率符号化動作
が行なわれるべき画像信号についての高能率符号化動作
時の複数のピクチャよりなる画像単位毎の目標符号量と
して再設定する手段と、画像信号に対する高能率符号化
後の総符号量が、画像信号全体の総符号量として予め定
められている目標総符号量となるように、第2回目の高
能率符号化動作が行なわれる際に、前記した複数のピク
チャよりなる画像単位毎に再設定された目標符号量に基
づいて量子化スケールを可変制御して発生符号量を制御
する手段とを備えてなる総符号量制御を行なう動画像符
号化装置、及び量子化スケールが制御される量子化器
と、符号化器とを含んで構成されている高能率符号化手
段と、高能率符号化の対象にされている画像信号の仮符
号量を得るために、前記した高能率符号化手段による第
1回目の高能率符号化動作を行なって、高能率符号化さ
れた画像信号におけるピクチャ毎の発生符号量を求め、
それをピクチャ毎の仮符号量とする手段と、前記の各ピ
クチャ毎の仮符号量に基づいて、複数のピクチャよりな
る画像単位毎の仮符号量を求める手段と、前記した複数
のピクチャよりなる画像単位毎の仮符号量の総計として
求められる総仮符号量が、高能率符号化後の画像信号全
体の総符号量として、予め定められている目標総符号量
未満の符号量の内で、最も大きな符号量として得られる
前記した複数のピクチャよりなる画像単位毎の目標符号
量となるように、前記した複数のピクチャよりなる画像
単位毎の仮符号量を変換する手段と、前記した複数のピ
クチャよりなる画像単位毎に、前記した各画像単位を構
成しているピクチャ毎の目標符号量を、そのピクチャが
属する画像単位の目標符号量に基づいて設定する手段
と、前記した複数のピクチャよりなる画像単位毎の目標
符号量と、各画像単位を構成しているピクチャ毎の目標
符号量とが設定された後に、前記した各仮符号量を求め
るのに使用された画像信号と同一の画像信号を高能率符
号化手段に与えて高能率符号化手段による第2回目の高
能率符号化動作を行ない、前記の第2回目の高能率符号
化動作によって得た、複数のピクチャよりなる画像単位
毎の符号量と、前記した複数のピクチャよりなる画像単
位毎の目標符号量との差を、その後に高能率符号化動作
が行なわれるべき画像信号についての高能率符号化動作
時の目標符号量として再設定する手段と、前記した高能
率符号化手段による第2回目の高能率符号化動作によっ
て得た、複数のピクチャよりなる画像単位を構成してい
るピクチャ毎の符号量と、前記した複数のピクチャより
なる画像単位を構成しているピクチャ毎の目標符号量と
の差を、その後に高能率符号化動作が行なわれるべき画
像信号についての高能率符号化動作時の目標符号量とし
て再設定する手段と、画像信号に対する高能率符号化後
の総符号量が、画像信号全体の総符号量として予め定め
られている目標総符号量となるように第2回目の高能率
符号化動作が行なわれる際に、前記した各ピクチャ毎の
再設定された目標符号量に基づいて量子化スケールを可
変制御して発生符号量を制御する手段とを備えてなる総
符号量制御を行なう動画像符号化装置、ならびに少なく
とも、量子化スケールが制御される量子化器と、符号化
器とを含んで構成されている高能率符号化手段と、高能
率符号化の対象にされている画像信号の仮符号量を得る
ために、前記した高能率符号化手段による第1回目の高
能率符号化動作を行なって、高能率符号化された画像信
号におけるブロック毎の発生符号量を求めて、それをブ
ロック毎の仮符号量とする手段と、前記の各ブロック毎
の仮符号量に基づいて、複数のピクチャよりなる画像単
位毎の仮符号量を求める手段と、前記した複数のピクチ
ャよりなる画像単位毎の仮符号量の総計として求められ
る総仮符号量が、高能率符号化後の画像信号全体の総符
号量として、予め定められている目標総符号量未満の符
号量の内で、最も大きな符号量として得られる前記した
複数のピクチャよりなる画像単位毎の目標符号量となる
ように、前記した複数のピクチャよりなる画像単位毎の
仮符号量を変換する手段と、前記した複数のピクチャよ
りなる画像単位毎に、前記した各画像単位を構成してい
るピクチャ毎の目標符号量を、そのピクチャが属する画
像単位の目標符号量に基づいて設定する手段と、前記し
た各ピクチャを構成しているブロック毎の目標符号量
を、そのブロックが属する画像単位の目標符号量に基づ
いて設定する手段と、前記した複数のピクチャよりなる
画像単位毎の目標符号量と、各画像単位を構成している
ピクチャ毎の目標符号量と、各ピクチャを構成している
ブロック毎の目標符号量とが設定された後に、前記した
各仮符号量を求めるのに使用された画像信号と同一の画
像信号を高能率符号化手段に与えて高能率符号化手段に
よる第2回目の高能率符号化動作を行ない、前記の第2
回目の高能率符号化動作によって得た、複数のピクチャ
よりなる画像単位毎の符号量と、前記した複数のピクチ
ャよりなる画像単位毎の目標符号量との差を、その後に
高能率符号化動作が行なわれるべき画像信号についての
高能率符号化動作時の複数のピクチャよりなる画像単位
毎の目標符号量として再設定する手段と、前記した高能
率符号化手段による第2回目の高能率符号化動作によっ
て得た、複数のピクチャよりなる画像単位を構成してい
るピクチャ毎の符号量と、前記した複数のピクチャより
なる画像単位を構成しているピクチャ毎の目標符号量と
の差を、その後に高能率符号化動作が行なわれるべき画
像信号についての高能率符号化動作時のピクチャ毎の目
標符号量として再設定する手段と、前記した高能率符号
化手段による第2回目の高能率符号化動作によって得
た、ピクチャを構成しているブロック毎の符号量と、前
記したピクチャを構成しているブロック毎の目標符号量
との差を、その後に高能率符号化動作が行なわれるべき
画像信号についての高能率符号化動作時のブロック毎の
目標符号量として再設定する手段と、画像信号に対する
高能率符号化後の総符号量が、画像信号全体の総符号量
として予め定められている目標総符号量となるように第
2回目の高能率符号化動作が行なわれる際に、前記した
各ブロック毎の再設定された目標符号量に基づいて量子
化スケールを可変制御して発生符号量を制御する手段と
を備えてなる総符号量制御を行なう動画像符号化装置、
及び第1回目の高能率符号化手段によって高能率符号化
された画像信号についての仮符号量に基づいて得た、複
数のピクチャよりなる画像単位毎の目標符号量と、各画
像単位を構成しているピクチャ毎の目標符号量と、各画
像単位を構成しているブロック毎の目標符号量とが、そ
れぞれ設定された後に、前記した各仮符号量を求めるの
に使用された画像信号と同一の画像信号を高能率符号化
手段に与えて、画像信号に対する高能率符号化後の総符
号量が、画像信号全体の総符号量として予め定められて
いる目標総符号量となるように第2回目の高能率符号化
動作を行なう際に、複数のピクチャよりなる画像単位毎
に再設定された目標符号量と、ピクチャ毎に再設定され
た目標符号量と、ブロック毎に再設定された目標符号量
と、ピクチャ毎に再設定された目標符号量とにおける何
れかの目標符号量に基づいて、量子化スケールを可変制
御して発生符号量を制御するときに、量子化スケールの
初期設定を再設定された目標符号量に基づいて行なうよ
うにした総符号量制御を行なう動画像符号化装置、なら
びに第1回目の高能率符号化手段によって高能率符号化
された画像信号についての仮符号量に基づいて得た、複
数のピクチャよりなる画像単位毎の目標符号量と、各画
像単位を構成しているピクチャ毎の目標符号量と、各画
像単位を構成しているブロック毎の目標符号量とが、そ
れぞれ設定された後に、前記した各仮符号量を求めるの
に使用された画像信号と同一の画像信号を高能率符号化
手段に与えて、画像信号に対する高能率符号化後の総符
号量が、画像信号全体の総符号量として予め定められて
いる目標総符号量となるように第2回目の高能率符号化
動作を行なう際に、複数のピクチャよりなる画像単位毎
に再設定された目標符号量と、ピクチャ毎に再設定され
た目標符号量と、ブロック毎に再設定された目標符号量
と、ピクチャ毎に再設定された目標符号量とにおける何
れかの目標符号量に基づいて、量子化スケールを可変制
御して発生符号量を制御するときに、量子化スケールの
初期設定を再設定された目標符号量に基づいて行なうよ
うにした総符号量制御を行なう動画像符号化装置におけ
る前記した各目標符号量の再設定が、前記した動画像符
号化装置で高能率符号化された画像信号の復号動作を行
なう復号装置における復号化バッファメモリに蓄積量を
考慮して、前記の復号化バッファメモリにオーバーフロ
ーやアンダーフローを生じさせないように行なわれるよ
うにしてなる手段を備えてなる総符号量制御を行なう動
画像符号化装置を提供するものである。
【0046】
【作用】高能率符号化の対象にされている画像信号に対
して、高能率符号化手段により第1回目の高能率符号化
動作を行なって得た高能率符号化された画像信号を仮符
号量カウンタで計数して、高能率符号化された画像信号
におけるブロック毎の発生符号量、ピクチャ毎の発生符
号量、複数のピクチャよりなる画像単位毎の発生符号量
を求める。前記の各発生符号量をブロック毎の仮符号
量、ピクチャ毎の仮符号量、複数のピクチャよりなる画
像単位毎の仮符号量として仮符号量メモリに記憶させ
る。前記した複数のピクチャよりなる画像単位毎の仮符
号量の総計として求められる総仮符号量が、高能率符号
化後の画像信号全体の総符号量として、予め定められて
いる目標総符号量未満の符号量の内で、最も大きな符号
量として得られる前記した複数のピクチャよりなる画像
単位毎の目標符号量となるように、前記した複数のピク
チャよりなる画像単位毎の仮符号量を変換する。
【0047】前記の複数のピクチャよりなる画像単位毎
に、前記した各画像単位を構成しているピクチャ毎の目
標符号量を、そのピクチャが属する画像単位の目標符号
量に基づいて設定する。また前記した各ピクチャを構成
しているブロック毎の目標符号量を、そのブロックが属
する画像単位の目標符号量に基づいて設定する。次に第
1回目の高能率符号化動作において、高能率符号化の対
象にされた画像信号に対して、高能率符号化手段により
第2回目の高能率符号化動作を行なう。
【0048】第2回目の高能率符号化動作によって得
た、複数のピクチャよりなる画像単位毎の符号量と、前
記した複数のピクチャよりなる画像単位毎の目標符号量
との差を、その後に高能率符号化動作が行なわれるべき
画像信号についての高能率符号化動作時の複数のピクチ
ャよりなる画像単位毎の目標符号量として再設定し、ま
た、ピクチャ毎の符号量と前記した複数のピクチャより
なる画像単位を構成しているピクチャ毎の目標符号量と
の差を、その後に高能率符号化動作が行なわれるべき画
像信号についての高能率符号化動作時のピクチャ毎の目
標符号量として再設定し、さらにブロック毎の符号量と
前記したピクチャを構成しているブロック毎の目標符号
量との差を、その後に高能率符号化動作が行なわれるべ
き画像信号についての高能率符号化動作時のブロック毎
の目標符号量として再設定する。
【0049】画像信号に対する高能率符号化後の総符号
量が、画像信号全体の総符号量として予め定められてい
る目標総符号量となるように第2回目の高能率符号化動
作を行なう際に、複数のピクチャよりなる画像単位毎に
再設定された目標符号量と、ピクチャ毎に再設定された
目標符号量と、ブロック毎に再設定された目標符号量
と、ピクチャ毎に再設定された目標符号量とにおける何
れかの目標符号量に基づいて、量子化スケールを可変制
御して発生符号量を制御するときに、量子化スケールの
初期設定を再設定された目標符号量に基づいて行なう。
そして、画像信号に対する高能率符号化後の総符号量
が、画像信号全体の総符号量として予め定められている
目標総符号量となるように、前記した再設定された所定
の目標符号量に基づいて量子化スケールを可変制御し、
第2回目の高能率符号化動作における発生符号量を制御
する。総符号量制御を行なう動画像符号化装置における
前記した各目標符号量の再設定は、前記した動画像符号
化装置で高能率符号化された画像信号の復号動作を行な
う復号装置における復号化バッファメモリに蓄積量を考
慮して行なわれることにより、前記の復号化バッファメ
モリにオーバーフローやアンダーフローを生じさせない
ように行なわれる。
【0050】
【実施例】以下、添付図面を参照して本発明の総符号量
制御を行なう動画像符号化装置の具体的な内容を詳細に
説明する。図1は本発明の総符号量制御を行なう動画像
符号化装置である。図1に示す動画像符号化装置におい
て、図8について既述した総符号量制御を行なう動画像
符号化装置における構成部分と対応する構成部分には、
図8中で使用した図面符号と同一の図面符号が使用され
ている。図1において1は画像源(画像信号源)であ
り、また2は予測減算器、3は直交変換器、4は量子化
器、5は画像情報変化態様検出器、7は符号化器、8は
局部復号器、9は加算器、10は予測器である。また、
11,18は切換スイッチ、13は符号量変換器、15
は目標転送レート設定器、16はバッファメモリ、17
は基準量子化スケール設定器、25は量子化スケール設
定器、19は仮符号量カウンタ(具体的な構成例が図2
中に示されている)、20は仮符号量メモリ(具体的な構
成例が図2中に示されている)、22は目標符号量への
変換器、23は目標符号量メモリ、24は符号量比較
器、80は出力バッファ制御器、81は復号化器バッフ
ァシミュレータ、82は累積誤差カウンタ、83は目標
符号量再設定器、84は累積誤差補正器、28は出力端
子である。
【0051】図1に示す本発明の総符号量制御を行なう
動画像符号化装置において、画像源1から供給される高
能率符号化の対象にされている画像信号に対して行なわ
れる第1回目の符号化動作は、図8を参照して既述した
総符号量制御を行なう動画像符号化装置において、画像
源1から供給される高能率符号化の対象にされている画
像信号に対して行なわれる第1回目の符号化動作と同じ
であるから、その詳細な記述は省略し、その概略につい
て説明する。図1に示す総符号量制御を行なう動画像符
号化装置において、1回目の符号化動作は、2つの切換
スイッチ11,18の可動接点vを、固定接点b側に切
換えた状態にするとともに、スイッチ26をオフの状態
にした後に、画像源1からの画像信号に対する1回目の
符号化動作を開始する。
【0052】符号化動作の開始によって、画像源(画像
信号源)1から送出された画像信号は、画像情報変化態
様検出器(アクティビィティ検出器)5と予測減算器2
とに供給される。前記の画像情報変化態様検出器5で
は、例えば画素値の分散、予測誤差値の絶対値和、直交
変換係数の絶対値和などを用いて、画像情報の変化の程
度を検出し、画像信号から切出された順次のブロック
(例えば8×8画素)毎の画像情報の変化の程度と対応
して、量子化制御器6で決定されるべき量子化スケール
の設定のために用いられる情報を発生して、それを量子
化制御器6に供給する。また、前記の量子化制御器6に
は、基準量子化スケール設定器17から切換スイッチ1
8の固定接点bと可動接点vとを介して、予め定められ
た量子化スケールを設定させうるような情報が供給され
ているとともに、前記の画像情報変化態様検出器5から
量子化スケールの設定のために用いられる情報とが供給
されている。それで、量子化制御器6では、画像内容の
変化が少ない画像による画像信号が量子化の対象にされ
ている場合には、量子化器4の量子化スケールを小さな
値に設定し、また、画像内容の変化の激しい画像による
画像信号が量子化の対象にされている場合には、量子化
器4の量子化スケールを大きな値に設定する。
【0053】画像源(画像信号源)1から送出されて予
測減算器2に被減数信号として供給された画像信号は、
予測減算器2で予測器10の出力信号が減算されて直交
変換器3に与えられる。そして、前記の直交変換器3か
ら出力された直交変換係数は量子化器4に供給される。
直交変換器3から出力された直交変換係数は、前記した
量子化制御器6によって設定された量子化スケールで量
子化されされたデジタルデータとして局部復号器8と、
符号化器7とに供給される。前記の局部復号器8では、
逆量子化動作と逆直交変換動作とを行なって再生予測誤
差信号を出力し、それを加算器9に供給する。また、加
算器9では予測器(画像間予測器)10から出力されて
いる予測信号(画像間予測信号)と、前記した再生予測
誤差信号とを加算して予測器10に供給する。前記の予
測器10では、再生画像信号を1画像期間遅延させて動
き補償を行ない、予測信号(画像間予測信号)を出力し
て、それを予測減算器2と加算器9とに供給する。
【0054】前記の量子化器4から出力したデジタルデ
ータが供給された符号化器7では、それに入力されたデ
ジタルデータを、可変長符号化してデータ量が圧縮され
た状態の符号化データを出力して切換スィッチ11の可
変接点vに与える。ところで画像源1からの画像信号に
対する1回目の符号化動作を行なっている状態における
切換スイッチ11の可変接点vは、既述のように固定接
点b側に接触しているから、符号化器7から出力された
符号化データは、切換スィッチ11の可変接点vと固定
接点bとを介して仮符号量カウンタ19(図2参照)に
供給される。
【0055】図2に示す仮符号量カウンタ19の端子2
9には、符号化器7から切換スイッチ11の可動接点v
と固定接点bとを介して、順次のブロックの符号化デー
タが供給される。図2において、30はブロック符号量
カウンタ、31はピクチャ符号量カウンタ、32はGO
P(複数のピクチャよりなる画像単位)符号量カウンタ
であり、また、33は各1ブロック毎の終端の検出部、
34は各1ピクチャ毎の終端の検出部、35は各1GO
P毎の終端の検出部である。
【0056】前記の仮符号量カウンタ19の入力端子2
9に供給された符号化データは、ブロック符号量カウン
タ30に与えられる。ブロック符号量カウンタ30に供
給された符号化データは、ブロック符号量カウンタ30
と各1ブロック毎の終端の検出部33との動作によっ
て、順次の各ブロック毎の符号量を計数して順次の各ブ
ロック毎の符号量のデータを発生する。前記の順次の各
ブロック毎の符号量のデータは、伝送線41を介して仮
符号量メモリ20におけるブロック仮符号量メモリ36
に与えられ、それに順次に記憶される。次いで前記のブ
ロック仮符号量メモリ36に記憶された各ブロック毎の
符号量のデータは、ブロック仮符号量メモリ36から読
出され、線43を介して前記の仮符号量カウンタ19に
おけるピクチャ符号量カウンタ31に与えられる。
【0057】ピクチャ符号量カウンタ31に供給された
符号化データは、ピクチャ符号量カウンタ31と各1ピ
クチャ毎の終端の検出部34との動作によって、順次の
各ピクチャ毎の符号量を計数して順次の各ピクチャ毎の
符号量のデータを発生する。前記の順次の各ピクチャ毎
の符号量のデータは、伝送線40を介して仮符号量メモ
リ20におけるピクチャ仮符号量メモリ37に与えら
れ、それに順次に記憶される。前記のピクチャ仮符号量
メモリ37に記憶された各ピクチャ毎の符号量のデータ
は、ピクチャ仮符号量メモリ37にから読出され、線4
2を介して前記の仮符号量符号量カウンタ19における
GOP符号量カウンタ32に与えられる。
【0058】GOP符号量カウンタ32に供給された符
号化データは、GOP符号量カウンタ32と各1GOP
毎の終端の検出部35との動作によって、順次の各GO
P毎の符号量を計数して順次の各GOP毎の符号量のデ
ータを発生する。前記の順次の各GOP毎の符号量のデ
ータは、伝送線39を介して仮符号量メモリ20におけ
るGOP仮符号量メモリ38に与えられ、それに順次に
記憶される。前記のようにして仮符号量メモリ20にお
けるブロック仮符号量メモリ36と、ピクチャ仮符号量
メモリ37と、GOP仮符号量メモリ38とに、それぞ
れ記憶された符号量のデータは、画像源1からの画像信
号に対する第2回目の符号化動作時に、前記した仮符号
量メモリ20における各メモり、すなわちブロック仮符
号量メモリ36と、ピクチャ仮符号量メモリ37と、G
OP仮符号量メモリ38から読出されて、後述のように
高能率符号化のために使用されるのである。
【0059】前記した図2中に例示してある仮符号量カ
ウンタ19と仮符号量メモリ20との構成例では、仮符
号量カウンタ19においてブロック、ピクチャ、GOP
の3段階の符号量について個別に計数し、仮符号量メモ
リ20ではブロック、ピクチャ、GOPの3段階の階層
の符号量を個別に記憶させるような構成態様のものを示
しているが、前記の構成部分の構成として、例えば、I
SO11172−2(動画像国際標準化規格)のよう
に、ブロック、マクロブロック、スライス、ピクチャ、
GOPの5段階の階層に分けて、5段階の階層のそれぞ
れの階層の符号量を個別に計数して、それを個別に記憶
させるようにしてもよい。また、一般的な表現では、N
段階の階層に分けてN段階の階層のそれぞれの階層の符
号量を個別に計数して、それを個別に記憶させるように
しても良いのである。
【0060】さて画像源1からの画像信号に対する第1
回目の符号化動作時に、前記した仮符号量カウンタ19
から線39を介して出力された順次の各GOPの仮符号
量のデータは符号量変換器13に供給されて、符号量変
換器13に設定されている変換特性に従って目標符号量
のデータに変換される。前記の符号量変換器13は、図
9に例示されているように、例えば、入力端子58に供
給された符号化データが与えられる複数の変換器61〜
64と、前記の各変換器61〜64と個別に対応して設
けられている累積加算器65〜68と、前記の累積加算
器65〜68と個別に対応して設けられている比較器6
9〜72と、前記の各比較器69〜72に対して共通に
総目標符号量のデータを与える総目標符号量設定部60
と、前記した各比較器69〜72からの出力に基づいて
最適な変換特性を判定する判定器73とを備えて構成さ
れているものが使用できる。そして、前記の判定器73
からの判定結果の信号は出力端子59に出力される。
【0061】画像源1からの画像信号に対して行なわれ
た第1回目の符号化動作時に、仮符号量カウンタ19か
ら線39を介して前記した符号量変換器13に供給され
る順次のGOP(複数のピクチャよりなる画像単位)の
仮符号量をT1(i){ただし(i)は順次のGOPの
順番を示す数値1〜nを示す}とし、また、前記の仮符
号量T1iを符号量変換器13における変換特性fgに
よって変換することによって得ようとする目標符号量を
T2(i){ただし(i)は順次のGOPの順番を示す
数値1〜nを示す}とすると、前記したT2(i)とf
gとT1(i)との関係は、次式によって示される。 T2(i)=fg{T1(i)}…(1)
【0062】前記した変換特性fgとしては、仮符号量
の総和S1と、2回目の符号化動作時に目標とすべき目
標符号量S2との比によって、 fg(x)=k・S1/S2・x …(2) (ただし、
定数kはk>0) 前記の(2)式で示されるような変換特性(例えば図3
に例示されているような特性)とされてもよいし、ある
いは、発生符号量が少ないGOPである程、画質の劣化
が目立つので、発生符号量が少ない場合に多い符号量を
配分するような、例えば、次の(3)式で例示されるよ
うな変換特性とされてもよい。 fg(x)=a・x^b …(3) (ただし、^はべ
き乗を示し、また、定数a,bはa>0, 0<b<
1) 前記した目標符号量T2(i)は、符号化データを記録
する記録媒体の記憶容量、あるいは復号装置における制
限により上限値が定められる。
【0063】図9に例示してある符号量変換器13中の
複数の変換器61〜64は、既述のように、それらに入
力された仮符号量に対して、それぞれ異なった目標符号
量が出力できるように、それぞれ異なった変換特性fg
1,fg2,fg3…(図3に例示してある変換特性を参
照)を有するものとして構成されている。また、総目標
符号量設定部60に設定される総目標符号量としては、
例えば、高能率符号化の対象にされている画像信号を符
号化して得た符号化データを記録するのに用いられる記
録媒体の総記憶容量が用いられる。すなわち、前記した
符号量変換器13における変換器61と累積加算器65
と比較器69とによる回路配置と、変換器62と累積加
算器66と比較器70とによる回路配置と、変換器63
と累積加算器67と比較器71とによる回路配置と、変
換器64と累積加算器68と比較器72とによる回路配
置とからなるn組の回路配置には、入力端子58から同
一の画像信号による同一の符号化データが供給されてい
る。
【0064】前記の符号化データはn組の回路配置中に
設けられていて、それぞれ異なる変換特性を備えている
変換器61〜64で変換された変換符号化データを、そ
れぞれ個別の累積加算器65〜68によって、それぞれ
画像信号の全体と対応して累積して得たn個の全変換符
号化データが、前記した総目標符号量設定部60に設定
された総目標符号量と比較される。それにより前記のn
個の比較器69〜72からのn個の出力は、前記した総
目標符号量設定部60に設定された同一の総目標符号量
との間での、それぞれ異なる比較結果を有しているもの
となる。判定部73では、前記したn個の回路配置中に
個別に設けられている比較器69〜72からのn個の出
力において、前記した総目標符号量設定部60に設定さ
れた同一の総目標符号量未満の符号量の内で、最も大き
な符号量を生じさせた回路配置における変換特性を見付
けて、それに対応して定まる転送レート情報を目標転送
レート設定器15に与える。
【0065】次に、図1に示す本発明の総符号量制御を
行なう動画像符号化装置において、画像源1から供給さ
れる高能率符号化の対象にされている画像信号に対して
本格的な符号化動作を行なう場合には、2つの切換スイ
ッチ11,18の可動接点vを、固定接点a側に切換え
た状態にするとともに、スイッチ26をオンの状態にす
る。そして、既述した1回目の符号化動作を行なった際
に用いられた画像信号と同一の画像信号を、画像源1か
ら出力させて2回目の符号化動作を開始させる。 2回
目の符号化動作において、画像源(画像信号源)1から
送出された画像信号は、既述した1回目の符号化動作の
場合と同様に、画像情報変化態様検出器5と予測減算器
2とに供給される。前記の画像情報変化態様検出器5で
は、画像信号から切出された順次のブロック(例えば8
×8画素)毎の画像情報の変化の程度と対応して、量子
化制御器6で決定されるべき量子化スケールの設定のた
めに用いられる情報を発生して量子化制御器6に供給す
る。
【0066】また、前記の量子化制御器6には、前記し
た切換スイッチ18の可動接点vと固定接点aとを介し
て、量子化スケール設定器25から、各ピクチャの最初
のブロックと対応して供給される量子化スケールの設定
のために用いられる情報が供給される。また前記した量
子化スケール設定器25が量子化制御器6に量子化スケ
ールの設定のために用いられる情報を供給する期間以外
には、スイッチ26を介して符号量比較器24(具体的
な構成例が図6に示されている)から、量子化スケール
の設定のために用いられる量子化スケール制御情報が供
給される。
【0067】画像源(画像信号源)1から送出されて予
測減算器2に被減数信号として供給された画像信号は、
予測減算器2で予測器10の出力信号が減算されて直交
変換器3に与えられて、前記の直交変換器3から出力さ
れた直交変換係数が、量子化器4に供給されて、量子化
器4が量子化制御器6で設定された量子化スケールで量
子化を行なってデジタルデータとして、局部復号器8
と、符号化器7とに供給されること、及び前記の局部復
号器8では、逆量子化動作と逆直交変換動作とによっ
て、再生予測誤差信号を出力して、それが加算器9に供
給される。
【0068】そして加算器9では予測器(画像間予測
器)10から出力されている予測信号(画像間予測信
号)と、前記した再生予測誤差信号とを加算して予測器
10に供給され、前記の予測器では、再生画像信号を1
画像期間遅延させて動き補償を行ない、予測信号(画像
間予測信号)を出力して、それを予測減算器2と加算器
9とに供給すること、ならびに前記の量子化器4から出
力したデジタルデータが供給された符号化器7では、そ
れに入力されたデジタルデータを可変長符号化してデー
タ量が圧縮された状態の符号化データを出力して切換ス
ィッチ11の可変接点vに与えることなどは、既述した
第1回目の符号化動作の場合と同様である。
【0069】しかし、2回目の符号化動作における符号
化器7から出力された符号化データは、切換スィッチ1
1の可変接点vと固定接点aとを介して、バッファメモ
リ16と符号量比較器24と減算器85とに供給され
る。前記の減算器85には後述のように目標符号量メモ
リ23から、所定の目標符号量の情報が供給される。切
換スィッチ11の可変接点vと固定接点aとを介して、
バッファメモリ16に供給された符号化データは、出力
バッファ制御器80の制御の下に、バッファ16に順次
に書込まれる。そして前記の出力バッファ制御器80
は、バッファ16に記憶されたデータの記憶量の程度
(バッファの充足度)の情報(例えばバッファメモリの書
込みアドレスと読出しアドレスとのアドレス差の情報)
を取り込み、前記の情報に基づき、バッファメモリ16
から読出されて出力端子28から送出されるデータの単
位時間毎のデータ転送レート情報をバッファメモリ16
に供給する。
【0070】それで、前記のバッファメモリ16に記憶
された符号化データは、前記した出力バッファ制御器8
0から与えられたデータ転送レート情報に従った転送レ
ートの読出し速度で読出されて、出力端子28に可変転
送レートの符号化データとして送出される。なお、前記
の出力バッファ制御器80では、バッファメモリ16の
充足度が零になったときは、バッファメモリ16からの
符号化データの送出を停止させる。バッファメモリ16
から読出されるデータ転送レートの最大値は、前記した
出力端子28に後続されて使用される復号化装置で許容
される最高の転送レートに設定される。前記の出力バッ
ファ制御器80は、バッファメモリ16から与えられた
充足度情報に対して、例えば図12に例示したバッファ
メモリの充足度と量子化スケールとの関係に示すような
出力すべきデータ量をバッファメモリ16に指示する。
【0071】また、前記した符号量比較器24として
は、図6を参照して具体的な構成例を既述したような構
成態様のものを使用できる。そして符号量比較器24
は、図6中の入力端子49に対して後述の累積誤差補正
器84から与えられる目標符号量のデータと、図6中の
入力端子47に対して2回目の符号化動作時に符号化器
7から供給された符号化データ、すなわち可変長符号化
してデータ量が圧縮された状態の符号化データの符号量
を、ブロック発生符号量検出部21で検出して得たブロ
ック毎の符号量との比較を行なって、量子化スケールの
設定のために用いられる情報(量子化スケール制御情
報)を発生する。前記の符号量比較器24から出力され
た量子化スケール制御情報はスイッチ26を介して量子
化制御器6に供給される。図6に示す符号量比較器24
の具体的な説明は既述したところであるから、ここでの
説明は省略する。
【0072】2回目の符号化動作時に前記した量子化ス
ケール設定器25では、符号化の対象にされている画像
信号全体による符号化データの総符号量を、目標にされ
ている総符号量(例えば、符号化の対象にされている画
像信号全体による符号化データを記録するのに用いられ
る記録媒体の総記憶容量)未満の符号量の内で、最も大
きな符号量T2にさせることができるように、量子化器
4の量子化スケールを制御する量子化制御器6に対し
て、各ピクチャの最初のブロックについての量子化スケ
ールの設定のために用いられる情報(量子化スケール制
御情報)だけを供給できるような動作を行なう。
【0073】量子化制御情報の伝送時にオンの状態にさ
れるスイッチ26を介して、前記の量子化スケール設定
器25から量子化制御器6に供給される、前記の各ピク
チャの最初のブロックについての量子化スケールの設定
のために用いられる量子化スケール制御情報は、1回目
の符号化動作時に切換スイッチ18の固定接点bと可動
接点vとを介して、基準量子化スケール設定器17から
量子化制御器6に供給するのに用いられた基準量子化ス
ケール情報と、後述の累積誤差補正器84から供給され
るピクチャ符号量情報とに基づいて、量子化スケール設
定器25において各ピクチャの最初のブロックについて
発生されたものである。
【0074】前記した目標符号量メモリ23に記憶させ
てある目標符号量のデータは、既述した仮符号量メモリ
20に記憶されていた符号化の対象にされている画像信
号における各ブロック毎の符号量のデータ、各ピクチャ
毎の符号量のデータ等を、それぞれ目標符号量への変換
器22によって、目標符号量のデータに変換することに
よって得られたものである。さて、1回目の符号化動作
時に、仮符号量カウンタ19の計数動作によって得た符
号量のデータ、すなわち、符号化の対象にされている画
像信号における各ブロック毎の符号量のデータ、各ピク
チャ毎の符号量のデータ、複数のピクチャよりなる画像
単位(GOP)毎の符号量のデータ等は、仮符号量メモ
リ20に記憶させてあるとともに、前記した複数の符号
量のデータの内の各GOP毎のデータは、符号量変換器
13にも与えられている。
【0075】そして、符号化の対象にされている画像信
号全体による符号化データの総符号量が、目標とされる
総符号量(例えば、符号化の対象にされている画像信号
全体による符号化データを記録するのに用いられる記録
媒体の総記憶容量)未満の符号量の内で、最も大きな符
号量にさせることができるような符号量変換特性の決定
のためにも用いられている。前記のように、1回目の符
号化動作によって得た順次のGOP(複数のピクチャよ
りなる画像単位)の仮符号量T1(i){ただし(i)
は順次のGOPの順番を示す数値1〜nを示す}のデー
タが符号量変換器13に供給されることにより、符号量
変換器13では符号化の対象にされている画像信号全体
による符号化データの総符号量が、目標にされている総
符号量(例えば、符号化の対象にされている画像信号全
体による符号化データを記録するのに用いられる記録媒
体の総記憶容量)未満の符号量の内で、最も大きな符号
量T2(目標符号量)にさせることができるような符号
量変換特性fgを決定し、前記の符号量変換器13か
ら、順次のGOP毎の目標符号量T2i(iは順次のGO
Pの順番を示す数値1〜nを示す)のデータを、符号量
変換器13から目標転送レート設定器15に供給し、そ
れが目標転送レート設定器15で保持されている。
【0076】前記のように、2回目の符号化動作が行な
われる段階における目標転送レート設定器15には、順
次のGOPの仮符号量T1(i){ただし(i)は順次
のGOPの順番を示す数値1〜nを示す}が目標符号量
T2(i){ただし(i)は順次のGOPの順番を示す
数値1〜nを示す}に変換された状態の符号量データが
保持されており、また、仮符号量メモリ20には順次の
ブロックの仮符号量のデータ、順次のピクチャの仮符号
量のデータ、順次のGOPの仮符号量のデータとが記憶
されており、さらに、前記の目標転送レート設定器15
に保持されている順次のGOPの目標符号量T2(i)
{ただし(i)は順次のGOPの順番を示す数値1〜n
を示す}は、1回目の符号化動作時に発生した仮符号量
T1iを符号量変換器13における適正な変換特性fg
で変換することによって得られたものである。
【0077】そして前記の適正な変換特性fgは、既述
した(1)式から、fg(x)=T2(i)/T1(i)
・x{ただし(i)は順次のGOPの順番を示す数値1
〜nを示す}として求められることから、符号化装置に
おける2回目の符号化動作時には、前記した目標転送レ
ート設定器15に保持されている順次のGOPの目標符
号量T2(i){ただし(i)は順次のGOPの順番を
示す数値1〜nを示す}のデータと、後述する累積誤差
補正器84からの出力データとが与えられている目標符
号量の変換器22に対して、仮符号量メモリ20に記憶
されている順次のブロックの仮符号量のデータ、順次の
ピクチャの仮符号量のデータ、順次のGOPの仮符号量
のデータとを、線44〜46を介して目標符号量の変換
器22に供給する。
【0078】そして、前記した目標符号量の変換器22
は、符号化装置における2回目の符号化動作時に、仮符
号量メモリ20に記憶されていた順次のブロックの符号
量のデータや順次のピクチャの符号量のデータを、2回
目の符号化動作時に実際に発生された符号量によって修
正された状態の順次のブロックの修正目標符号量のデー
タと、順次のピクチャの修正目標符号量のデータとに変
換して、目標符号量メモリ23に供給する。目標符号量
メモリ23は、それに記憶された前記した各種修正目標
符号量データの内の必要なものを目標符号量再設定器8
3と累積誤差補正器84と減算器85とに供給する。
【0079】すなわち、目標符号量への変換器22で
は、GOPの仮符号量がT1(i)であり、また、累積誤
差補正器84からの出力データによって修正された修正
目標符号量がT2(i)である場合に、仮符号量メモリ2
0に記憶されていた順次のブロックの符号量や順次のピ
クチャの符号量を、T2/T1の関係にある所定の修正目
標符号量に変換させる。前記した目標符号量への変換器
22における前記した修正目標符号量への変換動作は、
図8を参照して既述した符号化装置についての説明にお
いて、図5を参照して行なった変換器22の動作状態の
場合と同様である。すなわち、図5中において、Tp1
(0),Tp1(1)…は順次のピクチャの仮符号量を示して
おり、またTp2(0),Tp2(1)…は順次のピクチャの修
正目標符号量を示している。
【0080】図5に例示されている例においては、仮符
号量がT1(i)であるような1つのGOPを構成してい
る複数のピクチャにおける仮符号量がTp1(0),Tp1
(1)…であった場合に、前記の仮符号量T1(i)である1
つのGOPが、修正目標符号量T2(i)に符号量が変換
されていた場合、すなわちfg(x)=T2(i)/T1
(i)・x によって示される変換特性で符号量の変換が
行なわれていた場合には、前記したGOPを構成してい
る順次のピクチャの仮標符号量Tp1(0),Tp1(1)…
も、fg(x)=T2(i)/T1(i)・x によって示さ
れる変換特性によって符号量の変換が行なわれて、順次
のピクチャの修正目標符号量がTp2(0),Tp2(1)…の
ようにされることを示している。
【0081】また、図5中において、Tb1(0),Tb1
(1)…は、仮符号量メモリ20に記憶されていた順次の
ブロックの仮符号量を示しており、またTb2(0),Tb
2(1)…は、累積誤差補正器84からの出力データによっ
て修正された順次のブロックの修正目標符号量を示して
いる。図5に例示されている例においては、修正仮符号
量がTp1(i)であるような1つのピクチャを構成して
いる複数のブロックにおける修正仮符号量がTb1(0),
Tb1(1)…であった場合に、前記の仮符号量Tp1(i)
である1つのピクチャが、修正目標符号量Tp2(i)に
符号量が変換されていた場合、すなわちfg(x)=T
p2(i)/Tp1(i)・x=T2(i)/T1(i)・x によ
って示される変換特性で符号量の変換が行なわれていた
場合には、前記したピクチャを構成している順次のブロ
ックの修正仮標符号量Tb1(0),Tb1(1)…も、fg
(x)=Tp2(i)/Tp1(i)・x=T2(i)/T1(i)
・xによって示される変換特性によって符号量の変換が
行なわれて、順次のブロックの修正目標符号量がTb2
(0),Tb2(1)…のようにされることを示している。
【0082】図5に例示した目標符号量への変換器22
における変換特性は、上位階層における修正仮符号量と
修正目標符号量との比を、下位階層についても適用して
比例配分するようにしているものであるが、既述した
(3)式、すなわち、 fg(x)=a・x^b …(3) (ただし、^はべ
き乗を示し、また、定数a,bはa>0, 0<b<
1) のように重み付けを行なって配分するようにし
てもよい。
【0083】そして、前記した目標符号量への変換器2
2からの出力データは、目標符号量メモリ23に格納さ
れる。目標符号量メモリ23に格納された順次のブロッ
クの修正目標符号量のデータや、順次のピクチャの修正
目標符号量のデータは、後述されている目標符号量再設
定器83と、累積誤差補正器84と、減算器85とに供
給される。
【0084】既述のように、2回目の符号化動作におけ
る符号化器7から出力された符号化データは、切換スィ
ッチ11の可変接点vと固定接点aとを介して、バッフ
ァメモリ16と符号量比較器24と減算器85とに供給
されており、前記のバッファメモリ16に供給された符
号化データは、出力バッファ制御器80の制御の下に、
バッファ16に順次に書込まれ、前記のバッファメモリ
16に記憶された符号化データは、前記の出力バッファ
制御器80から与えられたデータ転送レート情報に従っ
た転送レートの読出し速度で読出されて、出力端子28
から可変転送レートの符号化データとして送出されて、
記録媒体に記録されたり、あるいは通信回線を介して伝
送される。
【0085】ところで、前記のように高能率符号化され
た符号化データを記録してある記録媒体から記録情報を
再生する再生装置や、高能率符号化された符号化データ
を受信する受信装置等には、前記の高能率符号化された
符号化データを復号化して原信号を再生するための復号
装置を備えている。そして前記の復号装置は、それの構
成態様によって定まる復号能力に適合する符号化データ
量が供給されないと良好な復号動作を行なうことができ
ない。そのために、本発明の総符号量制御を行なう動画
像符号化装置においても、前記のように出力端子28か
ら送出される符号化データが、復号装置によって良好に
復号され得るようなデータ量を有している状態のものと
するために、復号化器バッファシミュレータ81によっ
て符号量が制御されるようにして、動画像符号化装置で
高能率符号化された画像信号の復号動作を行なう復号装
置における復号化バッファメモリの蓄積量を考慮して、
前記の復号化バッファメモリにオーバーフローやアンダ
ーフローを生じさせない状態の符号量の符号化データを
出力端子28から送出させている。
【0086】前記したように、目標符号量メモリ23に
記憶されている各種の再設定目標符号量のデータは、累
積誤差補正器84と、目標符号量再設定器83と、減算
器85とに供給されるが、前記の目標符号量再設定器8
3には、復号化器バッファシミュレータ81からの仮想
復号化バッファ充足度情報も供給されている。前記の復
号化器バッファシミュレータ81は、画像信号に対する
高能率符号化後の総符号量が、画像信号全体の総符号量
として予め定められている目標総符号量となるように2
回目の高能率符号化動作を行なう際に、複数のピクチャ
よりなる画像単位毎に再設定された目標符号量と、ピク
チャ毎に再設定された目標符号量と、ブロック毎に再設
定された目標符号量と、ピクチャ毎に再設定された目標
符号量とにおける何れかの目標符号量に基づいて、量子
化スケールを可変制御して発生符号量を制御するとき
に、量子化スケールの初期設定を再設定された目標符号
量に基づいて行なわれる動画像符号化装置における前記
した各目標符号量の再設定が、前記した動画像符号化装
置で高能率符号化された画像信号の復号動作を行なう復
号装置における復号化バッファメモリの蓄積量を考慮し
て、前記の復号化バッファメモリにオーバーフローやア
ンダーフローを生じさせないようにするための仮想復号
化バッファ充足度情報を発生させる。
【0087】図11は前記した復号化器バッファシミュ
レータ81の動作を説明するために用いられる図であっ
て、この図11は動画像符号化装置で高能率符号化され
た画像信号の復号動作を行なう仮想の復号装置74を示
しており、75は図1に示す総符号量制御を行なう動画
像符号装置で高能率符号化された画像信号の符号化デー
タが記録されている記録媒体である。また、78は前記
した記録媒体75に記録されている高能率符号化された
画像信号の符号化データの読取り素子を含む再生装置、
76は復号化バッファ(復号化バッファメモリ)、77
は復号化器である。前記の仮想の復号装置74は、記録
媒体75から読取り素子を含む再生装置によって読出さ
れた高能率符号化された画像信号の符号化データを、復
号化バッファ76に格納し、前記の復号化バッファ76
から読出された符号化データは復号化器77で復号され
る。
【0088】図10は前記した仮想の復号装置74に対
して、動画像符号装置で高能率符号化された画像信号の
符号化データが供給されたとした場合の、復号化バッフ
ァ76(仮想バッファ)の充足度の時間軸上での変化の
状態を例示した図である。図10において、時刻t1は
読取り素子を含む再生装置78によって記録媒体75か
ら読出された高能率符号化された画像信号の符号化デー
タが、復号化バッファ76に供給され始めた時点を示
す。なお、読取り素子を含む再生装置78から復号化バ
ッファ76へ転送される符号化データの転送速度は、復
号装置側における最高の転送レートに従ったものとされ
ている。
【0089】そして、復号化バッファの充足度が、復号
化器77が復号化動作を開始できる充足度であるとし
て、予め定められた充足度に達した時刻t2に、復号化
器77が復号化動作を開始して、復号化バッファ76か
ら1ピクチャの符号化データ量が読出されて復号化器7
7に与えられる。なお、時刻t2,t3における太縦線の
部分も、復号化バッファ76から読出されて復号化器7
7に供給される1ピクチャの符号化データ量を示してい
る。復号化バッファ76の充足度が100%以下の場合
には、復号化バッファ76は、それの充足度が100%
に達する状態になるまで、記録媒体75から読取り素子
を含む再生装置78によって読出された高能率符号化さ
れた画像信号の符号化データを格納し続け、それの充足
度が100%に達すると、記録媒体75から読取り素子
を含む再生装置78によって読出された高能率符号化さ
れた画像信号の符号化データの格納を中止する。
【0090】仮想の復号装置74において、図10に示
されている仮想バッファ充足度100%と対応する符号
化データ量と、復号化器77が復号化動作を開始できる
復号化開始仮想バッファ充足度と対応する符号化データ
量とは、復号化器バッファシミュレータ81において予
め定めてある。そして、復号化器バッファシミュレータ
81は、バッファメモリ16の充足度の情報と出力デー
タの転送レートの情報と、前記した仮想の復号装置74
における仮想バッファ76の充足度の情報等に基づい
て、前記の仮想復号化バッファ76にオーバーフローや
アンダーフローを生じさせないようにするための仮想復
号化バッファ充足度情報を発生して、それを目標符号量
再設定器83に供給するのである。
【0091】前記のように、復号化器バッファシミュレ
ータ81からの仮想復号化バッファ充足度情報と、目標
符号量メモリ23からの目標符号量のデータとが供給さ
れている目標符号量再設定器83は、前記した仮想の復
号装置74における仮想バッファ(仮想復号化バッファ
メモリ)76にオーバーフローやアンダーフローを生じ
させないようにできる再設定目標符号量のデータを発生
させる。図4は、目標符号量再設定器83の動作を説明
するための図であり、まず、ステップ(1)で復号化バ
ッファ(仮想の復号装置74における仮想バッファ…仮
想復号化バッファメモリ)76が、100%の充足度
(Full)か否かを調べて、YESならばステップ
(2)に進み、NOならばステップ(3)に進む。
【0092】ステップ(2)では、目標符号量メモリ2
3から供給されているピクチャ目標符号量が、予め定め
られている復号化バッファサイズ(仮想復号化バッファ
サイズ)よりも小さいか否かを調べて、YESならばス
テップ(6)に進み、ステップ(6)では前記のピクチ
ャ目標符号量情報を累積誤差補正器84に供給する。ま
た、前記のステップ(2)における判断がNOならばス
テップ(4)に進む。ステップ(4)では、ピクチャ目
標符号量を復号化バッファサイズのピクチャ目標符号量
に補正してステップ(6)に進み、ステップ(6)では
前記の復号化バッファサイズのピクチャ目標符号量に補
正された状態のピクチャ目標符号量を累積誤差補正器8
4に供給する。
【0093】次に、前記したステップ(3)では、目標
符号量メモリ23から供給されているピクチャ目標符号
量が、復号化バッファの充足量(仮想復号化バッファの
充足量)よりも小さいか否かを調べて、YESならばス
テップ(6)に進み、ステップ(6)では前記のピクチ
ャ目標符号量情報を累積誤差補正器84に供給する。ま
た前記のステップ(3)における判断がNOならばステ
ップ(5)に進む。ステップ(5)では、ピクチャ目標
符号量を復号化バッファの充足量に対応するピクチャ目
標符号量に補正してステップ(6)に進み、ステップ
(6)では前記のように復号化バッファの充足量に対応
するピクチャ目標符号量に補正された状態のピクチャ目
標符号量を累積誤差補正器84に供給する。
【0094】累積誤差カウンタ82には減算器85から
の出力が供給されている。前記の減算器85からの出力
は、目標符号量メモリ23から供給されている目標符号
量と、符号化器7から切換スイッチ11の可変接点vと
固定接点aとを介して供給されている符号化データの符
号量との差、すなわち符号化データの符号量誤差ERで
ある。それで、累積誤差カウンタ82では、前記した符
号化データの符号量誤差ERを累積し、その都度の符号
化データの符号量誤差ERの累積符号量誤差値を累積誤
差補正器84に供給する。
【0095】前記の累積誤差補正器84には、累積誤差
カウンタ82から出力された符号化データの符号量誤差
ERの累積符号量誤差値と、目標符号量再設定器83か
ら出力された再設定ピクチャ目標符号量とが供給されて
いる。そして、累積誤差補正器84では目標符号量再設
定器83から出力された再設定ピクチャ目標符号量を、
累積誤差カウンタ82から出力された符号化データの符
号量誤差ERの累積符号量誤差値におけるその都度の累
積符号量誤差値で補正し、補正された再設定ピクチャ目
標符号量を量子化スケール設定器25と、符号量比較器
24と、目標符号量への変換器22とに供給する。
【0096】前記した累積誤差補正器84で行なわれる
累積誤差補正動作は、例えば次のようにして行なわれ
る。すなわち、前記のように累積誤差カウンタ82から
出力された符号化データの符号量誤差ERの累積符号量
誤差値におけるその都度の累積符号量誤差値をERαで
あるとした場合に、その累積符号量誤差値ERαが得ら
れた時点以降における所定の区間、例えば所定数の「複
数のピクチャよりなる画像単位(GOP)」の区間中に
含まれているピクチャに、前記の累積符号量誤差値ER
αを配分して行なう。今、前記した累積符号量誤差値E
Rαが得られた時点以降における所定の区間中にK個の
ピクチャが含まれていたとした場合の補正されたピクチ
ャ目標符号量は、例えば次の(4)式あるいは(5)式
によって演算して求められ、前記のようにして求められ
た補正されたピクチャ目標符号量、すなわち、再設定ピ
クチャ目標符号量を量子化スケール設定器25と、符号
量比較器24と、目標符号量への変換器22とに供給さ
れる。
【0097】
【数1】
【0098】
【発明の効果】以上、詳細に説明したところから明らか
なように本発明の総符号量制御を行なう動画像符号化装
置は、高能率符号化の対象にされている画像信号に対し
て、高能率符号化手段により、第1回目の高能率符号化
動作を行なって得た高能率符号化された画像信号を仮符
号量カウンタで計数して、高能率符号化された画像信号
におけるブロック毎の発生符号量、ピクチャ毎の発生符
号量、複数のピクチャよりなる画像単位毎の発生符号量
を求め、前記の各発生符号量をブロック毎の仮符号量、
ピクチャ毎の仮符号量、複数のピクチャよりなる画像単
位毎の仮符号量として仮符号量メモリに記憶させ、前記
した複数のピクチャよりなる画像単位毎の仮符号量の総
計として求められる総仮符号量が、高能率符号化後の画
像信号全体の総符号量として、予め定められている目標
総符号量未満の符号量の内で、最も大きな符号量として
得られる前記した複数のピクチャよりなる画像単位毎の
目標符号量となるように、前記した複数のピクチャより
なる画像単位毎の仮符号量を変換し、前記の複数のピク
チャよりなる画像単位毎に、前記した各画像単位を構成
しているピクチャ毎の目標符号量を、そのピクチャが属
する画像単位の目標符号量に基づいて設定し、また、前
記した各ピクチャを構成しているブロック毎の目標符号
量を、そのブロックが属する画像単位の目標符号量に基
づいて設定し、次に、第1回目の高能率符号化動作にお
いて、高能率符号化の対象にされた画像信号に対して、
高能率符号化手段により第2回目の高能率符号化動作を
行ない、第2回目の高能率符号化動作によって得た、複
数のピクチャよりなる画像単位毎の符号量と、前記した
複数のピクチャよりなる画像単位毎の目標符号量との差
を、その後に高能率符号化動作が行なわれるべき画像信
号についての高能率符号化動作時の複数のピクチャより
なる画像単位毎の目標符号量として再設定し、また、ピ
クチャ毎の符号量と前記した複数のピクチャよりなる画
像単位を構成しているピクチャ毎の目標符号量との差
を、その後に高能率符号化動作が行なわれるべき画像信
号についての高能率符号化動作時のピクチャ毎の目標符
号量として再設定し、さらにブロック毎の符号量と前記
したピクチャを構成しているブロック毎の目標符号量と
の差を、その後に高能率符号化動作が行なわれるべき画
像信号についての高能率符号化動作時のブロック毎の目
標符号量として再設定し、画像信号に対する高能率符号
化後の総符号量が、画像信号全体の総符号量として予め
定められている目標総符号量となるように第2回目の高
能率符号化動作を行なう際に、複数のピクチャよりなる
画像単位毎に再設定された目標符号量と、ピクチャ毎に
再設定された目標符号量と、ブロック毎に再設定された
目標符号量と、ピクチャ毎に再設定された目標符号量と
における何れかの目標符号量に基づいて、量子化スケー
ルを可変制御して発生符号量を制御するときに、量子化
スケールの初期設定を再設定された目標符号量に基づい
て行なうようにして、画像信号に対する高能率符号化後
の総符号量が、画像信号全体の総符号量として予め定め
られている目標総符号量となるように、前記した再設定
された所定の目標符号量に基づいて量子化スケールを可
変制御し、第2回目の高能率符号化動作における発生符
号量を制御し、その際には総符号量制御を行なう動画像
符号化装置における前記した各目標符号量の再設定が、
前記した動画像符号化装置で高能率符号化された画像信
号の復号動作を行なう復号装置における復号化バッファ
メモリに蓄積量を考慮して行なわれることにより、前記
の復号化バッファメモリにオーバーフローやアンダーフ
ローを生じさせないように行なわれるようにしたことに
より、本発明によれば、既述した既提案装置において問
題になった第2回目の高能率符号化動作に、オーバーフ
ローやアンダーフローを起させることもなく、良好な高
能率符号化動作を行なうことができ、また、前記のよう
に所望の画像情報単位毎に目標符号量を設定して、その
目標符号量に合わせて実際の符号化を行なうようにする
ことにより、画質が均一化されるように適切な符号配分
が行なわれるために画質の向上が図られる他、制御によ
る量子化値の変動が少なくなるために、ピクチャ内、画
像間の画質が安定した状態で平均符号量を減少させるこ
とが容易となる。
【図面の簡単な説明】
【図1】本発明の総符号量制御を行なう動画像符号化装
置のブロック図である。
【図2】仮符号量カウンタ及び仮符号量メモリ部分の具
体的な構成例を示すブロック図である。
【図3】符号量変換器の符号量変換特性例を示す曲線図
である。
【図4】目標符号量再設定器の動作説明に使用される図
である。
【図5】符号化データの符号量の変換の状態の説明図で
ある。
【図6】符号量比較器の具体的な構成例を示すブロック
図である。
【図7】高能率符号化の対象にされた画像信号の構成例
を示す図である。
【図8】既提案の総符号量制御を行なう動画像符号化装
置のブロック図である。
【図9】符号量変換器の具体的な構成例を示すブロック
図である。
【図10】仮復号化バッファ充足度の特性例を示す曲線
図である。
【図11】復号化バッファシミュレータの説明のための
図である。
【図12】バッファ充足度と量子化ビット数との関係を
例示する曲線図である。
【符号の説明】
1…画像源(画像信号源)、2…予測減算器、3…直交
変換器、4…量子化器、5…画像情報変化態様検出器、
6…量子化制御器、7…符号化器、8…局部復号器、9
…加算器、10…予測器、11,18…切換スイッチ、
12,19…仮符号量カウンタ、13…符号量変換器、
14,20…仮符号量メモリ、21…ブロック発生符号
量検出部、15…目標転送レート設定器、16…バッフ
ァメモリ、17…基準量子化スケール設定器、22…目
標符号量への変換器、23…目標符号量メモリ、24…
符号量比較器、25…量子化スケール設定器、26…ス
イッチ、30…ブロック符号量カウンタ、31…ピクチ
ャ符号量カウンタ、32…GOP符号量カウンタ、33
…各1ブロック毎の終端の検出部、34…各1ピクチャ
毎の終端の検出部、35…各1GOP毎の終端の検出
部、36…ブロック仮符号量メモリ、37…ピクチャ仮
符号量メモリ、38…GOP仮符号量メモリ、54,8
5…減算器、55,56…比較器、60…総目標符号量
設定部、61〜64…変換器、65〜68…累積加算
器、69〜72…比較器、80…出力バッファ制御器、
81…復号化器バッファシミュレータ、82…累積誤差
カウンタ、83…目標符号量再設定器、84…累積誤差
補正器、

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 少なくとも、量子化スケールが制御され
    る量子化器と、符号化器とを含んで構成されている高能
    率符号化手段と、高能率符号化の対象にされている画像
    信号の仮符号量を得るために、前記した高能率符号化手
    段による第1回目の高能率符号化動作を行なって、高能
    率符号化された画像信号における複数のピクチャよりな
    る画像単位毎の仮符号量を求める手段と、前記した複数
    のピクチャよりなる画像単位毎の仮符号量の総計として
    求められる総仮符号量が、高能率符号化後の画像信号全
    体の総符号量として、予め定められている目標総符号量
    未満の符号量の内で、最も大きな符号量として得られる
    前記した複数のピクチャよりなる画像単位毎の目標符号
    量となるように、前記した複数のピクチャよりなる画像
    単位毎の仮符号量を変換する手段と、前記した複数のピ
    クチャよりなる画像単位毎に、前記した複数のピクチャ
    よりなる画像単位を構成している画像情報毎の目標符号
    量を、その画像情報が属する画像単位の目標符号量に基
    づいて設定する手段と、前記した複数のピクチャよりな
    る画像単位毎の目標符号量と、前記した複数のピクチャ
    よりなる画像単位毎の目標符号量とが設定された後に、
    前記した各仮符号量を求めるのに使用された画像信号と
    同一の画像信号を高能率符号化手段に与えて高能率符号
    化手段による第2回目の高能率符号化動作を行ない、前
    記の第2回目の高能率符号化動作によって得た、複数の
    ピクチャよりなる画像単位毎の符号量と、前記した複数
    のピクチャよりなる画像単位毎の目標符号量との差を、
    その後に高能率符号化動作が行なわれるべき画像信号に
    ついての高能率符号化動作時の複数のピクチャよりなる
    画像単位毎の目標符号量として再設定する手段と、画像
    信号に対する高能率符号化後の総符号量が、画像信号全
    体の総符号量として予め定められている目標総符号量と
    なるように、第2回目の高能率符号化動作が行なわれる
    際に、前記した複数のピクチャよりなる画像単位毎に再
    設定された目標符号量に基づいて量子化スケールを可変
    制御して発生符号量を制御する手段とを備えてなる総符
    号量制御を行なう動画像符号化装置。
  2. 【請求項2】 少なくとも、量子化スケールが制御され
    る量子化器と、符号化器とを含んで構成されている高能
    率符号化手段と、高能率符号化の対象にされている画像
    信号の仮符号量を得るために、前記した高能率符号化手
    段による第1回目の高能率符号化動作を行なって、高能
    率符号化された画像信号におけるピクチャ毎の発生符号
    量を求め、それをピクチャ毎の仮符号量とする手段と、
    前記の各ピクチャ毎の仮符号量に基づいて、複数のピク
    チャよりなる画像単位毎の仮符号量を求める手段と、前
    記した複数のピクチャよりなる画像単位毎の仮符号量の
    総計として求められる総仮符号量が、高能率符号化後の
    画像信号全体の総符号量として、予め定められている目
    標総符号量未満の符号量の内で、最も大きな符号量とし
    て得られる前記した複数のピクチャよりなる画像単位毎
    の目標符号量となるように、前記した複数のピクチャよ
    りなる画像単位毎の仮符号量を変換する手段と、前記し
    た複数のピクチャよりなる画像単位毎に、前記した各画
    像単位を構成しているピクチャ毎の目標符号量を、その
    ピクチャが属する画像単位の目標符号量に基づいて設定
    する手段と、前記した複数のピクチャよりなる画像単位
    毎の目標符号量と、各画像単位を構成しているピクチャ
    毎の目標符号量とが設定された後に、前記した各仮符号
    量を求めるのに使用された画像信号と同一の画像信号を
    高能率符号化手段に与えて高能率符号化手段による第2
    回目の高能率符号化動作を行ない、前記の第2回目の高
    能率符号化動作によって得た、複数のピクチャよりなる
    画像単位毎の符号量と、前記した複数のピクチャよりな
    る画像単位毎の目標符号量との差を、その後に高能率符
    号化動作が行なわれるべき画像信号についての高能率符
    号化動作時の目標符号量として再設定する手段と、前記
    した高能率符号化手段による第2回目の高能率符号化動
    作によって得た、複数のピクチャよりなる画像単位を構
    成しているピクチャ毎の符号量と、前記した複数のピク
    チャよりなる画像単位を構成しているピクチャ毎の目標
    符号量との差を、その後に高能率符号化動作が行なわれ
    るべき画像信号についての高能率符号化動作時の目標符
    号量として再設定する手段と、画像信号に対する高能率
    符号化後の総符号量が、画像信号全体の総符号量として
    予め定められている目標総符号量となるように第2回目
    の高能率符号化動作が行なわれる際に、前記した各ピク
    チャ毎の再設定された目標符号量に基づいて量子化スケ
    ールを可変制御して発生符号量を制御する手段とを備え
    てなる総符号量制御を行なう動画像符号化装置。
  3. 【請求項3】 少なくとも、量子化スケールが制御され
    る量子化器と、符号化器とを含んで構成されている高能
    率符号化手段と、高能率符号化の対象にされている画像
    信号の仮符号量を得るために、前記した高能率符号化手
    段による第1回目の高能率符号化動作を行なって、高能
    率符号化された画像信号におけるブロック毎の発生符号
    量を求めて、それをブロック毎の仮符号量とする手段
    と、前記の各ブロック毎の仮符号量に基づいて、複数の
    ピクチャよりなる画像単位毎の仮符号量を求める手段
    と、前記した複数のピクチャよりなる画像単位毎の仮符
    号量の総計として求められる総仮符号量が、高能率符号
    化後の画像信号全体の総符号量として、予め定められて
    いる目標総符号量未満の符号量の内で、最も大きな符号
    量として得られる前記した複数のピクチャよりなる画像
    単位毎の目標符号量となるように、前記した複数のピク
    チャよりなる画像単位毎の仮符号量を変換する手段と、
    前記した複数のピクチャよりなる画像単位毎に、前記し
    た各画像単位を構成しているピクチャ毎の目標符号量
    を、そのピクチャが属する画像単位の目標符号量に基づ
    いて設定する手段と、前記した各ピクチャを構成してい
    るブロック毎の目標符号量を、そのブロックが属する画
    像単位の目標符号量に基づいて設定する手段と、前記し
    た複数のピクチャよりなる画像単位毎の目標符号量と、
    各画像単位を構成しているピクチャ毎の目標符号量と、
    各ピクチャを構成しているブロック毎の目標符号量とが
    設定された後に、前記した各仮符号量を求めるのに使用
    された画像信号と同一の画像信号を高能率符号化手段に
    与えて高能率符号化手段による第2回目の高能率符号化
    動作を行ない、前記の第2回目の高能率符号化動作によ
    って得た、複数のピクチャよりなる画像単位毎の符号量
    と、前記した複数のピクチャよりなる画像単位毎の目標
    符号量との差を、その後に高能率符号化動作が行なわれ
    るべき画像信号についての高能率符号化動作時の複数の
    ピクチャよりなる画像単位毎の目標符号量として再設定
    する手段と、前記した高能率符号化手段による第2回目
    の高能率符号化動作によって得た、複数のピクチャより
    なる画像単位を構成しているピクチャ毎の符号量と、前
    記した複数のピクチャよりなる画像単位を構成している
    ピクチャ毎の目標符号量との差を、その後に高能率符号
    化動作が行なわれるべき画像信号についての高能率符号
    化動作時のピクチャ毎の目標符号量として再設定する手
    段と、前記した高能率符号化手段による第2回目の高能
    率符号化動作によって得た、ピクチャを構成しているブ
    ロック毎の符号量と、前記したピクチャを構成している
    ブロック毎の目標符号量との差を、その後に高能率符号
    化動作が行なわれるべき画像信号についての高能率符号
    化動作時のブロック毎の目標符号量として再設定する手
    段と、画像信号に対する高能率符号化後の総符号量が、
    画像信号全体の総符号量として予め定められている目標
    総符号量となるように第2回目の高能率符号化動作が行
    なわれる際に、前記した各ブロック毎の再設定された目
    標符号量に基づいて量子化スケールを可変制御して発生
    符号量を制御する手段とを備えてなる総符号量制御を行
    なう動画像符号化装置。
  4. 【請求項4】 第1回目の高能率符号化手段によって高
    能率符号化された画像信号についての仮符号量に基づい
    て得た、複数のピクチャよりなる画像単位毎の目標符号
    量と、各画像単位を構成しているピクチャ毎の目標符号
    量と、各画像単位を構成しているブロック毎の目標符号
    量とが、それぞれ設定された後に、前記した各仮符号量
    を求めるのに使用された画像信号と同一の画像信号を高
    能率符号化手段に与えて、画像信号に対する高能率符号
    化後の総符号量が、画像信号全体の総符号量として予め
    定められている目標総符号量となるように第2回目の高
    能率符号化動作を行なう際に、複数のピクチャよりなる
    画像単位毎に再設定された目標符号量と、ピクチャ毎に
    再設定された目標符号量と、ブロック毎に再設定された
    目標符号量と、ピクチャ毎に再設定された目標符号量と
    における何れかの目標符号量に基づいて、量子化スケー
    ルを可変制御して発生符号量を制御するときに、量子化
    スケールの初期設定を再設定された目標符号量に基づい
    て行なうようにした請求項1乃至請求項3の何れかに記
    載の総符号量制御を行なう動画像符号化装置。
  5. 【請求項5】 第1回目の高能率符号化手段によって高
    能率符号化された画像信号についての仮符号量に基づい
    て得た、複数のピクチャよりなる画像単位毎の目標符号
    量と、各画像単位を構成しているピクチャ毎の目標符号
    量と、各画像単位を構成しているブロック毎の目標符号
    量とが、それぞれ設定された後に、前記した各仮符号量
    を求めるのに使用された画像信号と同一の画像信号を高
    能率符号化手段に与えて、画像信号に対する高能率符号
    化後の総符号量が、画像信号全体の総符号量として予め
    定められている目標総符号量となるように第2回目の高
    能率符号化動作を行なう際に、複数のピクチャよりなる
    画像単位毎に再設定された目標符号量と、ピクチャ毎に
    再設定された目標符号量と、ブロック毎に再設定された
    目標符号量と、ピクチャ毎に再設定された目標符号量と
    における何れかの目標符号量に基づいて、量子化スケー
    ルを可変制御して発生符号量を制御するときに、量子化
    スケールの初期設定を再設定された目標符号量に基づい
    て行なうようにした請求項1乃至請求項3の何れかに記
    載の総符号量制御を行なう動画像符号化装置における前
    記した各目標符号量の再設定が、前記した動画像符号化
    装置で高能率符号化された画像信号の復号動作を行なう
    復号装置における復号化バッファメモリの蓄積量を考慮
    して、前記の復号化バッファメモリにオーバーフローや
    アンダーフローを生じさせないように行なわれるように
    してなる手段を備えてなる総符号量制御を行なう動画像
    符号化装置。
JP7149543A 1995-05-24 1995-05-24 総符号量制御を行なう動画像符号化装置 Expired - Lifetime JP2907063B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP7149543A JP2907063B2 (ja) 1995-05-24 1995-05-24 総符号量制御を行なう動画像符号化装置
US08/699,644 US5880785A (en) 1995-05-24 1996-08-19 Moving picture coding apparatus with total data amount control
EP19960306049 EP0825779B1 (en) 1995-05-24 1996-08-20 Moving picture coding apparatus/method with output buffer memory control

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7149543A JP2907063B2 (ja) 1995-05-24 1995-05-24 総符号量制御を行なう動画像符号化装置
US08/699,644 US5880785A (en) 1995-05-24 1996-08-19 Moving picture coding apparatus with total data amount control
EP19960306049 EP0825779B1 (en) 1995-05-24 1996-08-20 Moving picture coding apparatus/method with output buffer memory control

Publications (2)

Publication Number Publication Date
JPH08322051A JPH08322051A (ja) 1996-12-03
JP2907063B2 true JP2907063B2 (ja) 1999-06-21

Family

ID=27237774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7149543A Expired - Lifetime JP2907063B2 (ja) 1995-05-24 1995-05-24 総符号量制御を行なう動画像符号化装置

Country Status (3)

Country Link
US (1) US5880785A (ja)
EP (1) EP0825779B1 (ja)
JP (1) JP2907063B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164581A (ja) * 1996-12-03 1998-06-19 Sony Corp 画像信号符号化方法及び装置、信号記録媒体
JPH10243399A (ja) * 1997-02-25 1998-09-11 Sharp Corp 符号量制御装置及び該符号量制御装置を含む動画像符号化装置
JP3978810B2 (ja) * 1997-05-28 2007-09-19 ソニー株式会社 符号化方法およびこれを使用した符号化装置
DE69826823T2 (de) * 1997-07-29 2005-10-20 Koninklijke Philips Electronics N.V. Verfahren zur videocodierung mit variabler bitrate und entsprechender videocodierer
JP3511893B2 (ja) * 1998-01-23 2004-03-29 日本ビクター株式会社 映像信号符号化方法及び装置
US6532262B1 (en) * 1998-07-22 2003-03-11 Matsushita Electric Industrial Co., Ltd. Coding method and apparatus and recorder
GB2346282B (en) * 1999-01-28 2003-02-19 Snell & Wilcox Ltd Bit rate control in compression encoding
EP1063851B1 (en) * 1999-06-22 2007-08-01 Victor Company Of Japan, Ltd. Apparatus and method of encoding moving picture signal
JP3974318B2 (ja) * 2000-09-08 2007-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション 受信再生装置及びその方法
JP2002094989A (ja) * 2000-09-14 2002-03-29 Pioneer Electronic Corp ビデオ信号符号化装置及びビデオ信号符号化方法
US6845128B2 (en) * 2001-02-09 2005-01-18 Victor Company Of Japan, Ltd. Video-emphasis encoding apparatus and decoding apparatus and method of video-emphasis encoding and decoding
US6968091B2 (en) * 2001-09-18 2005-11-22 Emc Corporation Insertion of noise for reduction in the number of bits for variable-length coding of (run, level) pairs
US6959116B2 (en) * 2001-09-18 2005-10-25 Emc Corporation Largest magnitude indices selection for (run, level) encoding of a block coded picture
DE10156851C1 (de) * 2001-11-20 2003-07-03 Infineon Technologies Ag Verfahren und Vorrichtung zur Bildkompression
US7403564B2 (en) * 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
US7356079B2 (en) * 2001-11-21 2008-04-08 Vixs Systems Inc. Method and system for rate control during video transcoding
JP4700969B2 (ja) * 2005-01-06 2011-06-15 富士通株式会社 監視情報提供装置、監視情報提供方法および監視情報提供プログラム
JP5128389B2 (ja) * 2008-07-01 2013-01-23 株式会社日立国際電気 動画像符号化装置及び動画像符号化方法
JP2010288166A (ja) * 2009-06-15 2010-12-24 Panasonic Corp 動画像符号化装置、放送波記録装置及び、プログラム
JP5342391B2 (ja) * 2009-09-25 2013-11-13 株式会社メガチップス 画像処理装置
JP5451487B2 (ja) * 2010-03-31 2014-03-26 株式会社メガチップス 画像符号化装置
JP5635673B2 (ja) * 2013-12-05 2014-12-03 株式会社メガチップス 画像符号化装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144426A (en) * 1989-10-13 1992-09-01 Matsushita Electric Industrial Co., Ltd. Motion compensated prediction interframe coding system
US5291282A (en) * 1990-04-19 1994-03-01 Olympus Optical Co., Ltd. Image data coding apparatus and method capable of controlling amount of codes
US5369437A (en) * 1991-08-28 1994-11-29 Nec Corporation Time-varying image signal coding/decoding system
JPH0595536A (ja) * 1991-10-01 1993-04-16 Toshiba Corp 高能率符号化信号処理装置
JP3348310B2 (ja) * 1992-09-28 2002-11-20 ソニー株式会社 動画像符号化方法および動画像符号化装置
EP0959629A3 (en) * 1992-10-28 2003-01-02 Victor Company Of Japan, Limited Variable transfer rate information reproducing apparatus
EP0670663A1 (fr) * 1994-03-02 1995-09-06 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de codage de signaux numériques représentatifs d'une séquence d'images
US5510842A (en) * 1994-05-04 1996-04-23 Matsushita Electric Corporation Of America Parallel architecture for a high definition television video decoder having multiple independent frame memories
JP3050047B2 (ja) * 1994-06-24 2000-06-05 日本ビクター株式会社 動画像符号化装置及び動画像符号化方法
US5610659A (en) * 1995-05-08 1997-03-11 Futuretel, Inc. MPEG encoder that concurrently determines video data encoding format and rate control

Also Published As

Publication number Publication date
EP0825779A1 (en) 1998-02-25
JPH08322051A (ja) 1996-12-03
US5880785A (en) 1999-03-09
EP0825779B1 (en) 2000-01-12

Similar Documents

Publication Publication Date Title
JP2907063B2 (ja) 総符号量制御を行なう動画像符号化装置
JP3050047B2 (ja) 動画像符号化装置及び動画像符号化方法
KR100569613B1 (ko) 신호부호화방법,신호부호화장치,신호기록매체및신호전송방법
US7400773B2 (en) Method and device for condensed image recording and reproduction
JPH06197273A (ja) ビデオ信号符号化方法及び装置、ビデオ信号復号化方法及び装置、又はビデオ信号記録メディア
JPS63274275A (ja) 画像の圧縮記録システム
JP2950065B2 (ja) 可変転送レート符号化装置
CN1170419C (zh) 可变速率编码装置
JP3804846B2 (ja) 記録媒体及び画像信号符号化装置
JPH0846907A (ja) ディスク記録装置
JPH11196410A (ja) 動画像符号化方法、動画像符号化装置及び動画像信号記録媒体
JP2001204018A (ja) 可変ビットレート符号化装置及び符号化方法
JPH0353778A (ja) 高能率符合化装置
JP3178233B2 (ja) 画像符号化方法及び画像符号化装置及び光ディスク
JP3307367B2 (ja) 可変転送レート符号化装置
JPH08331556A (ja) 画像符号化装置および画像符号化方法
JP3399472B2 (ja) 記録装置、記録方法、および記録媒体
JP3120424B2 (ja) 動画像情報記録装置及び記録方法
JPH08340536A (ja) 画像符号化装置
JP3882825B2 (ja) 画像信号符号化装置及び画像信号符号化方法
JP3918822B2 (ja) 信号符号化装置、信号符号化方法及び信号記録媒体
JPH0335676A (ja) 動画像符号化方式とそれを用いた動画像符号化装置
JPH0965332A (ja) 画像符号化装置とその方法
JPH06284405A (ja) 画像符号化記録再生装置
JP2003309812A (ja) 動画像信号符号化装置及び方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090402

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090402

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100402

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110402

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120402

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120402

Year of fee payment: 13

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120402

Year of fee payment: 13

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120402

Year of fee payment: 13

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120402

Year of fee payment: 13

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120402

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 15

EXPY Cancellation because of completion of term