JP3151173B2 - 画像圧縮符号化装置及び方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像信号を圧縮符
号化するための画像圧縮符号化装置及び方法に関するも
のであり、特に符号化する際の量子化幅の制御、ビット
発生量の制御等に関するものである。

【０００２】

【従来の技術】映像信号の圧縮符号化に関する技術とし
ては、例えばISO/IEC 13818-2（通称ＭＰＥＧ２）にお
けるディジタル圧縮符号化データの国際標準フォーマッ
トがあり、ここに、その復号方法が示されている。ま
た、そのフォーマットに符号化する代表的な方法とし
て、ISO-IEC/JTC/SC29/WG11 N0328の"Test Model 3"に
その記述がある。

【０００３】ＭＰＥＧ２の符号化において、映像信号
は、各ピクチャー間の動きの補償並びに予測と、この予
測の誤差のＤＣＴ符号化が行われる。このＤＣＴの変換
係数を量子化する際、その量子化幅によってビット発生
量が増減する。映像信号を所望のデータ量に圧縮する場
合、符号化に費やされたビット発生量に応じて量子化幅
を制御し、データ量の調整を行う。

【０００４】ISO-IEC/JTC/SC29/WG11 N0328の"Test Mod
el 3"においては、符号化された画像データを所望の一
定のビットレートで復号化装置に入力し、映像信号を再
生できるような該映像信号の量子化幅の決定方法が示さ
れている。

【０００５】"Test Model 3"においては、複数のピクチ
ャーからなるグループオブピクチャー（以後ＧＯＰ）毎
に、目標ビットレートから目標ビット数を換算して求
め、更に、目標ビット数をＧＯＰの各ピクチャーＩ，
Ｐ，Ｂ（ピクチャーＩはＧＯＰの先頭のもの、ピクチャ
ーＰは複数のピクチャー毎に設定されるのもの、ピクチ
ャーＢはＩとＰ間のもの）に割り当て、これらのピクチ
ャーの符号化を行う。

【０００６】

【発明が解決しようとする課題】しかしながら、この様
な方法では、過去のＧＯＰの各ピクチャーの符号化に費
やしたビット発生量に基づいて、現在のＧＯＰの目標ビ
ット発生量を調整して求め、この目標ビット発生量を該
ＧＯＰの各ピクチャーに割り当てるため、シーンチェン
ジやピクチャー内での映像の動きの増加などによって、
各ピクチャーＩ，Ｐ，Ｂの情報量の割合が過去のＧＯＰ
と大きく異なる場合、各ピクチャーＩ，Ｐ，Ｂに割り当
てられるビット量が不適切となる。この様な各ピクチャ
ーＩ，Ｐ、Ｂの情報量の割合は、通常でも２倍以上変化
することが多く、シーンチェンジがあった場合には、ピ
クチャーＢでもピクチャーＩと同程度のビット量を割り
当てる必要があったり、更に複雑な映像のシーンになっ
た場合は、情報量事態が十倍近く増えることもあり、ピ
クチャーに割り当てられるビット量が不足し、このピク
チャーに対応する再生画像の画質が大きく劣化してしま
うと言う問題があった。

【０００７】また、ＧＯＰ単位でビット発生量を制御す
るため、例えば、ＧＯＰの後半付近、つまりＧＯＰの最
後の数ピクチャーで、シーンチェンジ等が発生した場合
は、割り当てるビット量が完全に不足してしまうため、
ピクチャーの符号化の難易度が急激に上昇し、このピク
チャーに対応する再生画像の画質が極端に劣化してしま
うと言う問題があった。

【０００８】一方、１つのピクチャーにおいては、ピク
チャーを構成する各マクロブロックの符号化に費やされ
る各ビット量が一定であると仮定して、目標ビット発生
量を算出し、この目標ビット発生量と実際のビット発生
量の比較に基づいて映像信号の量子化幅を制御し、１ピ
クチャーにおいて、実際のビット発生量が目標ビット発
生量となる様な調整を行っている。

【０００９】しかしながら、ピクチャー内の映像とその
背景部等の位置によって、情報量が極端に異なる場合が
あり、ピクチャー内のビット割り当てがうまくできな
い。例えば、ピクチャーの各マクロブロックの後半に複
雑な絵柄等が存在する場合、前半の簡単な部分に多くの
ビットが割り当てられてしまい、後半で予想以上のビッ
ト発生量となってしまったり、逆に前半に複雑な絵柄が
ある場合には、前半でビット発生量が必要以上に抑制さ
れてしまい、後半でビット発生量が必要以上に割り当て
られてしまい、１枚のピクチャー内で本来割り当てられ
るべき部分でビットが割り当てられないと言う問題があ
った。

【００１０】また、実際のビット発生量を目標ビット発
生量に調整すると言う制御方法であっても、復号化装置
側で想定されるＶＢＶバッファ（仮想バッファ）の占有
量を考慮していないため、別途、ＶＢＶバッファからの
制約条件によって、各ピクチャーに対するビット配分な
どを修正する必要があり、この場合には、さらに再生画
像の画質の劣化を招いていた。

【００１１】このような映像信号の符号化の難易度の変
化を原因として、再生画像の画質が不安定になりかつ劣
化するのを防ぐには、映像信号の量子化幅をできるだけ
均一に保つことであるが、量子化幅を一定にすると、画
像の符号化の難易度に応じてビット発生量が無秩序に増
加するため、目標ビットレートで映像信号を符号化する
ことが困難となる。

【００１２】本発明は、上記従来の問題を解決するもの
であって、シーンチェンジのときのピクチャー、あるい
は複雑なピクチャーであっても、常に適切なビット量を
割り当てることができ、また、ピクチャー内の各マクロ
ブロックに対しても、それぞれの複雑さに応じて最適な
ビットを割り当てることができ、再生画像の画質を安定
に維持しつつ、目標ビットレートでピクチャーの符号化
を行うことが可能な画像圧縮符号化装置および方法を提
供するものである。

【００１３】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、映像信号を符号化するときの量子化幅を
求め、この量子化幅に基づいて該映像信号を符号化する
画像圧縮符号化装置であって、前記映像信号の符号化に
費やされた実際のビット発生量を求めると共に、目標ビ
ットレートに応じた目標ビット発生量を求め、前記実際
のビット発生量と前記目標ビット発生量の差であるビッ
ト発生誤差を求めて、このビット発生誤差に対応する量
子化幅を求めており、前記ビット発生誤差の予め定めら
れた範囲においては、ビット発生誤差の変化に対して量
子化幅が小さく変化する特性を設定し、この特性に基づ
いてビット発生誤差に対する量子化幅を求める制御手段
を備えている。

【００１４】１つの実施形態では、基準量子化幅が予め
定められており、制御手段は、目標ビットレートからビ
ット発生誤差に対応する値を差し引いた値と該目標ビッ
トレートの比を求めて、この比と前記基準量子化幅を積
算し、この積に基づいて映像信号を符号化するときの量
子化幅を求めている。

【００１５】１つの実施形態では、制御手段は、目標ビ
ットレートに基づいて基準量子化幅を求め、ビット発生
誤差の予め定められた範囲においては、ビット発生誤差
の変化に対して量子化幅が前記基準量子化幅近傍で小さ
く変化する特性を設定し、この特性に基づいてビット発
生誤差に対する量子化幅を求めている。

【００１６】１つの実施形態では、ビット発生誤差の予
め定められた範囲及び該範囲の近傍においては、ビット
発生誤差の変化に対する量子化幅の変化の特性がヒステ
リシスループを描いている。

【００１７】１つの実施形態では、映像信号を符号化し
てなる各画像データを順次入力して、これらの画像デー
タを順次出力する仮想バッファを想定した場合は、この
仮想バッファの占有量がビット発生誤差に対応し、この
仮想バッファの占有量が０近傍になると、量子化幅が急
峻に最大値に近づき、かつビット発生誤差の変化に対し
て小さく変化する該量子化幅の特性に連なる様に、該量
子化幅が連続的に変化する。

【００１８】１つの実施形態では、ビット発生誤差の複
数の範囲が予め定められ、これらの範囲毎に、ビット発
生誤差の変化に対する量子化幅の変化を示す特性が設定
され、制御手段は、前記各範囲のうちからビット発生誤
差の入る範囲を選択して、この範囲の特性に基づいて、
ビット発生誤差に対する量子化幅を求めている。

【００１９】１つの実施形態では、ＭＰＥＧ規格に準拠
して、映像信号をマクロブロック単位で量子化幅に基づ
いて符号化しており、制御手段は、マクロブロック毎
に、ビット発生誤差に対応する量子化幅を求めている。

【００２０】次に、本発明の作用を説明する。

【００２１】本発明によれば、実際のビット発生量と前
記目標ビット発生量の差であるビット発生誤差を求め
て、このビット発生誤差に対応する量子化幅を求めてお
り、前記ビット発生誤差の予め定められた範囲において
は、ビット発生誤差の変化に対して量子化幅が小さく変
化する特性を設定し、この特性に基づいてビット発生誤
差に対する量子化幅を求めている。このため、ビット発
生誤差の予め定められた範囲において該ビット発生誤差
が変化している状態では、量子化幅が大きく変化せず、
ＧＯＰ内の各ピクチャーＩ，Ｐ，Ｂのいずれに対して
も、略同様の目標ビット発生量が割り当てられ、これら
のピクチャーに対応する各再生画像の画質が安定する。
また、１つのピクチャーにおいても、ビット発生誤差の
予め定められた範囲において該ビット発生誤差が変化し
ている限り、適切な量子化幅を設定して、ピクチャーの
符号化の難易度に応じて適切な目標ビット発生量を割り
当てることができる。

【００２２】１つの実施形態の様に、目標ビットレート
からビット発生誤差に対応する値を差し引いた値と該目
標ビットレートの比を求めて、この比と前記基準量子化
幅を積算し、この積に基づいて、映像信号を符号化する
ときの量子化幅を求めても良い。この場合、ビット発生
誤差が増加する程、量子化幅が大きくなり、ビット発生
誤差が減少する程、量子化幅が小さくなる。

【００２３】１つの実施形態の様に、ビット発生誤差の
予め定められた範囲においては、ビット発生誤差の変化
に対して量子化幅が基準量子化幅近傍で小さく変化する
特性を設定し、この特性に基づいてビット発生誤差に対
する量子化幅を求めても良い。これによって、前記範囲
において、適切な量子化幅を設定することができる。

【００２４】１つの実施形態の様に、ビット発生誤差の
予め定められた範囲及び該範囲の近傍においては、ビッ
ト発生誤差の変化に対する量子化幅の変化の特性がヒス
テリシスループを描いても良い。この場合は、ビット発
生誤差が前記範囲から外れるまで変化し、これに伴って
量子化幅が変化したとときには、ビット発生誤差が該範
囲に戻っても、量子化幅が同一の値まで戻らず、ビット
発生誤差の変化に対する量子化幅の変化の特性が新たに
なる。

【００２５】１つの実施形態の様に、仮想バッファ（Ｖ
ＢＶバッファ）の占有量がビット発生誤差に対応し、こ
の仮想バッファの占有量が０近傍になると、量子化幅が
急峻に最大値に近づき、かつビット発生誤差の変化に対
して小さく変化する該量子化幅の特性に連なる様に、該
量子化幅が連続的に変化しても良い。この場合、仮想バ
ッファの占有量が０近傍になると、量子化幅が急峻に最
大値に近づくので、仮想バッファのアンダーフローを防
止することができる。

【００２６】１つの実施形態の様に、ビット発生誤差の
各範囲のうちからビット発生誤差の入る範囲を選択し
て、この範囲の特性に基づいて、ビット発生誤差に対す
る量子化幅を求めても良い。この場合、ビット発生誤差
の大きさに応じて、適切な特性を選択し、この特性に基
づいて量子化幅を定めることができる。

【００２７】１つの実施形態の様に、ＭＰＥＧ規格に準
拠して、映像信号をマクロブロック単位で量子化幅に基
づいて符号化しても良い。この様なマクロブロック単位
の符号化であっても、先に述べた様に、ビット発生誤差
の予め定められた範囲において該ビット発生誤差が変化
している限り、適切な量子化幅を設定して、ピクチャー
の符号化の難易度に応じて適切な目標ビット発生量を割
り当てることができる。

【００２８】

【発明の実施の形態】以下、本発明の実施形態を添付図
面を参照して説明する。図１は、本発明の画像圧縮符号
化装置の第１実施形態を概略的に示すブロック図であ
る。この第１実施形態の符号化装置においては、映像信
号を基本符号化処理部１によって画像データに符号化
し、この画像データをエンコーダ送出バッファ２を通じ
て送出している。また、レート制御部３は、基本符号化
処理部１によって映像信号を符号化するときの量子化幅
ｑ_scaleを制御している。

【００２９】ここで、映像信号の符号化処理の概略を図
２を参照して説明しておく。符号化される映像信号の各
ピクチャーは、複数のマクロブロックに分割されて符号
化される。１つのマクロブロックは、輝度について、１
６×１６画素ブロックのデータ（更に基本符号化処理単
位である４つの８×８画素ブロックに分けられる）、色
差について、基本符号化処理単位である２つの８×８画
素ブロックのデータに分けられ、これらのブロックが符
号化される。また、１つのマクロブロックにおいて、マ
クロブロック内のブロックの符号化方法および量子化幅
等を決定する。

【００３０】スライスは、複数のマクロブロックを含む
データ単位であって、複数のスライスから１つのピクチ
ャーが構成される。ピクチャーは、その符号化方法とし
て、ピクチャー自体がそのまま符号化されるピクチャー
（イントラピクチャー：以後ピクチャーＩ）、時間的に
過去のピクチャーからの動きを予測した上で、符号化さ
れるピクチャー（以後 ピクチャーＰ）、時間的に過去
及び未来の両方、もしくはいずれか一方のピクチャーか
らの動きを予測した上で、符号化されるピクチャー（以
後 ピクチャーＢ）がある。

【００３１】図２における各ピクチャーＩ，Ｐ，Ｂの配
置は、その典型的な例であり、最初のピクチャーＩを用
いて３枚先のピクチャーＰを予測して符号化し、その間
に含まれる各ピクチャーＢを各ピクチャーＩ，Ｐの両方
から予測して符号化している。したがって、最初にピク
チャーＩを符号化し、次にピクチャーＰを符号化し、更
に各ピクチャーＢを符号化することになり、このために
本来の時間の進行に沿った各ピクチャーＩ，Ｐ，Ｂの順
序を変更してから、これらのピクチャーを符号化する必
要がある。

【００３２】さらに、ピクチャーＩから始まる複数のピ
クチャーからＧＯＰ（グループオブピクチャー）を構成
し、さらに任意の数のＧＯＰで１つのビデオシーケンス
を構成する。

【００３３】この様な符号化は、図１の装置における基
本符号化処理部１で行われる。この基本符号化処理部１
の構成を図３に示す。

【００３４】図３において、１１は、各ピクチャーを示
す映像信号を入力し、これらのピクチャーを符号化する
順番にならび替える画像並び替え部、１２は、ピクチャ
ーを符号化される単位であるマクロブロックに変換する
走査変換処理部、１３は、マクロブロックとピクチャー
内の映像の動作に応じた予測データとの差を求める差分
部、１４は、差分部１４から出力された差を符号化する
ＤＣＴ変換処理部、１５は、重みづけ量子化処理部、１
６は、可変長符号化処理部、１７は、逆量子化部、１８
は、逆ＤＣＴ処理部、１９は、動き補償付き予測処理
部、２０は、モード判定部、２１は、動き検出処理部、
２２は、加算処理部である。

【００３５】この様な構成の符号化処理部１において、
画像並び替え部１１は、映像信号によって示される各ピ
クチャーを入力し、これらのピクチャーの順序を符号化
する順番に入れ替えてから、これらのピクチャーを走査
線変換処理部１２に順次出力する。

【００３６】走査線変換処理部１２は、各ピクチャーを
入力する度に、ピクチャーを複数のマクロブロックに分
割し、これらのマクロブロックを差分部１３に順次出力
する。差分部１３は、走査線変換処理部１２からのマク
ロブロックと動き補償付き予測処理部１９からの予測デ
ータとの差分を求め、この差を予測誤差として出力す
る。ＤＣＴ変換処理部１４は、この予測誤差を８×８画
素ブロック単位でＤＣＴ変換し、このＤＣＴ変換により
得られた各変換係数を重みづけ量子化処理部１５に出力
する。重みづけ量子化処理部１５は、各変換係数を量子
化し、これにより得た量子化データを可変長符号化処理
部１６に出力する。可変長符号化処理部１６は、量子化
データを可変長符号化して、圧縮符号化された画像デー
タを形成する。この圧縮符号化された画像データは、所
望の伝送レートで伝送するためにエンコーダ送出バッフ
ァに一旦蓄えられてから出力される。

【００３７】一方、重みづけ量子化処理部１５から出力
された量子化データは、逆量子化部１７及び逆ＤＣＴ処
理部１８によって再生処理されてから、動き補償付き予
測部１９に入力され、ここで動きを予測されたピクチャ
ーを示す予測データが形成される。この予測データは、
差分部１３に入力され、ここで予測データと走査線変換
処理部１２からのマクロブロックの差分が求められる。
動き検出処理部２１は、各マクロブロック毎に、映像の
動きベクトルを算出し、この動きベクトルを動き補償付
き予測処理部１９に入力するとともに可変長符号化処理
部１６に送る。レート制御部３は、可変長符号化処理部
１６から出力されたビットストリームのビット発生量と
目標ビットレートから換算した目標ビット発生量を比較
し、最終的に目標ビット発生量で符号化が完了するよう
に重みづけ量子化部１５の量子化幅ｑ_scaleを制御す
る。

【００３８】ただし、ＭＰＥＧの規格においては、ＶＢ
Ｖと呼ばれる仮想復号器を想定し、このＶＢＶの入力バ
ッファ（以下ＶＢＶバッファと称す）がオーバーフロー
したり、アンダーフローしない様に制御しなければなら
ない。このＶＢＶバッファの入出力は規定されている。

【００３９】図４は、映像信号を固定レートで符号化す
るときのＶＢＶバッファ中のデータ占有量を示してい
る。図４において、横軸は、時刻であり、１目盛りが１
ピクチャの入力に費やされる時間を示している。縦軸
は、ＶＢＶバッファのデータ占有量ＶＢＶ_fullnessで
ある。最初は、画像データを再生せず、画像データのピ
クチャーヘッダによって示される期間ＶＢＶ_delay、つ
まり１ピクチャーを符号化してなる画像データが入力さ
れる時点Ｔ１から時点Ｔ２までの期間だけ、画像データ
をＶＢＶバッファに貯える。このときのＶＢＶバッファ
の占有量ＶＢＶ_fullnessは、画像データが一定レート
で入力されるため、傾き一定の直線で表される。次に、
ピクチャーの再生が行われる時点Ｔ３（＝Ｔ２）で、１
ピクチャー分の画像データが瞬間的にＶＢＶバッファよ
り除去される。そして、次のピクチャーの再生が行われ
る直前の時点Ｔ４までに、１ピクチャー分のビット量だ
けＶＢＶバッファの占有量ＶＢＶ_fullnessが増加し、
ピクチャーの再生の時点Ｔ５（＝Ｔ４）で、瞬間的に１
ピクチャー分の画像データが除去される。以降、同様に
動作して、ＶＢＶバッファの占有量ＶＢＶ_fullnessが
ＶＢＶバッファのサイズＶＢＶ_sizeから出ないよう
に、つまりアンダーフロー及びオーバーフローを招かな
い様に、符号化装置では、画像データの送出を制御する
必要がある。

【００４０】さて、基本符号化処理部１の可変長符号化
処理部１６は、各マクロブロックの符号化が終了する度
に、ＭＢエンドタイミング信号をレート制御部３に送出
す共に、１ピクチャーの符号化が終了する度に、ピクチ
ャー開始タイミング信号をレート制御部３へ送る。レー
ト制御部３は、ＭＢエンドタイミング信号を入力する度
に、可変長符号化処理部１６からのビットストリームに
基づいて１マクロブロック当たりの実際のビット発生量
Ｂmbを求め、このビット発生量Ｂmbに基づいて量子化幅
ｑ_scaleを決定し、この量子化幅ｑ_scaleを基本符号化
処理部１へ送る。

【００４１】図５は、レート制御部３の構成を示してい
る。同図において、ＭＢカウンタ４は、可変長符号化処
理部１６からのビットストリームに基づいて各マクロブ
ロックの符号化に用いられるビット発生量を計数してい
る。制御回路５は、ＭＢエンドタイミング信号及びピク
チャー開始タイミング信号を入力しており、ＭＢエンド
タイミング信号の度に、ＭＢカウンタ４による計数値に
基づいて１マクロブロック当たりの実際のビット発生量
Ｂmbを求める。また、制御回路５は、目標ビットレート
及びＶＢＶバッファのサイズＶＢＶ_sizeを外部から受
け取り、実際のビット発生量Ｂmb、目標ビットレート及
びＶＢＶバッファのサイズＶＢＶ_size等に基づいて、
各マクロブロック毎に、量子化幅ｑ_scaleを求め、この
量子化幅ｑ_scaleを基本符号化処理部１の重みづけ量子
化部処理部１５に与える。更に、制御回路５は、ＶＢＶ
バッファがアンダーフローの状態に近づくと、アンダー
フロー回避信号を重みづけ量子化部処理部１５に出力す
る。また、制御回路５は、画像データのヘッダ情報とし
てＶＢＶ_delayの期間、目標ビットレート、ＶＢＶバッ
ファのサイズＶＢＶ_sizeを示す信号を可変符号化処理
部１６に出力する。

【００４２】この様な処理は、図６のフローチャートに
従って行われる。まず、レート制御部３の制御回路５
は、１マクロブロック当たりの目標ビット発生量Ｔmb、
１ピクチャー当たりの目標ビット発生量Ｔpic、目標ビ
ットレートＲ（ｂｐｓ）、基準量子化幅ｑ_st、ビット
発生誤差Ｄmb、ＶＢＶバッファの占有量ＶＢＶ_fullnes
s、ＶＢＶバッファのサイズＶＢＶ_size、量子化幅ｑ_s
caleを初期化する（ステップ１０１）。

【００４３】この初期化において、目標ビットレートを
１マクロブロック当たりのレートとして外部から受け取
るものとすると、この目標ビットレートを１マクロブロ
ック当たりの目標ビット発生量Ｔmbとして定める。１ピ
クチャー当たりの目標ビット発生量Ｔpicは、目標ビッ
ト発生量Ｔmbの初期値を１ピクチャー内の各マクロブロ
ックの数だけ整数倍して求められる（Ｔpic＝Ｔmb×
（１ピクチャー当たりのマクロブロック数））。目標ビ
ットレートＲ（ｂｐｓ）は、１ピクチャー当たりの目標
ビット発生量Ｔpicにフレームレートを積算して求めら
れる（Ｒ＝Ｔpic×（フレームレート））。

【００４４】規格で定められたデフォルトの量子化マト
リクスを用いて符号化を行うことを前提に、目標ビット
レートＲ（ｂｐｓ）が略３Ｍｂｐｓの場合は、基準量子
化幅ｑ_stを６に設定し、目標ビットレートＲ（ｂｐ
ｓ）が４Ｍｂｐｓ以上の場合は、基準量子化幅ｑ_stを
５に設定し、目標ビットレートＲ（ｂｐｓ）が６Ｍｂｐ
ｓ以上の場合は、基準量子化幅ｑ_stを４に設定する。
この様に基準量子化幅ｑ_stを目標ビットレートＲ（ｂ
ｐｓ）に応じて決定するものの、この基準量子化幅ｑ_s
tを適宜に変更して設定しても構わない。

【００４５】ここでは、目標ビットレートＲ（ｂｐｓ）
を３Ｍｂｐｓに設定し、基準量子化幅ｑ_stを６に設定
する。

【００４６】ビット発生誤差Ｄmbの初期値は、０に設さ
れる。ＶＢＶバッファのサイズは、外部から指定され、
例えばＭＰ＠ＭＬ規格で規定されている１８３５００８
ビットである。ＶＢＶバッファの占有量ＶＢＶ_fullnes
sは、図８のグラフから明らかな様にビット発生誤差Ｄm
bに対応しており、この占有量ＶＢＶ_fullnessの初期値
がビット発生誤差Ｄmbの初期値０に対応する１３３５０
０８ビットに設定される。したがって、図８のグラフの
横軸におけるビット発生誤差Ｄmbの初期値０の位置を変
更すると、占有量ＶＢＶ_fullnessの初期値も変更され
る。量子化幅ｑ_scaleの初期値は、基準量子化幅ｑ_st
と同じ６に設定される。

【００４７】こうして初期化を終了すると、制御回路５
は、可変長符号化処理部１６の出力に基づいて、一連の
映像信号の終了であるか否かを判定し（ステップ１０
２）、引き続いてピクチャーの開始であるか否かを判定
する（ステップ１０３）。ここでは、映像信号の符号化
を始めたばかりであるから、一連の映像信号の終了でな
いと判定され（ステップ１０２，No）、ピクチャーの開
始であると判定され（ステップ１０３，Yes）、ステッ
プ１０４のスタッフィング（stuffing）処理に移る。

【００４８】このステップ１０４のスタッフィング処理
は、図７に示す手順で行われる。制御回路５は、スタッ
フィングバイトを０に初期設定してから（ステップ２０
１）、ＶＢＶバッファの占有量ＶＢＶ_fullnessとＶＢ
ＶバッファのサイズＶＢＶ_sizeから１ピクチャー当た
りの目標ビット発生量Ｔpicを差し引いた値を比較し
（ステップ２０２）、ＶＢＶバッファの占有量ＶＢＶ_f
ullnessの方が大きければ（ステップ２０２，Yes）、こ
れから行われる１ピクチャーの符号化によって、ＶＢＶ
バッファがオーバーフローするので、スタッフィングバ
イトを歩進して１に設定する。そして、このスタッフィ
ングバイトの増加に伴いＶＢＶバッファの占有量ＶＢＶ
_fullnessから８を差し引いて、この占有量ＶＢＶ_full
nessを更新すると共に、ビット発生誤差Ｄmbに８を加算
して、このビット発生誤差Ｄmbを更新し（ステップ２０
３）、この後にステップ２０２に戻る。

【００４９】したがって、ＶＢＶバッファの占有量ＶＢ
Ｖ_fullnessの方が大きいと判定される限り（ステップ
２０２，Yes）、スタッフィングバイトが１ずつ増加
し、これに伴いＶＢＶバッファの占有量ＶＢＶ_fullnes
sが８ずつ減少し、ビット発生誤差Ｄmbが８ずつ増加す
る（ステップ２０３）。そして、ＶＢＶバッファの占有
量ＶＢＶ_fullnessの方が小さいと判定されると（ステ
ップ２０２，No）、そのときのスタッフィングバイトの
値が可変長符号化処理部１６に通知される。可変長符号
化処理部１６は、スタッフィングバイトの値に応じて、
スタッフィング処理、つまりピクチャーを符号化してな
る画像データに引き続きバイト単位で０の符号列を送出
して、このピクチャーの画像データを見かけ上増加さ
せ、ＶＢＶバッファから除去される画像データの量を増
やし、これによってＶＢＶバッファのオーバーフローを
回避する。

【００５０】ただし、初期状態においては、ＶＢＶバッ
ファの占有量ＶＢＶ_fullnessの方が小さいと判定され
るので（ステップ２０２，No）、スタッフィングバイト
の値０が可変長符号化処理部１６に通知され、スタッフ
ィング処理が行われない。

【００５１】この後、制御回路５は、期間ＶＢＶ_delay
を次式（１）又は（２）から算出する（ステップ１０
５）。 ピクチャーＢ,Ｐの場合 ＶＢＶ_delay＝90000×（ＶＢＶ_fullness＋Ｔpic）／Ｒ …（１） ピクチャーＩの場合 ＶＢＶ_delay＝90000×（ＶＢＶ_fullness＋Ｔpic−ヘッダビット数）／Ｒ …（２） ただし、Ｒは、１秒あたりの目標ビット発生量、ヘッダ
ビット数は、ビデオシーケンスヘッダからピクチャーヘ
ッダ直前までのビット数である。

【００５２】この期間ＶＢＶ_delayは、ピクチャーを符
号化してなる画像データのヘッダ情報となって、復号化
装置に伝送される。この復号化装置では、初めて画像デ
ータをＶＢＶバッファに入力するのであれば、ヘッダ情
報に含まれる期間ＶＢＶ_delayだけ待機して、画像デー
タがＶＢＶバッファに蓄積されてから、画像データの復
号化を開始する。

【００５３】これまでの処理の間に、基本符号化処理部
１による１ピクチャーの符号化が開始され、レート制御
部３の制御回路５は、ＭＢエンドタイミング信号の度
に、ＭＢカウンタ４による計数値に基づいて１マクロブ
ロック当たりの実際のビット発生量Ｂmbを求める。（ス
テップ１０６）。制御回路５は、次式（３）に基づい
て、１マクロブロック当たりの実際のビット発生量Ｂmb
と目標ビット発生量Ｔmbの差をビット発生誤差Ｄmbに加
算し、このビット発生誤差Ｄmbを更新する（ステップ１
０７）。 Ｄｍｂ＝Ｄｍｂ＋Ｂｍｂ―Ｔｍｂ …（３） ここで、１マクロブロック当たりの情報量が大き過ぎた
り小さ過ぎれば、実際のビット発生量Ｂmbが目標ビット
発生量Ｔmbよりも大きくなたっり小さくなり、ビット発
生誤差Ｄmbが発生する。また、１マクロブロック当たり
の情報量が丁度良ければ、実際のビット発生量Ｂmbが目
標ビット発生量Ｔmbに一致し、ビット発生誤差Ｄmbが０
となる。

【００５４】引き続いて、制御回路５は、ビット発生誤
差Ｄmbが予め定められたしきい値Ｄ4を越えいないこと
を確認してから（ステップ１０８，No）、次式（４），
（５），（６），（７），（８）に基づく関数ｆ（Ｒ，
Ｄmb）から量子化幅ｑ_scaleを求める（ステップ１１
０）。 Ｄmb＜Ｄ0の場合 ｆ（Ｒ,Ｄmb）＝１ …（４） Ｄ0≦Ｄmb＜Ｄ1の場合 ｆ（Ｒ,Ｄmb）＝q_st×Ｒ／（Ｒ−Ｋ1×Ｄmb） …（５） Ｄ1≦Ｄmb＜Ｄ2の場合 ｆ（Ｒ,Ｄmb）＝q_st×Ｒ／（Ｒ−Ｋ2×Ｄmb） …（６） Ｄ2≦Ｄmb＜Ｄ3の場合 ｆ（Ｒ,Ｄmb）＝q_st×Ｒ／（Ｒ−Ｋ3×Ｄmb）−Ｋ4 …（７） Ｄmb≧Ｄ3の場合 ｆ（Ｒ,Ｄmb）＝３１ …（８） ただし、上式（４），（５），（６），（７），（８）
に基づく関数ｆ（Ｒ，Ｄmb）の特性を示す図８のグラフ
から明らかな様に、Ｄ0＜Ｄ1＜Ｄ2＜Ｄ3であって、Ｄ0
＝−４０００００、Ｄ1＝０、Ｄ2＝６０００００、Ｄ3
＝１２０００００である。また、Ｋ1は、Ｄmb＝Ｄ0のと
きにｆ（Ｒ,Ｄmb）＝１となる様な値に設定され、Ｋ2
は、Ｄmb＝２近辺でｆ（Ｒ,Ｄmb）＝９となる様な値に
設定され、Ｋ3,Ｋ4は、Ｄmb＝Ｄ2のときにｆ（Ｒ,Ｄm
b）＝９となり、かつＤmb＝Ｄ3近辺でｆ（Ｒ,Ｄmb）＝
３１に近い値となる様な値に設定される。ここでは、Ｋ
1＝３７．５、Ｋ2＝１.６７、Ｋ3＝２．０、Ｋ4＝１．
０とする。これによって、ｆ（Ｒ，Ｄmb）の特性曲線Ｆ
が連続的に変化するものとなる。

【００５５】こうして量子化幅ｑ_scale＝ｆ（Ｒ，Ｄm
b）を求めると、制御回路５は、量子化幅ｑ_scaleの少
数点以下を四捨五入してから、この量子化幅ｑ_scaleを
重みづけ量子化部処理部１５に与える（ステップ１１
１）。重みづけ量子化処理部１５は、量子化幅ｑ_scale
に応じてＤＣＴ変換により得られた各変換係数を量子化
し、これにより得た量子化データを可変長符号化処理部
１６に出力する。可変長符号化処理部１６は、量子化デ
ータを可変長符号化して、圧縮符号化された画像データ
を形成する。

【００５６】以降同様に、ステップ１０２〜１１１の処
理を繰り返し、各マクロブロックが順次符号化され、そ
の度に、１マクロブロック当たりの実際のビット発生量
Ｂmbを求め、これまでの符号化によって累積したビット
発生誤差Ｄmbを求め、このビット誤差Ｄmbを関数ｆ
（Ｒ，Ｄmb）に代入して量子化幅ｑ_scaleを求め、この
量子化幅ｑ_scaleに応じてＤＣＴ変換により得られた各
変換係数を量子化し、この量子化データを可変長符号化
して、圧縮符号化された画像データを形成する。

【００５７】また、各ステップ１０２〜１１１の処理を
繰り返すうちに、ビット発生誤差Ｄmbがしきい値Ｄ4を
越えれば（ステップ１０８，Yes）、つまり実際のビッ
ト発生量Ｂmbが目標ビット発生量Ｔmbよりも非常に大き
く、ピクチャーを符号化するために各ビットを使い過ぎ
て不足している状態になっていれば、ＶＢＶバッファが
アンダーフローになる可能性があるので、アンダーフロ
ー回避信号を重みづけ量子化部処理部１５に出力する
（ステップ１０９）。これに応答して、重みづけ量子化
部処理部１５は、マクロブロックのＤＣ成分のみを符号
化し、画像データの符号量を減少させる。これによっ
て、各ビットの使い過ぎが緩和され、実際のビット発生
量Ｂmbが目標ビット発生量Ｔmbに近づく。

【００５８】ここで、図８のグラフから明らかな様に、
Ｄ0≦Ｄmb＜Ｄ1の場合には、つまりビット発生誤差Ｄmb
がＶＢＶバッファのサイズＶＢＶ_sizeの略１／２付近
で変化する場合には、量子化幅ｑ_scaleの変化が小さく
なっている。例えば、量子化幅q_scaleが６付近では、
ビット発生誤差Ｄmbが３００Ｋbit程度増減したとして
も、量子化幅q_scaleの変化は、１程度である。

【００５９】したがって、ビット発生誤差Ｄmbがその付
近で変化する限り、量子化幅ｑ_scaleが略一定に保た
れ、１マクロブロック当たりの実際のビット発生量Ｂmb
の増減は、該マクロブロックの情報量の大きさに依存す
る。このため、基準量子化幅ｑ_st（＝６）を適宜に設
定しておけば、１ピクチャーの各マクロブロックの後半
と前半で情報量が増減しても、各マクロブロックに対し
て最適のビット発生量を与えることができ、１ピクチャ
ーの符号化に費やされるビット発生量の不足や余剰を防
止することができる。

【００６０】また、１ピクチャーの符号化に費やされる
ビット発生量の増減も、該ピクチャーの情報量の大きさ
に依存するため、基準量子化幅ｑ_st（＝６）を適宜に
設定しておけば、各ピクチャーに対して最適のビット発
生量を与えることができる。

【００６１】また、量子化幅q_scaleが比較的大きな値
となる領域では、１ピクチャーの符号化に費やされるビ
ット発生量に対する量子化幅q_scaleの変化の影響が小
さくなるので、比較的複雑な映像のピクチャーを符号化
しても、目標ビットレートを保つことができる。

【００６２】また、ビット発生誤差Ｄmbに基づいて量子
化幅q_scaleを決定しているため、シーンチェンジ直後
のピクチャーを符号化するときにも、ピクチャーＩを符
号化するときと略同様の量子化幅ｑ_scaleで、この量子
化幅ｑ_scaleを大きく変化させずに、符号化を行うこと
ができ、シーンチェンジ直後でも、再生画像の画質の劣
化が小さくなる様に、映像信号を符号化することができ
る。

【００６３】以上の説明から明らかな様に、上記実施形
態においては、各マクロブロックの符号化の度に、それ
までの符号化に費やしたビット発生量と目標ビットレー
トより換算される目標ビット発生量の差であるビット発
生誤差Ｄmbを算出し、このビット発生誤差Ｄmbに比例し
た値を目標ビットレートより減算した値と目標ビットレ
ートとの比に基づき量子化幅ｑ_scaleを決定している。

【００６４】映像を符号化する際、同じ映像について
は、量子化幅ｑ_scaleと符号化に費やされるビット発生
量の積がほぼ一定になるといわれており、量子化幅ｑ_s
caleを導く関数ｆ（Ｒ,Ｄmb）を設定した場合には、略
同じ各映像を順次符号化するのに費やされるそれぞれの
ビット発生量は、上記積がほぼ一定となる様に量子化幅
ｑ_scaleに対応して変動し、目標ビット発生量からビッ
ト発生誤差Ｄmbの定数倍したものを差し引いた値に設定
されることになる。したがって、１次のフィードバック
制御によって符号化に費やされるビット発生量を制御す
ることと同様に、符号化に費やされるビット発生量を目
標ビット発生量に制御することができる。

【００６５】また、Ｄ0≦Ｄmb＜Ｄ1の場合には、量子化
幅q_scaleが６〜９付近で変化する様に、係数Ｋ1を小さ
く設定しているので、この量子化幅q_scale６〜９の範
囲では、符号化に費やされるビット発生量が変動して、
ビット発生誤差Ｄmbが増減し易く、ＶＢＶバッファのサ
イズＶＢＶ_sizeが有効に利用される。これによって、
復号化装置側の能力が一杯に利用されるまで、シーンチ
ェンジや激しい映像の動きによる情報量の増加に応じて
符号化に費やされるビット発生量を増加させることがで
きる。

【００６６】従来においては、各ピクチャー毎に目標ビ
ット発生量を設定し、ピクチャー内の各マクロブロック
を符号化する度に、マクロブロックの符号化に費やされ
るビット発生量が一定に近づくような制御を行っていた
ため、ピクチャー内での映像の複雑さの分布によって、
単純な絵柄の符号化直後のマクロブロックの量子化幅が
小さめとなり、複雑な絵柄の符号化直後のマクロブロッ
クの量子化幅が大きめになり、再生画像の画質が不均一
になる傾向にあった。

【００６７】これに対して、本実施形態では、ピクチャ
ーよりはるかに大きい容量を有するＶＢＶバッファのサ
イズを有効に利用して、符号化に費やされるビット発生
量が変動する様な制御を行っているので、ピクチャー内
での映像の複雑さの分布が原因となって再生画像の画質
が不均一になることを防止することができる。

【００６８】また、本実施形態においては、目標ビット
レートの制御とＶＢＶバッファの制御をわかり易く説明
するために、ビット発生誤差ＤmbとＶＢＶバッファの占
有量ＶＢＶ_fullnessの両方を用いて説明したが、これ
らは、ピクチャーの符号化直後において次式（９）の関
係にあり、一方から他方を導くことができる。 ＶＢＶ_fullness＝（ＶＢＶ_fullnessの初期値）−Ｄmb …（９） したがって、式（９）を用いれば、ビット発生誤差Ｄmb
のみによって、全ての処理、つまりオーバーフローを回
避するためのスタッフィング処理（ステップ１０４）、
アンダーフロー回避処理（ステップ１０９）等が可能で
あり、本発明は、これを含むものである。また、同様
に、ＶＢＶ_fullnessのみによって、全ての処理が可能
である。

【００６９】換言すれば、従来においては、目標ビット
レートの制御とＶＢＶバッファの制御を別々に行う必要
があったが、本発明においては、ビット発生誤差Ｄmbと
占有量ＶＢＶ_fullnessのうちの１つのパラメータのみ
よる統一的な制御を可能にしている。

【００７０】なお、本実施形態においては、ＶＢＶバッ
ファのサイズＶＢＶ_sizeをＭＰＥＧ２のＭＰ＠ＭＬ規
格で規定されたものとしているが、ＶＢＶバッファのサ
イズＶＢＶ_sizeを変更してもよく、そのサイズの範囲
で、占有量ＶＢＶ_fullnessが制御される様に、量子化
幅q_scaleを導出する関数を定めれば良い。

【００７１】また、目標ビットレートＲ（ｂｐｓ）を３
Ｍｂｐｓに設定しているが、他のビットレートであって
も、本実施形態と同じ手法を適用することができる。

【００７２】更に、ＭＰＥＧ２の符号化装置を例示して
いるが、これに類する符号化装置並びに符号化方法にお
いても、本発明を適用することができる。

【００７３】また、本実施形態では、Ｄ0≦Ｄmb＜Ｄ1の
場合には、量子化幅q_scaleが６〜９付近で変化する様
に、係数Ｋ1を小さく設定したが、予想される映像信号
の符号化の難易度が低かったり（例えば、映画などの場
合は、比較的符号化が容易であって、量子化幅q_scale
を小さめに設定することができる）、再生画像に要求さ
れる画質が低ければ、しきい値Ｄ2付近での量子化幅q_s
caleを８程度に設定してもよい。また、例えば目標ビッ
トレートが４Ｍｂｐｓ程度である場合には、Ｄ1〜Ｄ2の
範囲での量子化幅q_scaleの変化を５〜７程度に設定し
ても良く、規格で定められたデフォルトの量子化マトリ
クス、もしくは該量子化マトリクスに近い値のものを用
いる場合は、Ｄ1〜Ｄ2の範囲で、量子化幅q_scaleを１
０を超えない程度に設定すれば良い。更に、各しきい値
Ｄ0，Ｄ1，Ｄ2，Ｄ3，Ｄ4を数百Ｋbit程度の範囲でずら
すことが可能である。要するに、本発明においては、上
記実施形態における量子化幅q_scaleや、各しきい値Ｄ
0，Ｄ1，Ｄ2，Ｄ3，Ｄ4に限られるものではなく、これ
らの値を適宜に変更することができる。

【００７４】図９は、量子化幅q_scaleを導くための他
の関数ｆ（Ｒ，Ｄmb）の特性を示している。ただし、基
準量子化幅ｑ_stを５に設定している。

【００７５】この図９に示す関数ｆ（Ｒ，Ｄmb）の特性
は、次式（１０），（１１），（１２），（１３）によ
って表される。

【００７６】 Ｄmb＜Ｄ0の場合 ｆ（Ｒ,Ｄmb）＝１ …（１０） Ｄ0≦Ｄmb＜Ｄ1の場合 ｆ（Ｒ,Ｄmb）＝q_st×Ｒ／（Ｒ−Ｋ1×Ｄmb） …（１１） Ｄ1≦Ｄmb＜Ｄ2の場合 ｆ（Ｒ,Ｄmb）＝q_st×Ｒ／（Ｒ−Ｋ2×Ｄmb） …（１２） Ｄmb≧Ｄ2の場合 ｆ（Ｒ,Ｄmb）＝３１ …（１３） Ｋ1は、Ｄmb＝−１００００００のときにｆ（Ｒ，Ｄmb）
＝１となる様な値に設定され、Ｋ2は、Ｄmb＝６０００
００のときにｆ（Ｒ，Ｄmb）＝３１となる様に設定され
る。

【００７７】図９の特性では、おもに静止しているかあ
るいは動きの小さな映像を含む一連のピクチャーや、シ
ーンチェンジが頻繁に起こる一連のピクチャーについて
効果が高い設定になっている。

【００７８】このような一連のピクチャーにおいて、従
来の符号化方法を適用すると、符号化に費やされるビッ
ト発生量がピクチャーＩに極端に集中し、その外のピク
チャーではビット発生量の割り当てが少なくなって、Ｖ
ＢＶバッファの占有量ＶＢＶ_fullnessが高くなり、ス
タッフィング処理が起こりがちである。

【００７９】このため、ここでは、主に、Ｄ0からＤ1の
範囲に対応する量子化幅q_scaleで符号化することを想
定している。したがって、静止に近い映像でピクチャー
ＩがＤ0付近に対応する量子化幅q_scaleで符号化され、
符号化に費やされるビット発生量が非常に大きくなった
としても、なお低い量子化幅q_scaleを維持することが
できる。また、ＧＯＰの途中でシーンチェンジが発生し
ても、Ｄ0からＤ1の範囲においては、量子化幅q_scale
の変化量が小さいので、そのピクチャーの複雑さに応じ
て各ビットが割り当てられる。

【００８０】この様に符号化されるピクチャーに傾向が
ある場合には、各しきい値Ｄ0，Ｄ1，Ｄ2、及び各係数
Ｋ1，Ｋ2を適宜に設定し、その傾向に適した関数ｆ
（Ｒ，Ｄmb）の特性を求めることが有効である。

【００８１】また、量子化幅q_scaleの最低値を１に設
定したが、再生画像の均一性を重視する場合には、量子
化幅q_scaleの最低値を２以上にして、量子化幅q_scale
の変動を小さく設定することが有効である。

【００８２】また、量子化幅q_scaleを導く関数ｆ
（Ｒ，Ｄmb）において、多数のしきい値Ｄ0，Ｄ1，……
を設定して、各しきい値間の各範囲を細かく分けて、こ
れらの範囲毎に、各係数Ｋ1，Ｋ2，……を適宜に設定し
て、量子化幅q_scaleも導いても良い。更に、各しきい
値間の各範囲を細かく分けた場合は、各範囲毎に、量子
化幅q_scaleの特性を直線に近似させて、量子化幅q_sca
leの算出に必要な演算量を減らしても良い。また、各し
きい値の大きさについても、許容できる再生画像の画質
に応じて変更しても良い。

【００８３】図１０は、本発明の第２実施形態における
符号化処理を示すフローチャートである。この符号化処
理は、図１、図３及び図５に示す符号化処理装置におい
て行われる。

【００８４】図１０のフローチャートの処理は、図６の
フローチャートの処理における各ステップ１０１及び１
１０を各ステップ１０１Ａ，１１０Ａに置き換えたもの
であり、他の各ステップ１０２〜１０９及び１１１が図
６のフローチャートの処理と共通する。

【００８５】つまり、図１０のフローチャートの処理
は、図６のフローチャートの処理と比較して、ステップ
１０１Ａにおける各パラメータの初期化処理、及びステ
ップ１１０Ａにおける量子化幅q_scaleの導出処理のみ
が異なる。このステップ１０１Ａを図１１のフローチャ
ートに従って次に説明する。

【００８６】まず、レート制御部３の制御回路５は、目
標ビットレートＲ（ｂｐｓ）を予め定められた値に設定
し、ＶＢＶバッファのサイズを１８３５００８ビットに
設定し、ビット発生誤差Ｄmbを０に設定し、占有量ＶＢ
Ｖ_fullnessを１３３５００８ビットに設定する（ステ
ップ３０１）。

【００８７】次に、制御回路５は、目標ビットレートＲ
をフレームレートで割ることによって、１ピクチャー当
たりの目標ビット発生量Ｔpicを求めると共に、目標ビ
ットレートＲをフレームレートと１ピクチャー内の各マ
クロブロックの数で割ることによって、１マクロブロッ
ク当たりの目標ビット発生量Ｔmbを求める（ステップ３
０２）。

【００８８】引き続いて、制御回路５は、目標ビットレ
ートＲが３Ｍｂｐｓ未満であれば（ステップ３０３，Ye
s）、基準量子化幅ｑ_stを６に設定し（ステップ３０
4）、目標ビットレートＲ（ｂｐｓ）が６Ｍｂｐｓ未満
であれば（ステップ３０５，Yes）、基準量子化幅ｑ_st
を５に設定し（ステップ３０６）、目標ビットレートＲ
（ｂｐｓ）が６Ｍｂｐｓ以上であれば（ステップ３０
５，No）、基準量子化幅ｑ_stを４に設定する（ステッ
プ３０７）。

【００８９】こうして目標ビットレートＲに応じて基準
量子化幅ｑ_stを設定した後に、制御回路５は、目標ビ
ットレートＲ及び基準量子化幅ｑ_stを次式（１４），
（１５），（１６），（１７）に代入して、各係数Ｋ
1，Ｋ2，Ｋ3，Ｋ4を求め、更に、これらの係数Ｋ1，Ｋ
2，Ｋ3，Ｋ4、目標ビットレートＲ及び基準量子化幅ｑ_
stを次式（１８），（１９），（２０）に代入して、関
数ｆ（Ｒ，Ｄmb）を設定する（ステップ３０８）。 Ｋ1＝Ｒ×（ｑ_st−２）／（２×５０００００） …（１４） Ｋ2＝３Ｒ／（（ｑ_st＋３）×５０００００） …（１５） Ｋ3＝Ｒ×（７０−ｑ_st）／（７０×８０００００） …（１６） Ｋ4＝ｑ_st×Ｒ／（Ｒ−Ｋ3×５０００００） −ｑ_st×Ｒ／（Ｒ−Ｋ2×５０００００） …（１７） Ｄmb＜０の場合 ｆ（Ｒ,Ｄmb）＝q_st×Ｒ／（Ｒ−Ｋ1×Ｄmb） …（１８） ０≦Ｄmb＜５０００００の場合 ｆ（Ｒ,Ｄmb）＝q_st×Ｒ／（Ｒ−Ｋ2×Ｄmb） …（１９） Ｄmb＞５０００００の場合 ｆ（Ｒ,Ｄmb）＝q_st×Ｒ／（Ｒ−Ｋ3×Ｄmb）−Ｋ4 …（２０） ただし、関数ｆ（Ｒ，Ｄmb）から導かれる量子化幅q_sc
aleの小数点以下を四捨五入する。また、量子化幅q_sca
leが１以下の場合は、量子化幅q_scaleを１に設定し、
量子化幅q_scaleが３１以上の場合は、量子化幅q_scale
を３１に設定する。

【００９０】こうして上式（１８），（１９），（２
０）に示す関数ｆ（Ｒ，Ｄmb）を設定すると、制御回路
５は、各ステップ１０２〜１０９，１１０Ａ，１１１の
処理を繰り返し、ステップ１１０Ａの度に、該関数ｆ
（Ｒ，Ｄmb）に基づく演算を行って、量子化幅ｑ_scale
を更新する。

【００９１】この様に目標ビットレートＲに応じて基準
量子化幅q_stを適宜に設定すれば、目標ビットレートＲ
に応じた安定した画質の再生画像を得ることができる。
例えば、目標ビットレートが３Ｍｂｐｓ未満と低い場合
は、平均的な量子化幅が大きくなるので、この平均的な
量子化幅の近辺で、量子化幅が小さな変化率で変化する
様な関数ｆ（Ｒ，Ｄmb）を設定すれば、画質が安定す
る。同様に、目標ビットレートが６Ｍｂｐｓ未満と高い
場合は、平均的な量子化幅が小さくなるので、この平均
的な量子化幅の近辺で、量子化幅が小さな変化率で変化
する様な関数ｆ（Ｒ，Ｄmb）を設定すれば、再生画像の
画質が安定する。

【００９２】図１２は、本発明の第３実施形態における
符号化処理を示すフローチャートである。この符号化処
理は、図１、図３及び図５に示す符号化処理装置におい
て行われる。

【００９３】図１２のフローチャートの処理は、図６の
フローチャートの処理における各ステップ１０１及び１
１０を各ステップ１０１Ｂ，１１０Ｂに置き換え、更に
ステップ４０１を加えたものであり、他の各ステップ１
０２〜１０９及び１１１が図６のフローチャートの処理
と共通する。

【００９４】したがって、図１２のフローチャートの処
理は、図６のフローチャートの処理と比較して、ステッ
プ１０１Ｂにおける各パラメータの初期化処理、及びス
テップ１１０Ｂにおける量子化幅q_scaleの導出処理が
異なり、更にステップ４０１における係数Ｋ5の更新処
理が異なる。

【００９５】ステップ１０１Ｂにおいて、レート制御部
３の制御回路５は、目標ビットレートＲ（ｂｐｓ）を予
め定められた値に設定し、ＶＢＶバッファのサイズを１
８３５００８ビットに設定し、ビット発生誤差Ｄmbを０
に設定し、占有量ＶＢＶ_fullnessを９３５００８ビッ
トに設定する。また、目標ビットレートＲをフレームレ
ートで割ることによって、１ピクチャー当たりの目標ビ
ット発生量Ｔpicを求めると共に、目標ビットレートＲ
をフレームレートと１ピクチャー内の各マクロブロック
の数で割ることによって、１マクロブロック当たりの目
標ビット発生量Ｔmbを求める。更に、係数Ｋ5を０に設
定し、基準量子化幅ｑ_stを３に設定し、直前の量子化
幅last_ｑ及び量子化幅ｑ_scaleを基準量子化幅ｑ_stと
同じ３に共に設定する。

【００９６】このステップ１０１Ｂは、占有量ＶＢＶ_f
ullnessを９３５００８ビットに設定した点、係数Ｋ5及
び直前の量子化幅last_ｑと言う２つの新たなパラメー
タを付加した点、及び基準量子化幅ｑ_stを低めの３に
設定した点で、図６のステップ１０１と異なる。

【００９７】この後、制御回路５は、各ステップ１０２
〜１０７，４０１，１０８，１０９，１１０Ｂ，１１１
の処理を繰り返し、その度に、１マクロブロック当たり
の実際のビット発生量Ｂmbを求め（ステップ１０６）、
上式（３）に基づいてビット発生誤差Ｄmbを更新し（ス
テップ１０７）、係数Ｋ5及び直前の量子化幅last_ｑを
更新し（ステップ４０１）、ビット発生誤差Ｄmbがしき
い値Ｄ4を越えいないことを確認してから（ステップ１
０８，No）、関数ｆ（last_ｑ，Ｋ5，Ｄmb）に基づく演
算を行って、量子化幅ｑ_scaleを更新し（ステップ１１
０Ｂ）、この量子化幅ｑ_scaleに応じてＤＣＴ変換によ
り得られた各変換係数を量子化し（ステップ１１１）、
量子化データを可変長符号化して、圧縮符号化された画
像データを形成する。

【００９８】ステップ４０１の処理を図１３のフローチ
ャートに従って次に説明する。まず、制御回路５は、直
前の量子化幅last_ｑを１つ前のマクロブロックを符号
化するときに用いた量子化幅q_scaleに更新し（ステッ
プ４１１）、ビット発生誤差Ｄmb＞５０００００である
か否かを判定する（ステップ４１２）。ビット発生誤差
Ｄmb＞５０００００であれば（ステップ４１２，Ye
s）、制御回路５は、直前の量子化幅last_ｑが７以上１
０以下の範囲に入っていることを確認してから（ステッ
プ４１３，Yes）、係数Ｋ5を直前の量子化幅last_ｑ
（７以上１０以下）から６を引いた差（１以上４以下）
に更新する（ステップ４１４）。ただし、直前の量子化
幅last_ｑが７以上１０以下の範囲に入っていなければ
（ステップ４１３，No）、ステップ４１４において係数
Ｋ5を更新することはない。

【００９９】また、ビット発生誤差Ｄmb＞５０００００
でなければ（ステップ４１２，No）、制御回路５は、０
≧ビット発生誤差Ｄmb＞−１０００００かつ係数Ｋ5≧
４であるか否かを判定し（ステップ４１５）、この条件
を満たせば（ステップ４１５，Yes）、係数Ｋ5を３に更
新する（ステップ４１６）。また、この条件を満たさな
ければ（ステップ４１５，No）、次のステップ４１７に
移る。

【０１００】このステップ４１７において、制御回路５
は、−１０００００≧ビット発生誤差Ｄmb＞−２０００
００かつ係数Ｋ5≧３であるか否かを判定し、この条件
を満たせば（ステップ４１７，Yes）、係数Ｋ5を２に更
新する（ステップ４１８）。また、この条件を満たさな
ければ（ステップ４１７，No）、次のステップ４１９に
移る。

【０１０１】このステップ４１９において、制御回路５
は、−２０００００≧ビット発生誤差Ｄmb＞−３０００
００かつ係数Ｋ5≧２であるか否かを判定し、この条件
を満たせば（ステップ４１９，Yes）、係数Ｋ5を１に更
新する（ステップ４２０）。また、この条件を満たさな
ければ（ステップ４１９，No）、次のステップ４２１に
移る。

【０１０２】このステップ４２１において、制御回路５
は、ビット発生誤差Ｄmb＜−３０００００であるか否か
を判定し、この条件を満たせば（ステップ４２１，Ye
s）、係数Ｋ5を０に更新し（ステップ４２２）、この条
件を満たさなければ（ステップ４２１，No）、係数Ｋ5
を更新しない。

【０１０３】すなわち、図１３のフローチャートの処理
においては、直前の量子化幅last_ｑを１つ前のマクロ
ブロックを符号化するときに用いた量子化幅q_scaleに
更新している。また、各ステップ４１２，４１５，４１
７，４１９，４２１に示す各数値範囲のいずれにも、ビ
ット発生誤差Ｄmbが含まれなければ、つまり５００００
０≧ビット発生誤差Ｄmb＞０であれば、係数Ｋ5を更新
しない。更に、ビット発生誤差Ｄmb＞５０００００にな
ったときには、直前の量子化幅last_ｑが７以上１０以
下の範囲に入っていることを前提に、係数Ｋ5を直前の
量子化幅last_ｑ（７以上１０以下）から６を引いた差
（１以上４以下）に更新する。この後、ビット発生誤差
Ｄmbが０以下に低下したときには、その低下の程度に従
って、係数Ｋ5を段階的に０まで戻している。

【０１０４】こうして直前の量子化幅last_ｑを更新
し、かつ係数Ｋ5を設定した後に、図１２のフローチャ
ートのステップ１１０Ｂにおいて、関数ｆ（last_ｑ，
Ｋ5，Ｄmb）に基づく演算を行い、量子化幅ｑ_scaleを
更新する。

【０１０５】図１４は、量子化幅q_scaleを導くための
関数ｆ（last_ｑ，Ｋ5，Ｄmb）の特性を示している。

【０１０６】この図１４に示す関数ｆ（last_ｑ，Ｋ5，
Ｄmb）の特性は、次式（２１）〜（２８）によって表さ
れる。

【０１０７】 Ｄmb＜０の場合 ｆ（last_ｑ，Ｋ5，Ｄmb）＝1800000／（600000−Ｄmb）＋Ｋ5 …（２１） ０≦Ｄmb＜500000の場合 ｆ（last_ｑ，Ｋ5，Ｄmb）＝3000000/（1000000−Ｄmb）＋Ｋ5 …（２２） Ｄmb≧500000かつ3000000／（1000000−Ｄmb）＜7かつＫ5＝１の場合 ｆ（last_ｑ，Ｋ5，Ｄmb）＝７ …（２３） Ｄmb≧500000かつ3000000／（1000000−Ｄmb）＜8かつＫ5＝２の場合 ｆ（last_ｑ，Ｋ5，Ｄmb）＝８ …（２４） Ｄmb≧500000かつ3000000／（1000000−Ｄmb）＜9かつＫ5＝３の場合 ｆ（last_ｑ，Ｋ5，Ｄmb）＝９ …（２５） Ｄmb≧500000かつ3000000／（1000000−Ｄmb）＜10かつＫ5＝４の場合 ｆ（last_ｑ，Ｋ5，Ｄmb）＝１０ …（２６） 上記条件以外で、900000≧Ｄmb≧500000の場合 ｆ（last_ｑ，Ｋ5，Ｄmb）＝3000000／（1000000−Ｄmb） …（２７） 上記条件以外で、900000＞Ｄmbの場合 ｆ（last_ｑ，Ｋ5，Ｄmb）＝３１ …（２８） ただし、ｆ（last_ｑ，Ｋ5，Ｄmb）から導かれる量子化
幅q_scaleの小数点以下を四捨五入する。

【０１０８】ここで、先に述べた様に係数Ｋ5を０に初
期設定した後（ステップ１０１Ｂ）、５０００００≧ビ
ット発生誤差Ｄmb＞０である限り、この係数Ｋ5を更新
しないので（ステップ４０１）、量子化幅q_scaleは、
上式（２２）から導出され、図１４のグラフにおける特
性Ｆ1に沿って変化し、ビット発生誤差Ｄmb＝０のとき
に、基準量子化幅ｑ_st＝３に一致する。

【０１０９】この後に、例えばビット発生誤差Ｄmb＞５
０００００となり（ステップ４１２，Yes）、かつ直前
の量子化幅last_ｑ＝１０となったときには（ステップ
４１３）、係数Ｋ5を４に更新することになる（ステッ
プ４１４）。

【０１１０】次に、量子化幅q_scaleが調整されて、ビ
ット発生誤差Ｄmbが低下したときには、量子化幅q_scal
eは、上式（２６）から導出され、図１４のグラフにお
ける特性Ｆ9に沿って変化する。更に、５０００００≧
ビット発生誤差Ｄmb＞０になると、量子化幅q_scale
は、上式（２２）から導出されるものの、係数Ｋ5を４
に更新したことから、図１４のグラフにおける特性Ｆ5
に沿って変化する。

【０１１１】次に、ビット発生誤差Ｄmbが低下して、０
≧ビット発生誤差Ｄmb＞−１０００００かつ係数Ｋ5≧
４と判定されると（ステップ４１５，Yes）、係数Ｋ5を
３に更新するので（ステップ４１６）、量子化幅q_scal
eは、上式（２２）から導出され、図１４のグラフにお
ける特性Ｆ4に沿って変化する。

【０１１２】この後、５０００００≧ビット発生誤差Ｄ
mb＞０に戻れば、量子化幅q_scaleは、図１４のグラフ
における特性Ｆ4に沿って変化する。また、ビット発生
誤差Ｄmbが更に低下して、ビット発生誤差Ｄmb＜−３０
００００であると判定されると（ステップ４２１，Ye
s）、係数Ｋ5を０に更新するので（ステップ４２２）、
量子化幅q_scaleは、上式（２２）から導出され、図１
４のグラフにおける特性Ｆ1に沿って変化する。

【０１１３】以降同様に、ビット発生誤差Ｄmb＞５００
０００となったときには、直前の量子化幅last_ｑが７
以上１０以下の範囲に入っていることを前提に、係数Ｋ
5が大きくなる様に更新し、この後に、５０００００≧
ビット発生誤差Ｄmb＞０になると、係数Ｋ5の大きさに
応じて、各特性Ｆ2〜Ｆ5のいずれかを選択し、ビット発
生誤差Ｄmbが小さくなるにつれて、係数Ｋ5を段階的に
小さく更新して、特性Ｆ1に戻る。

【０１１４】すなわち、図１２のフローチャートの処理
においては、量子化幅q_scaleの特性として、ヒステリ
シスループを描くものを適用している。このため、ピク
チャーの符号化の難易度が高くなって、符号化に費やさ
れるビット発生量が大きくなり、ビット発生誤差Ｄmbが
増大して、量子化幅q_scaleが十分に大きくなったとき
には、ヒステリシスループの上側の特性曲線に従って、
量子化幅q_scaleが変化するので、この量子化幅q_scale
を大きく維持することができ、再生画像の画質を安定さ
せることができる。

【０１１５】また、符号化の難易度が極端に高くなって
ｋ５が大きくなった後、シーンチェンジなどによって、
符号化の難易度が比較的低くなったとき、ビット発生誤
差Ｄmbが急激に減少し、ビット発生誤差Ｄmb＜０の領域
で、量子化幅q_scaleが急激に減少するものの、この後
の増加の方向では、量子化幅q_scaleの変化率が小さく
なるので、画質が向上してから、この画質が安定に維持
される。

【０１１６】この様に符号化の難易度が低い場合は、量
子化幅を小さく設定して、再生画像の画質を安定に保
ち、また難易度が高い場合には、量子化幅を大きくし
て、これを維持することによって、再生画像の画質を安
定させているので、目標ビットレート毎に、量子化幅を
導く関数を変更する必要がなく、符号化の難易度に応じ
て画質が安定する様な符号化が行える。

【０１１７】なお、第３実施形態では、量子化幅を導く
関数として、上式で示したような特性曲線を導くものと
したが、量子化幅を導く特性として、ヒステリシスルー
プを描くものであれば、特性曲線を直線に近似してもよ
い。ここでは、ヒステリシス特性となる条件として、量
子化幅とビット発生誤差を用いているが、量子化幅とビ
ット発生誤差の関係に基づいて、一方から他方を導くこ
とができるので、いずれか一方のみを用いても良い。

【０１１８】

【発明の効果】以上の説明から明らかな様に、本発明に
よれば、実際のビット発生量と前記目標ビット発生量の
差であるビット発生誤差を求めて、このビット発生誤差
に対応する量子化幅を求めており、前記ビット発生誤差
の予め定められた範囲においては、ビット発生誤差の変
化に対して量子化幅が小さく変化する特性を設定し、こ
の特性に基づいてビット発生誤差に対する量子化幅を求
めている。このため、ビット発生誤差の予め定められた
範囲において該ビット発生誤差が変化している状態で
は、量子化幅が大きく変化せず、ＧＯＰ内の各ピクチャ
ーＩ，Ｐ，Ｂのいずれに対しても、それぞれの適切な目
標ビット発生量が割り当てられ、これらのピクチャーに
対応する各再生画像の画質が安定する。また、１つのピ
クチャーにおいても、ビット発生誤差の予め定められた
範囲において該ビット発生誤差が変化している限り、適
切な量子化幅を設定して、各マクロブロックの符号化の
難易度に応じて適切なそれぞれのビット発生量を該各マ
クロブロックに割り当てることができる。

【図面の簡単な説明】

【図１】本発明の画像圧縮符号化装置の第１実施形態例
を示すブロック図

【図２】映像信号の符号化処理の概略を説明するために
用いた図

【図３】図１の装置における基本符号化処理部を示すブ
ロック図

【図４】映像信号を固定レートで符号化するときのＶＢ
Ｖバッファ中のデータ占有量を示す図

【図５】図１の装置におけるレート制御部を示すブロッ
ク図

【図６】図１の装置における符号化処理を示すフローチ
ャート

【図７】図６の符号化処理におけるステップ１０４のス
タッフィング処理を示すフローチャート

【図８】図１の装置における量子化幅q_scaleを導くた
めの関数ｆ（Ｒ,Ｄmb）の特性を示すグラフ

【図９】図１の装置における量子化幅q_scaleを導くた
めの他の関数ｆ（Ｒ,Ｄmb）の特性を示すグラフ

【図１０】本発明の第２実施形態における符号化処理を
示すフローチャート

【図１１】図１０の符号化処理におけるステップ１０１
Ａの初期化処理を示すフローチャート

【図１２】本発明の第３実施形態における符号化処理を
示すフローチャート

【図１３】図１２の符号化処理におけるステップ４０１
の処理を示すフローチャート

【図１４】第３の実施例における量子化幅q_scaleを導
くための関数関数ｆ（last_ｑ，Ｋ5，Ｄmb）の特性を示
すグラフ

【符号の説明】

１ 基本符号化処理部 ２ エンコーダ送出バッファ ３ レート制御部 ４ ＭＢビットカウンタ ５ 制御回路 １１ 画像並び替え部 １２ 走査変換処理部 １３ 差分部 １４ ＤＣＴ変換処理部 １５ 重みづけ量子化処理部 １６ 可変長符号化処理部 １７ 逆量子化部 １８ 逆ＤＣＴ処理部 １９ 動き補償付き予測処理部 ２０ モード判定部 ２１ 動き検出処理部 ２２ 加算処理部

Claims (14)

(57)【特許請求の範囲】
1. 【請求項１】 映像信号を符号化するときの量子化幅を
   求め、この量子化幅に基づいて該映像信号を符号化する
   画像圧縮符号化装置であって、 前記映像信号の符号化に費やされた実際のビット発生量
   を求めると共に、目標ビットレートに応じた目標ビット
   発生量を求め、前記実際のビット発生量と前記目標ビッ
   ト発生量の差であるビット発生誤差を求めて、このビッ
   ト発生誤差に対応する量子化幅を求めており、前記ビッ
   ト発生誤差の予め定められた範囲においては、ビット発
   生誤差の変化に対して量子化幅が小さく変化する特性を
   設定し、この特性に基づいてビット発生誤差に対する量
   子化幅を求める制御手段を備える画像圧縮符号化装置。
2. 【請求項２】 基準量子化幅が予め定められており、 制御手段は、目標ビットレートからビット発生誤差に対
   応する値を差し引いた値と該目標ビットレートの比を求
   めて、この比と前記基準量子化幅を積算し、この積に基
   づいて映像信号を符号化するときの量子化幅を求める請
   求項１に記載の画像圧縮符号化装置。
3. 【請求項３】 制御手段は、目標ビットレートに基づい
   て基準量子化幅を求め、ビット発生誤差の予め定められ
   た範囲においては、ビット発生誤差の変化に対して量子
   化幅が前記基準量子化幅近傍で小さく変化する特性を設
   定し、この特性に基づいてビット発生誤差に対する量子
   化幅を求める請求項１に記載の画像圧縮符号化装置。
4. 【請求項４】 ビット発生誤差の予め定められた範囲及
   び該範囲の近傍においては、ビット発生誤差の変化に対
   する量子化幅の変化の特性がヒステリシスループを描く
   請求項１に記載の画像圧縮符号化装置。
5. 【請求項５】 映像信号を符号化してなる各画像データ
   を順次入力して、これらの画像データを順次出力する仮
   想バッファを想定した場合は、この仮想バッファの占有
   量がビット発生誤差に対応し、この仮想バッファの占有
   量が０近傍になると、量子化幅が急峻に最大値に近づ
   き、かつビット発生誤差の変化に対して小さく変化する
   該量子化幅の特性に連なる様に、該量子化幅が連続的に
   変化する請求項１に記載の画像圧縮符号化装置。
6. 【請求項６】 ビット発生誤差の複数の範囲が予め定め
   られ、これらの範囲毎に、ビット発生誤差の変化に対す
   る量子化幅の変化を示す特性が設定され、 制御手段は、前記各範囲のうちからビット発生誤差の入
   る範囲を選択して、この範囲の特性に基づいて、ビット
   発生誤差に対する量子化幅を求める請求項１に記載の画
   像圧縮符号化装置。
7. 【請求項７】 ＭＰＥＧ規格に準拠して、映像信号をマ
   クロブロック単位で量子化幅に基づいて符号化してお
   り、 制御手段は、マクロブロック毎に、ビット発生誤差に対
   応する量子化幅を求める請求項１に記載の画像圧縮符号
   化装置。
8. 【請求項８】 映像信号を符号化するときの量子化幅を
   求め、この量子化幅に基づいて該映像信号を符号化する
   画像圧縮符号化方法であって、 前記映像信号の符号化に費やされた実際のビット発生量
   を求めると共に、目標ビットレートに応じた目標ビット
   発生量を求め、前記実際のビット発生量と前記目標ビッ
   ト発生量の差であるビット発生誤差を求めて、このビッ
   ト発生誤差に対応する量子化幅を求めており、前記ビッ
   ト発生誤差の予め定められた範囲においては、ビット発
   生誤差の変化に対して量子化幅が小さく変化する特性を
   設定し、この特性に基づいてビット発生誤差に対する量
   子化幅を求める画像圧縮符号化方法。
9. 【請求項９】 基準量子化幅が予め定められており、目
   標ビットレートからビット発生誤差に対応する値を差し
   引いた値と該目標ビットレートの比を求めて、この比と
   前記基準量子化幅を積算し、この積に基づいて映像信号
   を符号化するときの量子化幅を求める請求項８に記載の
   画像圧縮符号化方法。
10. 【請求項１０】 目標ビットレートに基づいて基準量子
    化幅を求め、ビット発生誤差の予め定められた範囲にお
    いては、ビット発生誤差の変化に対して量子化幅が前記
    基準量子化幅近傍で小さく変化する特性を設定し、この
    特性に基づいてビット発生誤差に対する量子化幅を求め
    る請求項８に記載の画像圧縮符号化方法。
11. 【請求項１１】 ビット発生誤差の予め定められた範囲
    においては、ビット発生誤差の変化に対する量子化幅の
    変化の特性がヒステリシスループを描く請求項８に記載
    の画像圧縮符号化方法。
12. 【請求項１２】 映像信号を符号化してなる各画像デー
    タを順次入力して、これらの画像データを順次出力する
    仮想バッファを想定した場合は、この仮想バッファの占
    有量がビット発生誤差に対応し、この仮想バッファの占
    有量が０近傍になると、量子化幅が急峻に最大値に近づ
    き、かつビット発生誤差の変化に対して小さく変化する
    該量子化幅の特性に連なる様に、該量子化幅が連続的に
    変化する請求項８に記載の画像圧縮符号化方法。
13. 【請求項１３】 ビット発生誤差の複数の範囲が予め定
    められ、これらの範囲毎に、ビット発生誤差の変化に対
    する量子化幅の変化を示す特性が設定され、前記各範囲
    のうちからビット発生誤差の入る範囲を選択して、この
    範囲の特性に基づいて、ビット発生誤差に対する量子化
    幅を求める請求項８に記載の画像圧縮符号化方法。
14. 【請求項１４】 ＭＰＥＧ規格に準拠して、映像信号を
    マクロブロック単位で量子化幅に基づいて符号化してお
    り、マクロブロック毎に、ビット発生誤差に対応する量
    子化幅を求める請求項８に記載の画像圧縮符号化方法。