JP4007398B2 - 量子化制御装置およびその方法 - Google Patents

Description

この発明は、例えばＤＣＴ(Discrete Cosine Transform) を用いた符号化に対して適用できる量子化制御装置およびその方法に関する。

ＭＰＥＧ(Moving Pictures Expert Group)規格に代表されるＤＣＴを用いた画像圧縮方式では、伝送路に送出されるビットストリームが所望のレートになるように、符号量制御を行なっている。例えば量子化ステップを表す量子化インデックスを制御することによって、符号量制御がなされる。ＭＰＥＧ２でＴＭ５として提案されている符号量制御では、仮想バッファの残量と、以前エンコードした際の量子化インデックスと発生符号量の関係を用いて量子化ステップをフィードバック制御している。

図１は、ＭＰＥＧのレイヤー構造を示すものである。シーケンス層、ＧＯＰ(Group Of
Picture)層、ピクチャ層、スライス層、マクロブロック層からなる階層構造が規定されている。より具体的には、図１に示すように、スライス層や、マクロブロック層に含まれるデータ（Ｑスケールと呼ぶ）で量子化ステップを変化させることによって、１フレーム等の固定期間で発生する符号量を調節している。例えば（４：２：０）のフォーマットでは、４個の輝度信号のブロックと、色信号Ｕの１個のブロックと、色信号Ｖの１個のブロックとによって、マクロブロックが構成されている。

一例として、Ｑスケールの値qscaleとして、Ｑ１〜Ｑ３１の３１種類が用意されている。Ｑスケールの番号が大きくなるにしたがって、量子化ステップが大きい値となるようにされている。第２図に示すように、量子化と総符号量の関係は、量子化ステップを大きくすると、量子化が粗くなり総符号量が少なくなる。逆に、量子化ステップを小さくすると、量子化は細かくなり総符号量が多くなる。また、量子化は離散値しかとれないため、総符号量も離散的になる。

通信等のアプリケーションでは、以前の量子化ステップと総符号量の関係を用いて、現在の平均レートに対してフィードバックをかける方式が一般的である。すなわち、現在の平均レートが目標レートよりも高めならば量子化ステップを若干粗めにして総符号量を下げ、現在の平均レートが低めならば量子化ステップを若干細かくして総符号量を増やす。このようにして平均的に目標レートを実現するように制御を行う。すなわち、細かい時間で見ると総符号量は増減するものの、長い時間で見ると平均的に総符号量を目標値とするものである。

しかしながら、編集等を前提としたＶＴＲのようなアプリケーションでは、前述のような平均レートだけで制御すると不具合がおきてしまう。このようなアプリケーションでは、例えばフレーム毎での編集といった操作があるため、編集単位毎にその総符号量が一定量を絶対に超えないような制御が必要となる。以下、このような制御を固定長符号量制御と呼ぶことにする。

前述のフィードバック制御ではこの様な制御が困難なため、再生画像の破綻を来したり、あるいは符号量が目標値を超えないようにマージンを見込み過ぎて画質が劣化してしまうことがあった。そこで、予め異なる量子化ステップの固定量子化器を複数用いて量子化を行ない、そのときの総符号量に基づいて、量子化制御を行なうという技術が知られている。例えば、下記の特許文献１には、フィードフォワード方式の符号量制御が開示されている。

国際公開公報ＷＯ９６／２８９３７

具体的には、第２図に示される３１種類のＱスケールをそれぞれ持つ量子化器を設け、各量子化器で量子化された量子化ＤＣＴ係数の１フレーム期間（以下では、画面の用語を適宜使用する）の総符号量をそれぞれを求め、総符号量が目標符号量を超えず、且つ目標符号量に対する差が小さいＱスケールを決定する。第２図の例では、Ｑ４がそのようなＱスケールに該当する。

しかしながら、この求められた例えば３１種類の量子化の時の総符号量をもとに、どのように量子化ステップを決めるのかが問題となる。Ｑスケールは、離散的なものであるので、ビットレートも離散的な値しかとれず細かな制御ができず、目標符号量との差が充分に小さくならない問題があった。

したがって、この発明の目的は、符号量制御において、アクティビティに応じて、目標符号量を超えないで、且つ目標符号量と総符号量との差をより小さくすることが可能な量子化制御装置およびその方法を提供することにある。

上述した課題を解決するために、この発明は、画像信号を量子化する量子化制御装置において、
画像信号の等長化単位分の複数のブロックを複数の第１の量子化ステップで量子化して発生する符号量を、第１の量子化ステップの夫々に対応して算出し、画像信号のブロック毎のアクティビティを検出し、検出したアクティビィティをブロックのそれぞれに対するアクティビティ情報として出力し、第１の量子化ステップのそれぞれとブロック毎のアクティビティ情報とを演算して、演算結果を丸め処理することによってブロック毎にアクティビティを考慮した複数の量子化ステップを決定する第１の決定手段と、
アクティビティを考慮した複数の量子化ステップにより量子化したときに、等長化単位で発生する総符号量が目標符号量を下回り、総符号量と目標符号量との差が最小となる第２の量子化ステップを、符号量情報を参照してブロック毎に決定する第２の決定手段と、
第２の量子化ステップで量子化したときの等長化単位で発生する総符号量と目標符号量との差である余剰符号量を検出し、余剰符号量に応じてしきい値を発生し、アクティビティを考慮した複数の量子化ステップの決定時における丸め処理において切捨てた値の大きさに応じて第２の量子化ステップをより小とする場合の優先度を決定し、優先度がしきい値以下と判定されたブロックに対して、第２の量子化ステップより小で、画像信号の等長化単位で発生する総符号量が目標符号量を越えないように第３の量子化ステップを決定する第３の決定手段とからなり、
第２又は第３の決定手段で決定された第３の量子化ステップで各ブロックを量子化することを特徴とする量子化制御装置である。

この発明は、画像信号を量子化する量子化制御方法において、
画像信号の等長化単位分の複数のブロックを複数の第１の量子化ステップで量子化して発生する符号量を、第１の量子化ステップの夫々に対応して算出し、画像信号のブロック毎のアクティビティを検出し、検出したアクティビィティをブロックのそれぞれに対するアクティビティ情報として出力し、第１の量子化ステップのそれぞれとブロック毎のアクティビティ情報とを演算して、演算結果を丸め処理することによってブロック毎にアクティビティを考慮した複数の量子化ステップを決定する第１の決定ステップと、
アクティビティを考慮した複数の量子化ステップにより量子化したときに、等長化単位で発生する総符号量が目標符号量を下回り、総符号量と目標符号量との差が最小となる第２の量子化ステップを、符号量情報を参照してブロック毎に決定する第２の決定ステップと、
第２の量子化ステップで量子化したときの等長化単位で発生する総符号量と目標符号量との差である余剰符号量を検出し、余剰符号量に応じてしきい値を発生し、アクティビティを考慮した複数の量子化ステップの決定時における丸め処理において切捨てた値の大きさに応じて第２の量子化ステップをより小とする場合の優先度を決定し、優先度がしきい値以下と判定されたブロックに対して、第２の量子化ステップより小で、画像信号の等長化単位で発生する総符号量が目標符号量を越えないように第３の量子化ステップを決定する第３の決定ステップとからなり、
第２又は第３の決定ステップで決定された第３の量子化ステップで各ブロックを量子化する
ことを特徴とする量子化制御方法である。

この発明は、量子化ステップが画像の局所的性質により可変されるので、復号画像の画質を向上することができる。この場合、アクティビティ情報によって補正された量子化ステップを丸める時の処理に注目して、量子化ステップを変化させる場合の優先順位を定めている。さらに、余剰符号量に対応してしきい値をテーブルとして有し、テーブルを参照してしきい値を決定する。そして、しきい値より順位が高いアクティビティを持つマクロブロックの場合では、量子化ステップを一段階細かくする。このようにしてアクティビティに応じて量子化ステップを制御する場合に、余剰符号量に適応して量子化ステップを制御することが可能となる。

以下、この発明の一実施の形態について図面を参照して説明する。第３図は、この発明が適用されたエンコーダの全体的構成を示す。一例として、１フレーム、すなわち、１画面単位で総符号量が固定長になるように制御する。第３図において、参照符号１が走査変換部を示す。走査変換部１において、入力画像信号がマクロブロックに分割される。入力画像がプログレッシブ走査の場合では、そのままマクロブロックに分割され、インターレース走査の場合は、フィールド−フレーム変換してマクロブロックに分割される。ＭＰＥＧでは、輝度信号に関して、４個のＤＣＴブロックから構成される（１６×１６）のサイズのブロックが構成される。色差信号Ｃｒ、Ｃｂに関して、（４：２：０）の場合、それぞれが（８×８）のブロックが構成される。これらの合計６個のＤＣＴブロックをまとめて一つのマクロブロックが構成される。

走査変換部１においてマクロブロック化されたデータが本線系２および予測系３にそれぞれ入力される。本線系２は、参照符号４が付されたＦＩＦＯ、参照符号５が付されたＤＣＴ処理部、参照符号６が付された量子化部、参照符号７が付されたＶＬＣ(Variable Length Coding) 、参照符号８が付されたバッファとからなる。

ＤＣＴ処理部５では、イントラ符号化が行われ、入力画素値そのものがＤＣＴされる。量子化部６には、予測系３においてマクロブロックmb毎に決定された第３の量子化ステップとしての量子化ステップＱfinal[mb] が供給され、この量子化ステップＱfinal[mb] でＤＣＴ係数が量子化される。ＦＩＦＯ４は、予測系３において、量子化ステップＱfinal
が決定されるまでの時間を補償するための遅延素子である。

量子化部６からの量子化ＤＣＴ係数がＶＬＣ部７において可変長符号化される。ＶＬＣ部７の出力がバッファ８に供給される。バッファ８を介して平滑化されたビットストリームが出力される。

予測系３は、参照符号９で示すＤＣＴ処理部と、参照符号１０−１，１０−２，・・・，１０−ｎで示すｎ個の量子化器と、参照符号１１−１，１１−２，・・・，１１−ｎで示すｎ個の符号量検出器と、参照符号１２で示すメモリと、参照符号１３で示すminqq 決定部と、参照符号１４で示すＱfinal 決定部と、アクティビティ算出回路１５とからなる。Ｑfinal 決定部１４からの量子化ステップが上述した本線系２の量子化部６に供給される。

ｎ個の量子化器１０−１，１０−２，・・・，１０−ｎは、それぞれ異なる量子化ステップで量子化する。各量子化器で発生した量子化ＤＣＴ係数が符号量検出器１１−１，１１−２，・・・，１１−ｎに供給され、各マクロブロックの符号量が符号量検出器１１−１，１１−２，・・・，１１−ｎからそれぞれ発生する。符号量検出器１１−１，１１−２，・・・，１１−ｎは、量子化ＤＣＴ係数をＶＬＣ部７と同様に可変長符号化し、可変長符号を各マクロブロックについて集計する構成とされている。このようにして求められた各マクロブロックについての各量子化の符号量情報をメモリ１２に保存する。

メモリ１２上では、各マクロブロックmbに対して、qscaleで量子化した符号量をLength[mb,qsca1e] といった二次元配列の形で保存する。例えば１画面内のマクロブロック数が１３５０個で、量子化ステップの種類が３１個であれば、縦および横方向のアドレスの一方が（ｍｂ＝１）から（ｍｂ＝１３５０）までとされ、縦および横方向のアドレスの他方が（q-scaIe ＝１）から（q-scaIe ＝３１）までとされ、両者で指定されるメモリ上のアドレスに各マクロブロックの符号量のデータが格納される。

メモリ１２に格納された符号量情報を用いて、マクロブロック毎に１つの量子化ステップを選択しながら、１画面分を総和した時の符号量が目標符号量ＧＥＮ ＴＧＴ（第２図参照）を上回らずに最も近くなる様なマクロブロックに対しての量子化ステップの組合せを探す。このために、アクティビティ算出回路１５が設けられ、各マクロブロックのアクティビティ情報Act(mb) が算出される。アクティビティAct(mb) がminqq 決定部１３およびＱfinal 決定部１４に供給される。

minqq 決定部１３は、参照量子化ステップＱ^ref の中で、メモリ１２の内容を使用して目標符号量を超えないで、且つ目標符号量との差が最小となる参照量子化minqq を求める。参照量子化minqq がＱfinal 決定部１４に供給される。Ｑfinal 決定部１４は、メモリ１２の内容を使用して、後述するように、最終的なものである、Ｑfinal を決定するものである。

Ｑfinal 決定部１４には、各マクロブロックmbに対応して決定された量子化ステップがＱfinal[mb] という配列の形で格納される。この情報は本線系２に伝送される。本線系２の量子化部６では、各マクロブロックmbno毎に検出された量子化ステップＱfinal[mb] によってそのマクロブロックのＤＣＴ係数が量子化される。

このような処理により、等長化単位例えば１画面単位の総符号量を所望の量以下にする、固定長符号量制御が実現できる。この制御において、目標符号量ＧＥＮ ＴＧＴを上回らず、これに最も近くなるような量子化ステップの組合せを見つける方法が重要である。第２図の例では、Ｑ３では、総符号量が目標符号量ＧＥＮ ＴＧＴを上回り、Ｑ４が総符号量が目標符号量ＧＥＮ ＴＧＴを超えない範囲で、最も近いものである。そうであっても、Ｑ４を適用した場合、総符号量と目標符号量ＧＥＮ ＴＧＴとの間の差が存在する。この差ができる限り小さいことが望ましい。

ここで、差を小さくするために、マクロブロックのアクティビティ情報を用いて量子化ステップを変化させることが効果的である。アクティビティとは、画面内の局所的な画像の性質を表すものである。コンポーネント信号の場合では、輝度信号を使用してアクティビティが算出される。

マクロブロックのアクティビティとしては、従来から知られているように、差の絶対値の合計等いくつかのものが使用できるが、例えばアクティビティとして、下記の式１で示すようなマクロブロックを構成する複数の画素値の分散を使用できる。式１でＮは、マクロブロックを構成する画素の数であり、ｘが画素値であり、ΣがＮ画素についての集計を表し、ｘ＾がマクロブロックの画素値の平均値である。

act(mb) ＝１／Ｎ・Σ（ｘ−ｘ＾）² (1)
（ｘ＾＝１／Ｎ・Σｘ）

第４図は、このようにアクティビティを算出するアクティビティ算出回路１５の構成を示す。参照符号１０１がマクロブロックの画素値の平均値を算出する平均値算出回路であり、参照符号１０２が時間合わせ用の遅延素子としてのＦＩＦＯであり、参照符号１０３で示す減算器によって平均値に対する各画素値の差が演算される。差が参照符号１０４で示す二乗器で二乗され、さらに積算器１０５で積算され、積算値が１０６で示す割算回路で割り算される。割算回路１０６から式１で表されるアクティビティ情報Act(mb) が発生する。

予測系３の量子化器１０−１，１０−２，・・・１・１０−ｎでは、アクティビティを考慮した量子化を行なっていない。各量子化器では、Ｑスケールで１画面全体に渡ってＤＣＴ係数を量子化する。なお、第３図におけるアクティビティ算出回路１５は、上述した第４図の構成を有するものである。

そして、１画面全部に対して適用する一定値Ｑ^ref に対して、各マクロブロックに適用するアクティビティを考慮した量子化ステップＱ^act (mb)が得られる。この量子化ステップで量子化した時のそのマクロブロックの符号量Length[mb,Ｑ^act (mb)] を使用して１画面の総符号量が求まる。次に、Ｑ^ref を変えていった時の総符号量のうちで、目標符号量ＧＥＮ ＴＧＴを超えないで、且つ目標符号量との差を最小とする総符号量を生じさせるＱ^ref が参照量子化minqq として、minqq 決定部１３によって求められる。

かかる参照量子化min ＿qqを求める方法について説明する。予測系３では、上述したように、３１種類のＱスケールによって量子化を行ないそのときのLength[mb,qscaIe] をメモリ１２上に保存している。ここでは、アクティビティが考慮されていない。この時の量子化ステップqscaIeがある参照量子化ステップＱ^ref に対して、当該マクロブロックのアクティビティを考慮した場合のものＱ^act の場合、求められた符号量を、Ｑ^ref をインデックスとして１画面に渡り累算する。この結果、１画面分の予測系の処理が終った時には、各参照量子化Ｑ^ref に対して、アクティビティを考慮した画面総和の符号量が得られることになる。

レートコントロールにおいては、Ｑ^ref を離散的に変化させて、目標符号量ＧＥＮ ＴＧＴを超えないで目標符号量ＧＥＮ ＴＧＴとの差が最小になるような参照量子化を見つける。このようにしてminqq が求められる。この処理は、Ｑ^ref の総数に等しい回数の比較で済む。

以上の処理を実現するために、予測系３には、minqq 決定部１３が設けられている。minqq 決定部１３の一例の構成を第５図に示す。入力として与えられるデータは、そのマクロブロック（mb番目のマクロブロック）のアクティビティ情報Act(mb) と、Ｑスケールと、Ｑスケールで量子化した時の符号量Length(mb)である。minqq 決定部１３は、メモリ１２に対してアドレスを出力してアドレスに対応するLength(mb)を受け取るのでＱスケールの値が分かる。各マクロブロックごとにAct(mb) が一つ決定され、Ｑスケールは、量子化器１０−１，・・・，１０−ｎによって、各マクロブロック内で異なる値を並列に適用し、各々に対するLength(mb)が計算される。アクティビティ情報Act(mb) は、アクティビティ算出回路１５から供給される。符号量Length(mb)は、メモリ１２から読み出されたものである。minqq 決定部１３に対する入力としては、ｎ個のＱスケールに対応する符号量Length(mb)が１画面の最初のマクロブロックに関するものからその最後のマクロブロックに関するものまで順に供給される。

参照符号３０１で示すマッピング部に対して、Act(mb) およびＱスケールが供給される。マッピング部３０１は、一例として下記の式２と逆の関係でもって入力されたＱスケール（Ｑ^act ）をＱ^ref に変換するものである。すなわち、Ｑスケールをアクティビティを考慮したものと仮定し、アクティビティを考慮しない値Ｑ^ref をマッピング回路３０１が出力する。

参照量子化ステップＱ^ref に対して、アクティビティを考慮した場合の量子化ステップ（実際に使用される量子化ステップ）をＱ^act (mb)とすると、次の式２でＱ^act (mb)が決定される。この場合、総符号量を目標符号量以下に制御することとは無視されている。なお、参照量子化ステップＱ^ref とは、アクティビティを考慮しないで、１画面全体を量子化する量子化ステップを意味する。この一実施の形態は、画面の局所的情報としてのアクティビティを考慮するものであるので、仮想的なＱ^ref を導入し、Ｑ^ref をアクティビティに応じて変更するものである。変更する割合は、Ｑ^ref の値と無関係にアクティビティに応じて一定である。

Ｑ^act (mb)＝ｆ_map （Ｑ^ref (mb)，act(mb) ） (2)
ここで、関数ｆ_map ()は、act(mb) とＱ^ref からＱ^act (mb)を計算するためのものである。例えばＭＰＥＧのＴＭ(Test Model)５で使用されているものを次の式３で示す。

ｆ_mapTM （Ｑ^ref (mb)，act(mb) ）
＝[(2.0 ×act(mb) ＋Ｎact)/(act(mb) ＋2.0 ×Ｎact)] ×Ｑ^ref (mb) (3)

ここで、Ｎact は、act(mb) のフレーム平均であるが、システムデイレイを考慮して、前フレームの値を用いることもある。式３において、act(mb) ＝Ｎact であれば、Ｑ^ref に対して乗じられる係数ｋが１となる。act(mb) ＝０であれば、Ｑ^ref に対して乗じられる係数ｋが０．５となる。係数ｋは、0.5 から２までの範囲の値をとりうる。このような関数ｆ_map ()を用いて、Ｑ^act (mb)を算出する。本来、アクティビティ情報Act(mb) は、連続値（小数点以下の値を有する値）であるが、適当に丸めた代表値、例えば１６ステップの代表値であっても画質的には十分である。

簡単な例として、１フレーム内に４個のマクロブロックが存在し、各マクロブロックのアクティビティ情報Act(mb) を考慮した量子化ステップに対する操作が( ×0.5,×1.0,×0.5,×2.0)であったとする。参照量子化Ｑ^ref が例えば１０の場合では、各マクロブロックに対するアクティビティを考慮した量子化Ｑ^act は、Ｑ^ref に対してAct(mb) を考慮した操作を行うことで、(5,10,5,20) となる。マッピング部３０１は、Ｑ^act とAct(mb) とから参照量子化Ｑ^ref を発生する。例えばマッピング部３０１に対してAct(mb) ＝0.5 でＱ^act ＝１０が供給されるときには、Ｑ^ref が２０であることが分かる。

マッピング部３０１からの参照量子化Ｑ^ref がアドレス生成部３０２に供給される。アドレス生成部３０２は、Ｑ^ref からメモリ３０３のアドレスを発生する。メモリ３０３は、予めフレームの先頭でクリアされる。Ｑ^ref として３１通りのものが用意されている時には、Ｑ^ref と対応して３１個のメモリ３０３のアドレスが存在する。１画面内のマクロブロック毎に３１種類のＱスケールと各Ｑスケールに対応したLengthがminqq 決定部１３へ入力される。

あるアドレスがメモリ３０３に与えられると、そのアドレスに既に書かれている総符号量の途中経過の符号量がメモリ３０３から読み出され、加算器３０４にフィードバックされる。そして、加算器３０４にて入力Lengthと加算されたものがメモリ３０３の同じアドレスに書き込まれ、積算動作がなされる。したがって、１画面の全てのマクロブロックの処理が終了すると、Ｑ^ref のそれぞれについての総符号量がメモリ３０３上に格納される。

次に、参照符号３０５で示すカウンタのカウント値がアドレス生成部３０２およびレジスタ３０９に供給される。このカウント値は、Ｑ^ref の３１通りの値に対応して例えば３０，２９，・・・，０とデクリメントするものである。Ｑ^ref がデクリメントされるにしたがって総符号量が増大する。アドレス生成部３０２は、カウント値に応じてリードアドレス（すなわち、Ｑ^ref ）をメモリ３０３に与える。メモリ３０３からそのアドレスの総符号量が読み出され、減算器３０６に総符号量が供給される。

減算器３０６には、目標符号量ＧＥＮ ＴＧＴが供給され、メモリ３０３から読み出された総符号量が目標符号量ＧＥＮ ＴＧＴから減算される。減算器３０６の出力が比較器３０７およびレジスタ３０８に供給される。比較器３０７の出力がレジスタ３０８および３０９に対してイネーブルとして供給される。比較器３０７の他方の入力としてレジスタ３０８の出力が供給される。

比較器３０７は、減算器３０６の減算出力とレジスタ３０８に蓄えられているレジスタデータとを比較し、減算出力がレジスタデータより小さい場合に、レジスタ３０８および３０９が入力を取り込むイネーブルとしての比較出力を発生する。減算出力が負の場合では、比較器３０７がイネーブルを発生しない。したがって、Ｑ^ref の全てに対応するリードアドレスを発生し終えた時点では、レジスタ３０８には、最小の減算出力が格納され、レジスタ３０９には、最小減算出力を発生したＱ^ref に対応するカウント値が格納されている。このカウント値がminqq として出力される。なお、減算出力が負となった時点で、カウンタ３０５のカウントを停止しても良い。

minqq 決定部１３の処理について、第６図を参照してより具体的に説明する。簡単のために、量子化ステップの種類が１，２，４，８，１６であり、アクティビティを考慮した量子化ステップに対する操作、すなわち、係数ｋが0.5,1.0,2.0 であるとする。この場合では、Ｑ^ref とＱ^act とは、第６図Ａに示すような関係となる。例えばＱ^ref ＝２の例では、アクティビティを考慮した量子化ステップＱ^act がＱ^act ＝１，Ｑ^act ＝２，Ｑ^act ＝４となる。

今、４つのマクロブロックmb0,mb1,mb2,mb3 からなる１画面を考える。この場合には、上述した量子化ステップ（１，２，４，８，１６）のそれぞれで量子化を行った場合に、各マクロブロックで発生する符号量が符号量情報としてメモリ１２に保存されている。それぞれの係数ｋが(2.0,0.5,2.0,1.0) とする。画面内のＱ^ref を２，４，８とした場合、各マクロブロックmbn のアクティビティを考慮した量子化ステップは、第６図Ｂに示すものとなる。Ｑ^ref ＝１およびＱ^ref ＝１６の場合には、操作後の値が規定の範囲からはみ出してしまうために除外している。すなわち、該当なしとして処理する。

したがって、Ｑ^ref に対する１画面の総符号量totallength(Ｑ^ref ) は、符号量情報を参照して下記に示すように求まる。

totallength(2)
＝Length[mb0,4] ＋Length[mb1,1] ＋Length[mb2,4] ＋Length[mb3,2]
totallength(4)
＝Length[mb0,8] ＋Length[mb1,2] ＋Length[mb2,8] ＋Length[mb3,4]
totallength(8)
＝Length[mb0,16]＋Length[mb1,4] ＋Length[mb2,16]＋Length[mb3,8]

第３図おける予測系３では、各マクロブロックに対して全ての量子化ステップ１，２，４，８，１６によってそれぞれ量子化を行う。まず、totallength(2)、totallength(4)、totallength(8)が０に初期化される。最初のマクロブロックmb0 について、Length[mb0,1] ，Length[mb0,2] ，Length[mb0,4] ，Length[mb0,8] ，Length[mb0,16]が得られる。mb0 についての係数ｋが２であるので、第６図Ａを参照してＱ^act からＱ^ref の関係を求めることにより下記のように各Ｑ^ref に対する符号量が分かる。

Length[mb0,1] ・・・・該当無し（Ｑ^act が１になるようなＱ^ref が存在しないという意味である。）
Length[mb0,2] ・・・・Ｑ^ref ＝１でアクティビティを考慮した符号量
Length[mb0,4] ・・・・Ｑ^ref ＝２でアクティビティを考慮した符号量
Length[mb0,8] ・・・・Ｑ^ref ＝４でアクティビティを考慮した符号量
Length[mb0,16]・・・・Ｑ^ref ＝８でアクティビティを考慮した符号量

第６図Ａに示す表を参照するのがマッピング部３０１（第５図参照）である。マッピング部３０１からのＱ^ref に応じてメモリ３０３のアドレスを変化させて積算する。それによってマクロブロックmb0 だけでのtotallength は，下記のものとなる。

totallength(2)＝Length[mb0,4]
totallength(4)＝Length[mb0,8]
totallength(8)＝Length[mb0,16]

マクロブロックmb1 については、係数ｋが0.5 であるので、第６図Ａを参照して同様に符号量が分かる。

Length[mb1,1] ・・・・Ｑ^ref ＝２でアクティビティを考慮した符号量
Length[mb1,2] ・・・・Ｑ^ref ＝４でアクティビティを考慮した符号量
Length[mb1,4] ・・・・Ｑ^ref ＝８でアクティビティを考慮した符号量
Length[mb1,8] ・・・・Ｑ^ref ＝１６でアクティビティを考慮した符号量
Length[mb1,16]・・・・該当無し

これによりマクロブロックmb1 までのtotallength は，下記のものとなる。
totallength(2)＝Length[mb0,4] ＋Length[mb1,1]
totallength(4)＝Length[mb0,8] ＋Length[mb1,2]
totallength(8)＝Length[mb0,16]＋Length[mb1,4]

マクロブロックmb2 については、係数ｋが2.0 であるので、第６図Ａを参照して同様に符号量が分かる。
Length[mb2,1] ・・・・該当無し
Length[mb2,2] ・・・・Ｑ^ref ＝１でアクティビティを考慮した符号量
Length[mb2,4] ・・・・Ｑ^ref ＝２でアクティビティを考慮した符号量
Length[mb2,8] ・・・・Ｑ^ref ＝４でアクティビティを考慮した符号量
Length[mb2,16]・・・・Ｑ^ref ＝８でアクティビティを考慮した符号量

これによりマクロブロックmb2 までのtotallength は，下記のものとなる。
totallength(2)＝Length[mb0,4] ＋Length[mb1,1] ＋Length[mb2,4] totallength(4)＝Length[mb0,8] ＋Length[mb1,2) ＋Length[mb2,8] totallength(8)＝Length[mb0,16]＋Length[mb1,4] ＋Length[mb2,16]
となる。

マクロブロックmb3 については、係数ｋが1.0 であるので、第６図Ａを参照して同様に符号量が分かる。
Length[mb3,1] ・・・・Ｑ^ref ＝１でアクティビティを考慮した符号量
Length[mb3,2] ・・・・Ｑ^ref ＝２でアクティビティを考慮した符号量
Length[mb3,4] ・・・・Ｑ^ref ＝４でアクティビティを考慮した符号量
Length[mb3,8] ・・・・Ｑ^ref ＝８でアクティビティを考慮した符号量
Length[mb3,16]・・・・Ｑ^ref ＝１６でアクティビティを考慮した符号量

これによりマクロブロックmb3 まで( すなわち、１画面のtotallength は，下記のものとなる。
totallength(2)
＝Length[mb0,4] ＋Length[mb1,1] ＋Length[mb2,4] ＋Length[mb3,2]
totallength(4)
＝Length[mb0,8] ＋Length[mb1,2] ＋Length[mb2,8] ＋Length[mb3,4]
totallength(8)
＝Length[mb0,16]＋Length[mb1,4] ＋Length[mb2,16]＋Length[mb3,8]
となる。以上のようにして、２，４，８のＱ^ref に対する１画面の総符号量が求められる。

以上の処理によって、目標符号量ＧＥＮ ＴＧＴを超えないで、目標符号量ＧＥＮ ＴＧＴとの差が最小の参照量子化Ｑ^ref がminqq として求められる。しかしながら、Ｑ^ref を離散的に操作しているので、ビットレートも離散的な値しかとれず細かな制御ができないため、目標符号量ＧＥＮ ＴＧＴとの差が充分に小さくならない可能性がある。そこで、量子化ステップが飛び飛びの離散値しか選ぶことができず、実際に使用できるＱ^act (mb)が丸め等の処理を受けていることを利用して、目標符号量ＧＥＮ ＴＧＴとの差をより小さくする。丸め処理を利用して細かくビットレートを調整する。

すなわち、ビットレートを若干下げたい場合には、いくつかのマクロブロックに対してＱスケールを大きくして総符号量を少なくすれば良い。このとき、アクティビティを考慮した際の丸め処理によって切り捨てられた量が大きいもの、すなわち、切り上げても弊害が少なそうなものから順に切り上げるようにする。逆に、ビットレートを若干上げたい場合には、いくつかのマクロブロックに対してＱスケールを小さくして総符号量を大きくすれば良い。このとき、丸め処理によって切り上げられた量が大きいものから順に切り捨てるようにする。それによって、アクティビティを考慮してＱスケールを変化させた時に、本来のＱスケールに対して誤差が少ないようにする。

次に例を示す。簡単のため、１画面が４個のマクロブロックによって構成されているとする。所望のビットレートを得るため各マクロブロックに対するアクティビティを考慮して連続値（小数点以下まで求められる値）の量子化ステップは、(3.2、5.9 、4.1 、10.5) とする。これを四捨五入で丸めをすると、（３、６、４、１１）となる。若し、この組み合わせにより得られるビットレートが所望のものよりも高く、ビットレートを下げたい場合には、下記の順にＱスケールを変化させる。（）内の値は、元の連続値に対する差を示す。
３→４(0.8) 、４→５(0.9) 、６→７(1.1) 、１１→１２(1.5)
逆にビットレートが所望のものよりも低く、ビットレートを上げたい場合には、下記の順にする。（）内の値は、元の連続値に対する差を示す。
１１→１０(0.5) 、６→５(0.9) 、４→３(1.1) 、３→２(1.2)

前述したminqq は、ビットレートが所望のものよりも低く、ビットレートを上げたい場合に該当し、Ｑスケールを小さくする処理が必要である。しかしながら、処理の順序例えば画面の上の左端のマクロブロックから順に下の右端に向かってＱスケールを小さくした時には、処理の最初の部分のＱスケールのみが制御され、後半の部分では、Ｑスケールが制御されず、画質の改善にとってそれほど有効ではない不都合が生じる。このような不都合を生じないで、アクティビティ情報に応じて量子化ステップを制御することが必要である。そのような処理を実現する方法（しきい値法と称する）について以下に説明する。

しきい値法は、目標符号量とminqq で得られる総符号量の関係からしきい値を求め、このしきい値と各マクロブロックのアクティビティを比較して量子化ステップを細かくするものである。予測系３のＱfinal 決定部１４は、このしきい値法によってＱfinal を決定するものである。以下に詳細を述べる。

予測系３で、minqq を求めるために符号量の集計をとるのと同時に、式２を満たす量子化ステップより一つ小さいものの集計をＱ^ref をインデックスとしてとるようにする。
演算処理としては、先ず第５図の構成によってminqq を求める。この符号量をＬＯＷ
ＴＧＴと表記し、一つ小さい量子化ステップをとったときの符号量をＵＰＲ ＴＧＴと表記する。minqq 決定部１３は、符号量ＬＯＷ ＴＧＴをＱfinal 決定部１４に供給する。ＬＯＷ ＴＧＴは、後述する第９図のフローチャートにおける変数total の初期値に用いられる。第２図の例では、ＱスケールＱ４がＬＯＷ ＴＧＴであり、Ｑ３がＵＰＲ ＴＧＴである。Ｑfinal 決定部１４は、これらの符号量から次の式４で表す余剰符号量の比率ＲＥＳ ＣＮＴを計算する。

RESCNT＝(GENTGT −LOWTGT) ／(UPRTGT −LOWTGT) (4)

Ｑfinal 決定部１４は、この比率ＲＥＳ ＣＮＴを用いて、予め作成されたルックアップテーブルからアクティビティのしきい値actthrshを求める。

また、Ｑfinal 決定部１４は、各参照量子化Ｑ^ref および各アクティビティ毎に、qscaleを変化させる順番を予め求めたテーブルを有する。第７図は、そのテーブルの一例を部分的に示す。ここで、ｋは、アクティビティ情報に応じて量子化ステップを操作するための係数、すなわち、式３において、Ｑ^ref (mb)に乗じられる係数部分を表している。第７図では、簡単のため、係数ｋが５種類の離散的な値（0.5,0.75,1.0,1.5,2.0) をとりうるものとしている。

例えばＱ^ref ＝１０の場合では、係数ｋを乗じた値が(5,7.5,10,15,20)となり、四捨五入で丸めた値が (5,8,10,15,20) となる。ビットレートを上げるために、丸め後の量子化から１を減算し、(4,7,9,14,19) を得る。前述したように、丸め処理によって切り上げられた量が大きいものから順に変化させる。その順位が第７図に示されている。Ｑ^ref ＝１１の場合でも、同様のテーブルが作成される。図示しない他のＱ^ref についても同様に順位が予め求められている。

また、Ｑfinal 決定部１４は、第８図に概念的に示すような余剰符号量の比率ＲＥＳ
ＣＮＴに対してアクティビティ情報のしきい値actthrshを規定するルックアップテーブルを有する。余剰符号量ＲＥＳ ＣＮＴが大きくなるにしたがって、しきい値actthrshが段階的に大きくなるもので、その境界が実験的に定められたものである。ここでは、第１順位から第５順位までが存在するので、しきい値actthrshとしても、第１順位から第５順位までの中の一つを指定するものとされている。

しきい値actthrshは、アクティビティがそれ以下の順位のマクロブロックの量子化ステップＱ^ref を−１しても良いことを意味する。（actthrsh＝１）であれば、第１順位の量子化ステップのみを−１できることを意味する。なお、ルックアップテーブルとしては、他の例が可能である。例えば余剰符号量ＲＥＳ ＣＮＴが非常に小さくて、量子化ステップを変化させる余地が殆ど無い場合には、そのことを示すデータをルックアップテーブル中に挿入しても良い。

しきい値よりも順位が高いアクティビティのマクロブロックは、量子化ステップを一段階小さく、すなわち、細かくしていく。そうでないものについてはそのままとする。但し、この方法では、しきい値より高い順位のアクティビティのものを全て一段階下げても、目標符号量を超えないという保証がないため、目標符号量を超える前に量子化ステップを小さくするのをやめる。したがって、目標符号量を実現したマクロブロック以降であっても、しきい値よりも順番が高いアクティビティのマクロブロックが存在する可能性がある。

第９図は、上述したしきい値法を説明するためのフローチャートである。Ｑfinal 決定部１４は、このフローチャートで示す処理によって最終的な量子化ステップＱfinal を決定する。ステップＳ１では、予測系３で得られた結果を使用して式４で表される余剰符号量ＲＥＳ ＣＮＴが計算される。ステップＳ２では、第８図に示すようなルックアップテーブルを参照してアクティビティのしきい値actthrshが求められる。

ステップＳ３では、マクロブロックのインデックスである変数mbがゼロに初期化される。ステップＳ４では、変数mbとマクロブロックの総数ＭＢ ＮＵＭとが比較される。mb＝ＭＢ ＮＵＭであれば、全てのマクロブロックの処理が終わったことになるので、処理を終了する。そうでなければ、処理が次のステップＳ５に進む。

ステップＳ５では、マクロブロックmbのアクティビティ情報で定まる順位とactthrshの順位を比較する。actthrshよりもアクティビティ情報の順位が高ければ、qscaleを下げられる可能性があるので、ステップＳ６に処理が進む。そうでなければ、処理がステップＳ１１に進む。

ステップＳ６では、マクロブロックmbのアクティビティ情報とminqq とからqscaleを計算する。ステップＳ７では、全体の符号量(total) から量子化ステップを下げていない場合のそのマクロブロックの符号量が減算され、さらに、量子化ステップを一つ下げた場合のそのマクロブロックの符号量が加算される。それによって、そのマクロブロックの量子化ステップを一つ下げた場合の総符号量（以前の符号量と比較して増加している）が求められる。この新たな総符号量が変数tmp に格納される。

ステップＳ８では、tmp と目標符号量ＧＥＮ ＴＧＴとを比較する。tmp がＧＥＮ ＴＧＴ以下であれば、量子化ステップを細かくすることができるので、処理が次のステップＳ９に進む。そうでなければ、処理がステップＳ１１に進む。ステップＳ９では、マクロブロックmbの量子化ステップをひとつ減ずる。そして、ステップＳ１０において、総符号量を表す変数total を更新する。ステップＳ１１では、マクロブロックmbをインクリメントし、ステップＳ４に戻る。

この発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で種々の変形や応用が可能である。

例えば、ＤＣＴに限られず、ウェーブレット変換、Haar変換、Ｋ−Ｌ変換等の変換符号化に対しても、この発明を適用することができる。

また、この発明は、圧縮符号化されたデータを磁気テープに記録したり、ハードディスク、光磁気ディスクに記録する場合に対して適用できる。さらに、この発明は、圧縮付されたデータをネットワークを介して送信する場合に対しても適用できる。

さらに、マクロブロックの構造としては、（４：２：０）に限らず、（４：２：２）、（４：４：４）、（４：１：１）等の構造であっても良い。マクロブロック内に含まれるＤＣＴブロックの個数も限定されるものではない。よりさらに、符号量を制御する等長化単位としては、１フレームに限らず、より短い期間を設定しても良い。

量子化ステップのデータを伝送する方法の一例を示す略線図である。 量子化ステップに対する１画面で発生する総符号量の変化の一例を示す略線図である。 この発明の一実施の形態の全体的構成を示すブロック図である。 アクティビティ算出回路の一例のブロック図である。 この発明の一実施の形態における量子化ステップ決定部の一例のブロック図である。 この発明の一実施の形態における量子化ステップのＱ^ref およびＱ^act の関係を説明するための略線図である。 この発明の一実施の形態においてアクティビティ情報に応じて量子化ステップを制御する方法を説明するための略線図である。 この発明の一実施の形態において余剰符号量に応じたしきい値の関係のルックアップテーブルの一例を説明するための略線図である。 この発明の一実施の形態における量子化ステップの制御の方法を説明するためのフローチャートである。

符号の説明

２ 本線系
３ 予測系
６ 量子化部
１０−１〜１０−ｎ 量子化器
１５ アクティビティ算出部

Claims (4)

1. 画像信号を量子化する量子化制御装置において、
   上記画像信号の等長化単位分の複数のブロックを複数の第１の量子化ステップで量子化して発生する符号量を、上記第１の量子化ステップの夫々に対応して算出し、上記画像信号の上記ブロック毎のアクティビティを検出し、検出したアクティビィティを上記ブロックのそれぞれに対するアクティビティ情報として出力し、上記第１の量子化ステップのそれぞれとブロック毎の上記アクティビティ情報とを演算して、演算結果を丸め処理することによって上記ブロック毎に上記アクティビティを考慮した複数の量子化ステップを決定する第１の決定手段と、
   上記アクティビティを考慮した複数の量子化ステップにより量子化したときに、上記等長化単位で発生する総符号量が目標符号量を下回り、上記総符号量と上記目標符号量との差が最小となる第２の量子化ステップを、上記符号量情報を参照して上記ブロック毎に決定する第２の決定手段と、
   上記第２の量子化ステップで量子化したときの上記等長化単位で発生する総符号量と上記目標符号量との差である余剰符号量を検出し、上記余剰符号量に応じてしきい値を発生し、上記アクティビティを考慮した複数の量子化ステップの決定時における上記丸め処理において切捨てた値の大きさに応じて上記第２の量子化ステップをより小とする場合の優先度を決定し、上記優先度が上記しきい値以下と判定されたブロックに対して、上記第２の量子化ステップより小で、上記画像信号の上記等長化単位で発生する総符号量が上記目標符号量を越えないように第３の量子化ステップを決定する第３の決定手段とからなり、
   上記第２又は第３の決定手段で決定された上記第３の量子化ステップで各ブロックを量子化することを特徴とする量子化制御装置。
2. 上記符号量を算出する符号量算出手段は、さらに、上記ブロックのそれぞれと上記第１の量子化ステップとで特定できるように上記算出された符号量をメモリに格納し、
   上記第２の決定手段は、上記アクティビィティ情報を考慮した複数の量子化ステップにより量子化したときの上記ブロックの符号量を上記メモリに格納されている符号量を読み出すことによって取得し、読み出された上記ブロックの符号量を合計して上記総符号量を求める
   ことを特徴とする請求項１記載の量子化制御装置。
3. 画像信号を量子化する量子化制御方法において、
   上記画像信号の等長化単位分の複数のブロックを複数の第１の量子化ステップで量子化して発生する符号量を、上記第１の量子化ステップの夫々に対応して算出し、上記画像信号の上記ブロック毎のアクティビティを検出し、検出したアクティビィティを上記ブロックのそれぞれに対するアクティビティ情報として出力し、上記第１の量子化ステップのそれぞれとブロック毎の上記アクティビティ情報とを演算して、演算結果を丸め処理することによって上記ブロック毎に上記アクティビティを考慮した複数の量子化ステップを決定する第１の決定ステップと、
   上記アクティビティを考慮した複数の量子化ステップにより量子化したときに、上記等長化単位で発生する総符号量が目標符号量を下回り、上記総符号量と上記目標符号量との差が最小となる第２の量子化ステップを、上記符号量情報を参照して上記ブロック毎に決定する第２の決定ステップと、
   上記第２の量子化ステップで量子化したときの上記等長化単位で発生する総符号量と上記目標符号量との差である余剰符号量を検出し、上記余剰符号量に応じてしきい値を発生し、上記アクティビティを考慮した複数の量子化ステップの決定時における上記丸め処理において切捨てた値の大きさに応じて上記第２の量子化ステップをより小とする場合の優先度を決定し、上記優先度が上記しきい値以下と判定されたブロックに対して、上記第２の量子化ステップより小で、上記画像信号の上記等長化単位で発生する総符号量が上記目標符号量を越えないように第３の量子化ステップを決定する第３の決定ステップとからなり、
   上記第２又は第３の決定ステップで決定された上記第３の量子化ステップで各ブロックを量子化する
   ことを特徴とする量子化制御方法。
4. 上記符号量を算出する符号量算出ステップは、さらに、上記ブロックのそれぞれと上記第１の量子化ステップとで特定できるように上記算出された符号量をメモリに格納し、
   上記第２の決定ステップは、上記アクティビィティ情報を考慮した複数の量子化ステップにより量子化したときの上記ブロックの符号量を上記メモリに格納されている符号量を読み出すことによって取得し、読み出された上記ブロックの符号量を合計して上記総符号量を求める
   ことを特徴とする請求項３記載の量子化制御方法。

Images