JP3846424B2 - 画像信号量子化装置およびその方法 - Google Patents
画像信号量子化装置およびその方法 Download PDFInfo
- Publication number
- JP3846424B2 JP3846424B2 JP2002577438A JP2002577438A JP3846424B2 JP 3846424 B2 JP3846424 B2 JP 3846424B2 JP 2002577438 A JP2002577438 A JP 2002577438A JP 2002577438 A JP2002577438 A JP 2002577438A JP 3846424 B2 JP3846424 B2 JP 3846424B2
- Authority
- JP
- Japan
- Prior art keywords
- code amount
- quantization
- activity
- image signal
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばＤＣＴ(Discrete Cosine Transform) を用いた符号化に対して適用できる画像信号量子化装置およびその方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ(Moving Pictures Expert Group)規格に代表されるＤＣＴを用いた画像圧縮方式では、伝送路に送出されるビットストリームが所望のレートになるように、符号量制御を行なっている。例えば量子化ステップを表す量子化インデックスを制御することによって、符号量制御がなされる。ＭＰＥＧ２でＴＭ５として提案されている符号量制御では、仮想バッファの残量と、以前エンコードした際の量子化インデックスと発生符号量の関係を用いて量子化ステップをフィードバック制御している。
【０００３】
図１は、ＭＰＥＧのレイヤー構造を示すものである。シーケンス層、ＧＯＰ(Group Of
Picture)層、ピクチャ層、スライス層、マクロブロック層からなる階層構造が規定されている。より具体的には、図１に示すように、スライス層や、マクロブロック層に含まれるデータ（Ｑスケールと呼ぶ）で量子化ステップを変化させることによって、１フレーム等の固定期間で発生する符号量を調節している。例えば（４：２：０）のフォーマットでは、４個の輝度信号のブロックと、色信号Ｕの１個のブロックと、色信号Ｖの１個のブロックとによって、マクロブロックが構成されている。
【０００４】
一例として、Ｑスケールの値qscale として、Ｑ１〜Ｑ３１の３１種類が用意されてい
る。Ｑスケールの番号が大きくなるにしたがって、量子化ステップが大きい値となるようにされている。第２図に示すように、量子化と総符号量の関係は、量子化ステップを大きくすると、量子化が粗くなり総符号量が少なくなる。逆に、量子化ステップを小さくすると、量子化は細かくなり総符号量が多くなる。また、量子化は離散値しかとれないため、総符号量も離散的になる。
【０００５】
通信等のアプリケーションでは、以前の量子化ステップと総符号量の関係を用いて、現在の平均レートに対してフィードバックをかける方式が一般的である。すなわち、現在の平均レートが目標レートよりも高めならば量子化ステップを若干粗めにして総符号量を下げ、現在の平均レートが低めならば量子化ステップを若干細かくして総符号量を増やす。このようにして平均的に目標レートを実現するように制御を行う。すなわち、細かい時間で見ると総符号量は増減するものの、長い時間で見ると平均的に総符号量を目標値とするものである。
【０００６】
しかしながら、編集等を前提としたＶＴＲのようなアプリケーションでは、前述のような平均レートだけで制御すると不具合がおきてしまう。このようなアプリケーションでは、例えばフレーム毎での編集といった操作があるため、編集単位毎にその総符号量が一定量を絶対に超えないような制御が必要となる。以下、このような制御を固定長符号量制御と呼ぶことにする。
【０００７】
前述のフィードバック制御ではこの様な制御が困難なため、再生画像の破綻を来したり、あるいは符号量が目標値を超えないようにマージンを見込み過ぎて画質が劣化してしまうことがあった。そこで、予め異なる量子化ステップの固定量子化器を複数用いて量子化を行ない、そのときの総符号量に基づいて、量子化制御を行なうという技術が知られている。例えば、下記の特許文献１には、フィードフォワード方式の符号量制御が開示されている。
【０００８】
【特許文献１】
国際公開公報ＷＯ９６／２８９３７
【０００９】
具体的には、第２図に示される３１種類のＱスケールをそれぞれ持つ量子化器を設け、各量子化器で量子化された量子化ＤＣＴ係数の１フレーム期間（以下では、画面の用語を適宜使用する）の総符号量をそれぞれを求め、総符号量が目標符号量を超えず、且つ目標符号量に対する差が小さいＱスケールを決定する。第２図の例では、Ｑ４がそのようなＱスケールに該当する。
【００１０】
【発明が解決しようとする課題】
しかしながら、この求められた例えば３１種類の量子化の時の総符号量をもとに、どのように量子化ステップを決めるのかが問題となる。Ｑスケールは、離散的なものであるので、ビットレートも離散的な値しかとれず細かな制御ができず、目標符号量との差が充分に小さくならない問題があった。
【００１１】
したがって、この発明の目的は、符号量制御において、アクティビティに応じて、目標符号量を超えないで、且つ目標符号量と総符号量との差をより小さくすることが可能な画像信号量子化装置およびその方法を提供することにある。
【００１２】
【課題を解決するための手段】
この発明は、画像信号を量子化する画像信号量子化装置において、
画像信号の等長化単位分の複数のブロックを複数の第１の量子化ステップで量子化して発生する符号量を、第１の量子化ステップの夫々に対応して算出する符号量算出手段と、
画像信号のブロック毎のアクティビティを検出し、検出したアクティビィティをブロックのそれぞれに対するアクティビティ情報として出力するアクティビティ検出手段と、
第１の量子化ステップのそれぞれとブロック毎のアクティビティ情報とを演算して、演算結果を丸め処理することによってブロック毎にアクティビティを考慮した複数の量子化ステップを決定する第１の決定手段と、
アクティビティを考慮した複数の量子化ステップにより量子化したときに、等長化単位で発生する総符号量が目標符号量を下回り、総符号量と目標符号量との差が最小となる第２の量子化ステップを、符号量情報を参照してブロック毎に決定する第２の決定手段と、
第２の量子化ステップで量子化したときの等長化単位で発生する総符号量と目標符号量との差である余剰符号量を検出し、余剰符号量に応じてしきい値を発生するしきい値発生手段と、
アクティビティを考慮した複数の量子化ステップの決定時における丸め処理において切捨てた値の大きさに応じて第２の量子化ステップをより小とする場合の優先度を決定する優先度決定手段と、
優先度がしきい値以下と判定されたブロックに対して、第２の量子化ステップより小で、画像信号の等長化単位で発生する総符号量が目標符号量を越えないように第３の量子化ステップを決定する第３の決定手段と、
第２又は第３の決定手段で決定された第３の量子化ステップで各ブロックを量子化する量子化手段と
からなることを特徴とする画像信号量子化装置である。
【００１３】
この発明は、画像信号を量子化する画像信号量子化方法において、
画像信号の等長化単位分の複数のブロックを複数の第１の量子化ステップで量子化して発生する符号量を、第１の量子化ステップの夫々に対応して算出する符号量算出ステップと、
画像信号のブロック毎のアクティビティを検出し、検出したアクティビィティをブロックのそれぞれに対するアクティビティ情報として出力するアクティビティ検出ステップと、
第１の量子化ステップのそれぞれとブロック毎のアクティビティ情報とを演算して、演算結果を丸め処理することによってブロック毎にアクティビティを考慮した複数の量子化ステップを決定する第１の決定ステップと、
アクティビティを考慮した複数の量子化ステップにより量子化したときに、等長化単位で発生する総符号量が目標符号量を下回り、総符号量と目標符号量との差が最小となる第２の量子化ステップを、符号量情報を参照してブロック毎に決定する第２の決定ステップと、
第２の量子化ステップで量子化したときの等長化単位で発生する総符号量と目標符号量との差である余剰符号量を検出し、余剰符号量に応じてしきい値を発生するしきい値発生ステップと、
アクティビティを考慮した複数の量子化ステップの決定時における丸め処理において切捨てた値の大きさに応じて第２の量子化ステップをより小とする場合の優先度を決定する優先度決定ステップと、
優先度がしきい値以下と判定されたブロックに対して、第２の量子化ステップより小で、画像信号の等長化単位で発生する総符号量が目標符号量を越えないように第３の量子化ステップを決定する第３の決定ステップと、
第２又は第３の決定ステップで決定された第３の量子化ステップで各ブロックを量子化する量子化ステップと
からなることを特徴とする画像信号量子化方法である。
【００１４】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。第３図は、この発明が適用されたエンコーダの全体的構成を示す。一例として、１フレーム、すなわち、１画面単位で総符号量が固定長になるように制御する。第３図において、参照符号１が走査変換部を示す。走査変換部１において、入力画像信号がマクロブロックに分割される。入力画像がプログレッシブ走査の場合では、そのままマクロブロックに分割され、インターレース走査の場合は、フィールド−フレーム変換してマクロブロックに分割される。ＭＰＥＧでは、輝度信号に関して、４個のＤＣＴブロックから構成される（１６×１６）のサイズのブロックが構成される。色差信号Ｃｒ、Ｃｂに関して、（４：２：０）の場合、それぞれが（８×８）のブロックが構成される。これらの合計６個のＤＣＴブロックをまとめて一つのマクロブロックが構成される。
【００１５】
走査変換部１においてマクロブロック化されたデータが本線系２および予測系３にそれぞれ入力される。本線系２は、参照符号４が付されたＦＩＦＯ、参照符号５が付されたＤＣＴ処理部、参照符号６が付された量子化部、参照符号７が付されたＶＬＣ(Variable Length Coding) 、参照符号８が付されたバッファとからなる。
【００１６】
ＤＣＴ処理部５では、イントラ符号化が行われ、入力画素値そのものがＤＣＴされる。量子化部６には、予測系３においてマクロブロックmb毎に決定された第３の量子化ステップとしての量子化ステップＱfinal[mb]が供給され、この量子化ステップＱfinal[mb]でＤＣＴ係数が量子化される。ＦＩＦＯ４は、予測系３において、量子化ステップＱfinalが
決定されるまでの時間を補償するための遅延素子である。
【００１７】
量子化部６からの量子化ＤＣＴ係数がＶＬＣ部７において可変長符号化される。ＶＬＣ部７の出力がバッファ８に供給される。バッファ８を介して平滑化されたビットストリームが出力される。
【００１８】
予測系３は、参照符号９で示すＤＣＴ処理部と、参照符号１０−１，１０−２，・・・，１０−ｎで示すｎ個の量子化器と、参照符号１１−１，１１−２，・・・，１１−ｎで示すｎ個の符号量検出器と、参照符号１２で示すメモリと、参照符号１３で示すminqq決
定部と、参照符号１４で示すＱfinal決定部と、アクティビティ算出回路１５とからなる
。Ｑfinal決定部１４からの量子化ステップが上述した本線系２の量子化部６に供給され
る。
【００１９】
ｎ個の量子化器１０−１，１０−２，・・・，１０−ｎは、それぞれ異なる量子化ステップで量子化する。各量子化器で発生した量子化ＤＣＴ係数が符号量検出器１１−１，１１−２，・・・，１１−ｎに供給され、各マクロブロックの符号量が符号量検出器１１−１，１１−２，・・・，１１−ｎからそれぞれ発生する。符号量検出器１１−１，１１−２，・・・，１１−ｎは、量子化ＤＣＴ係数をＶＬＣ部７と同様に可変長符号化し、可変長符号を各マクロブロックについて集計する構成とされている。このようにして求められた各マクロブロックについての各量子化の符号量情報をメモリ１２に保存する。
【００２０】
メモリ１２上では、各マクロブロックmbに対して、qscale で量子化した符号量をLength[mb,qsca1e]といった二次元配列の形で保存する。例えば１画面内のマクロブロック数が１３５０個で、量子化ステップの種類が３１個であれば、縦および横方向のアドレスの一方が（ｍｂ＝１）から（ｍｂ＝１３５０）までとされ、縦および横方向のアドレスの他方が（q-scaIe ＝１）から（q-scaIe ＝３１）までとされ、両者で指定されるメモリ上のアドレスに各マクロブロックの符号量のデータが格納される。
【００２１】
メモリ１２に格納された符号量情報を用いて、マクロブロック毎に１つの量子化ステップを選択しながら、１画面分を総和した時の符号量が目標符号量ＧＥＮ ＴＧＴ（第２図参照）を上回らずに最も近くなる様なマクロブロックに対しての量子化ステップの組合せを探す。このために、アクティビティ算出回路１５が設けられ、各マクロブロックのアクティビティ情報Act(mb) が算出される。アクティビティAct(mb) が第２の決定手段としてのminqq決定部１３およびＱfinal決定部１４に供給される。
【００２２】
minqq決定部１３は、第１の量子化ステップとしての参照量子化ステップＱref の中で
、メモリ１２の内容を使用して目標符号量を超えないで、且つ目標符号量との差が最小となる第２の量子化ステップとしての参照量子化minqqを求める。参照量子化minqqがＱfinal決定部１４に供給される。Ｑfinal決定部１４は、メモリ１２の内容を使用して、後述するように、最終的なものである、Ｑfinalを決定するものである。
【００２３】
Ｑfinal決定部１４には、各マクロブロックmbに対応して決定された量子化ステップが
Ｑfinal[mb]という配列の形で格納される。この情報は本線系２に伝送される。本線系２
の量子化部６では、各マクロブロックmbno 毎に検出された量子化ステップＱfinal[mb]によってそのマクロブロックのＤＣＴ係数が量子化される。
【００２４】
このような処理により、等長化単位例えば１画面単位の総符号量を所望の量以下にする、固定長符号量制御が実現できる。この制御において、目標符号量ＧＥＮ ＴＧＴを上回らず、これに最も近くなるような量子化ステップの組合せを見つける方法が重要である。第２図の例では、Ｑ３では、総符号量が目標符号量ＧＥＮ ＴＧＴを上回り、Ｑ４が総符号量が目標符号量ＧＥＮ ＴＧＴを超えない範囲で、最も近いものである。そうであっても、Ｑ４を適用した場合、総符号量と目標符号量ＧＥＮ ＴＧＴとの間の差が存在する。この差ができる限り小さいことが望ましい。
【００２５】
ここで、差を小さくするために、マクロブロックのアクティビティ情報を用いて量子化ステップを変化させることが効果的である。アクティビティとは、画面内の局所的な画像の性質を表すものである。コンポーネント信号の場合では、輝度信号を使用してアクティビティが算出される。
【００２６】
マクロブロックのアクティビティとしては、従来から知られているように、差の絶対値の合計等いくつかのものが使用できるが、例えばアクティビティとして、下記の式１で示すようなマクロブロックを構成する複数の画素値の分散を使用できる。式１でＮは、マクロブロックを構成する画素の数であり、ｘが画素値であり、ΣがＮ画素についての集計を表し、ｘ＾がマクロブロックの画素値の平均値である。
【００２７】
act(mb) ＝１／Ｎ・Σ（ｘ−ｘ＾）2 (1)
（ｘ＾＝１／Ｎ・Σｘ）
【００２８】
第４図は、このようにアクティビティを算出するアクティビティ算出回路１５の構成を示す。参照符号１０１がマクロブロックの画素値の平均値を算出する平均値算出回路であり、参照符号１０２が時間合わせ用の遅延素子としてのＦＩＦＯであり、参照符号１０３で示す減算器によって平均値に対する各画素値の差が演算される。差が参照符号１０４で示す二乗器で二乗され、さらに積算器１０５で積算され、積算値が１０６で示す割算回路で割り算される。割算回路１０６から式１で表されるアクティビティ情報Act(mb) が発生する。
【００２９】
予測系３の量子化器１０−１，１０−２，・・・１・１０−ｎでは、アクティビティを考慮した量子化を行なっていない。各量子化器では、Ｑスケールで１画面全体に渡ってＤＣＴ係数を量子化する。なお、第３図におけるアクティビティ算出回路１５は、上述した第４図の構成を有するものである。
【００３０】
そして、１画面全部に対して適用する一定値Ｑref に対して、各マクロブロックに適用するアクティビティを考慮した量子化ステップＱact (mb)が得られる。この量子化ステップで量子化した時のそのマクロブロックの符号量Length[mb,Ｑact (mb)] を使用して１画面の総符号量が求まる。次に、Ｑref を変えていった時の総符号量のうちで、目標符号量ＧＥＮ ＴＧＴを超えないで、且つ目標符号量との差を最小とする総符号量を生じさせるＱref が参照量子化minqqとして、minqq決定部１３によって求められる。
【００３１】
かかる参照量子化min ＿qqを求める方法について説明する。予測系３では、上述したように、３１種類のＱスケールによって量子化を行ないそのときのLength[mb,qscaIe]をメ
モリ１２上に保存している。ここでは、アクティビティが考慮されていない。この時の量子化ステップqscaIe がある参照量子化ステップＱref に対して、当該マクロブロックの
アクティビティを考慮した場合のものＱact の場合、求められた符号量を、Ｑref をインデックスとして１画面に渡り累算する。この結果、１画面分の予測系の処理が終った時には、各参照量子化Ｑref に対して、アクティビティを考慮した画面総和の符号量が得られることになる。
【００３２】
レートコントロールにおいては、Ｑref を離散的に変化させて、目標符号量ＧＥＮ ＴＧＴを超えないで目標符号量ＧＥＮ ＴＧＴとの差が最小になるような参照量子化を見つける。このようにしてminqqが求められる。この処理は、Ｑref の総数に等しい回数の比
較で済む。
【００３３】
以上の処理を実現するために、予測系３には、minqq決定部１３が設けられている。minqq決定部１３の一例の構成を第５図に示す。入力として与えられるデータは、そのマクロブロック（mb番目のマクロブロック）のアクティビティ情報Act(mb) と、Ｑスケールと、Ｑスケールで量子化した時の符号量Length(mb)である。minqq決定部１３は、メモリ１２
に対してアドレスを出力してアドレスに対応するLength(mb)を受け取るのでＱスケールの値が分かる。各マクロブロックごとにAct(mb) が一つ決定され、Ｑスケールは、量子化器１０−１，・・・，１０−ｎによって、各マクロブロック内で異なる値を並列に適用し、各々に対するLength(mb)が計算される。アクティビティ情報Act(mb) は、アクティビティ算出回路１５から供給される。符号量Length(mb)は、メモリ１２から読み出されたものである。minqq決定部１３に対する入力としては、ｎ個のＱスケールに対応する符号量Length(mb)が１画面の最初のマクロブロックに関するものからその最後のマクロブロックに関
するものまで順に供給される。
【００３４】
参照符号３０１で示すマッピング部に対して、Act(mb) およびＱスケールが供給される。マッピング部３０１は、一例として下記の式２と逆の関係でもって入力されたＱスケール（Ｑact ）をＱref に変換するものである。すなわち、Ｑスケールをアクティビティを考慮したものと仮定し、アクティビティを考慮しない値Ｑref をマッピング回路３０１が出力する。
【００３５】
参照量子化ステップＱref に対して、アクティビティを考慮した場合の量子化ステップ（実際に使用される量子化ステップ）をＱact (mb)とすると、次の式２でＱact (mb)が決定される。この場合、総符号量を目標符号量以下に制御することとは無視されている。なお、参照量子化ステップＱref とは、アクティビティを考慮しないで、１画面全体を量子化する量子化ステップを意味する。この一実施例は、画面の局所的情報としてのアクティビティを考慮するものであるので、仮想的なＱref を導入し、Ｑref をアクティビティに応じて変更するものである。変更する割合は、Ｑref の値と無関係にアクティビティに応じて一定である。
【００３６】
Ｑact (mb)＝ｆmap （Ｑref (mb)，act(mb) ） (2)
ここで、関数ｆmap ()は、act(mb) とＱref からＱact (mb)を計算するためのものである。例えばＭＰＥＧのＴＭ(Test Model)５で使用されているものを次の式３で示す。
【００３７】
ｆmapTM（Ｑref (mb)，act(mb) ）
＝[(2.0 ×act(mb) ＋Ｎact)/(act(mb)＋2.0 ×Ｎact)]×Ｑref (mb) (3)
【００３８】
ここで、Ｎactは、act(mb) のフレーム平均であるが、システムデイレイを考慮して、
前フレームの値を用いることもある。式３において、act(mb) ＝Ｎactであれば、Ｑref
に対して乗じられる係数ｋが１となる。act(mb) ＝０であれば、Ｑref に対して乗じられる係数ｋが０．５となる。係数ｋは、0.5 から２までの範囲の値をとりうる。このような関数ｆmap ()を用いて、Ｑact (mb)を算出する。本来、アクティビティ情報Act(mb) は、連続値（小数点以下の値を有する値）であるが、適当に丸めた代表値、例えば１６ステップの代表値であっても画質的には十分である。
【００３９】
簡単な例として、１フレーム内に４個のマクロブロックが存在し、各マクロブロックのアクティビティ情報Act(mb) を考慮した量子化ステップに対する操作が( ×0.5,×1.0,×0.5,×2.0)であったとする。参照量子化Ｑref が例えば１０の場合では、各マクロブロックに対するアクティビティを考慮した量子化Ｑact は、Ｑref に対してAct(mb) を考慮した操作を行うことで、(5,10,5,20) となる。マッピング部３０１は、Ｑact とAct(mb) とから参照量子化Ｑref を発生する。例えばマッピング部３０１に対してAct(mb) ＝0.5 でＱact ＝１０が供給されるときには、Ｑref が２０であることが分かる。
【００４０】
マッピング部３０１からの参照量子化Ｑref がアドレス生成部３０２に供給される。アドレス生成部３０２は、Ｑref からメモリ３０３のアドレスを発生する。メモリ３０３は、予めフレームの先頭でクリアされる。Ｑref として３１通りのものが用意されている時には、Ｑref と対応して３１個のメモリ３０３のアドレスが存在する。１画面内のマクロブロック毎に３１種類のＱスケールと各Ｑスケールに対応したLengthがminqq決定部１３へ入力される。
【００４１】
あるアドレスがメモリ３０３に与えられると、そのアドレスに既に書かれている総符号量の途中経過の符号量がメモリ３０３から読み出され、加算器３０４にフィードバックされる。そして、加算器３０４にて入力Lengthと加算されたものがメモリ３０３の同じアドレスに書き込まれ、積算動作がなされる。したがって、１画面の全てのマクロブロックの処理が終了すると、Ｑref のそれぞれについての総符号量がメモリ３０３上に格納される。
【００４２】
次に、参照符号３０５で示すカウンタのカウント値がアドレス生成部３０２およびレジスタ３０９に供給される。このカウント値は、Ｑref の３１通りの値に対応して例えば３０，２９，・・・，０とデクリメントするものである。Ｑref がデクリメントされるにしたがって総符号量が増大する。アドレス生成部３０２は、カウント値に応じてリードアドレス（すなわち、Ｑref ）をメモリ３０３に与える。メモリ３０３からそのアドレスの総符号量が読み出され、減算器３０６に総符号量が供給される。
【００４３】
減算器３０６には、目標符号量ＧＥＮ ＴＧＴが供給され、メモリ３０３から読み出された総符号量が目標符号量ＧＥＮ ＴＧＴから減算される。減算器３０６の出力が比較器３０７およびレジスタ３０８に供給される。比較器３０７の出力がレジスタ３０８および３０９に対してイネーブルとして供給される。比較器３０７の他方の入力としてレジスタ３０８の出力が供給される。
【００４４】
比較器３０７は、減算器３０６の減算出力とレジスタ３０８に蓄えられているレジスタデータとを比較し、減算出力がレジスタデータより小さい場合に、レジスタ３０８および３０９が入力を取り込むイネーブルとしての比較出力を発生する。減算出力が負の場合では、比較器３０７がイネーブルを発生しない。したがって、Ｑref の全てに対応するリードアドレスを発生し終えた時点では、レジスタ３０８には、最小の減算出力が格納され、レジスタ３０９には、最小減算出力を発生したＱref に対応するカウント値が格納されている。このカウント値がminqqとして出力される。なお、減算出力が負となった時点で、
カウンタ３０５のカウントを停止しても良い。
【００４５】
minqq決定部１３の処理について、第６図を参照してより具体的に説明する。簡単のた
めに、量子化ステップの種類が１，２，４，８，１６であり、アクティビティを考慮した量子化ステップに対する操作、すなわち、係数ｋが0.5,1.0,2.0 であるとする。この場合では、Ｑref とＱact とは、第６図Ａに示すような関係となる。例えばＱref ＝２の例では、アクティビティを考慮した量子化ステップＱact がＱact ＝１，Ｑact ＝２，Ｑact
＝４となる。
【００４６】
今、４つのマクロブロックmb0,mb1,mb2,mb3 からなる１画面を考える。この場合には、上述した量子化ステップ（１，２，４，８，１６）のそれぞれで量子化を行った場合に、各マクロブロックで発生する符号量が符号量情報としてメモリ１２に保存されている。それぞれの係数ｋが(2.0,0.5,2.0,1.0) とする。画面内のＱref を２，４，８とした場合、各マクロブロックmbn のアクティビティを考慮した量子化ステップは、第６図Ｂに示すものとなる。Ｑref ＝１およびＱref ＝１６の場合には、操作後の値が規定の範囲からはみ出してしまうために除外している。すなわち、該当なしとして処理する。
【００４７】
したがって、Ｑref に対する１画面の総符号量totallength( Ｑref ) は、符号量情報
を参照して下記に示すように求まる。
【００４８】
totallength(2)
＝Length[mb0,4] ＋Length[mb1,1] ＋Length[mb2,4] ＋Length[mb3,2]
totallength(4)
＝Length[mb0,8] ＋Length[mb1,2] ＋Length[mb2,8] ＋Length[mb3,4]
totallength(8)
＝Length[mb0,16]＋Length[mb1,4] ＋Length[mb2,16]＋Length[mb3,8]
【００４９】
第３図おける予測系３では、各マクロブロックに対して全ての量子化ステップ１，２，４，８，１６によってそれぞれ量子化を行う。まず、totallength(2) 、totallength(4)
、totallength(8) が０に初期化される。最初のマクロブロックmb0 について、Length[mb0,1] ，Length[mb0,2] ，Length[mb0,4] ，Length[mb0,8] ，Length[mb0,16]が得られる
。mb0 についての係数ｋが２であるので、第６図Ａを参照してＱact からＱref の関係を求めることにより下記のように各Ｑref に対する符号量が分かる。
【００５０】
Length[mb0,1] ・・・・該当無し（Ｑact が１になるようなＱref が存在しないという意味である。）
Length[mb0,2] ・・・・Ｑref ＝１でアクティビティを考慮した符号量
Length[mb0,4] ・・・・Ｑref ＝２でアクティビティを考慮した符号量
Length[mb0,8] ・・・・Ｑref ＝４でアクティビティを考慮した符号量
Length[mb0,16]・・・・Ｑref ＝８でアクティビティを考慮した符号量
【００５１】
第６図Ａに示す表を参照するのがマッピング部３０１（第５図参照）である。マッピング部３０１からのＱref に応じてメモリ３０３のアドレスを変化させて積算する。それによってマクロブロックmb0 だけでのtotallengthは，下記のものとなる。
【００５２】
totallength(2) ＝Length[mb0,4]
totallength(4) ＝Length[mb0,8]
totallength(8) ＝Length[mb0,16]
【００５３】
マクロブロックmb1 については、係数ｋが0.5 であるので、第６図Ａを参照して同様に符号量が分かる。
【００５４】
Length[mb1,1] ・・・・Ｑref ＝２でアクティビティを考慮した符号量
Length[mb1,2] ・・・・Ｑref ＝４でアクティビティを考慮した符号量
Length[mb1,4] ・・・・Ｑref ＝８でアクティビティを考慮した符号量
Length[mb1,8] ・・・・Ｑref ＝１６でアクティビティを考慮した符号量
Length[mb1,16]・・・・該当無し
【００５５】
これによりマクロブロックmb1 までのtotallengthは，下記のものとなる。
totallength(2) ＝Length[mb0,4] ＋Length[mb1,1]
totallength(4) ＝Length[mb0,8] ＋Length[mb1,2]
totallength(8) ＝Length[mb0,16]＋Length[mb1,4]
【００５６】
マクロブロックmb2 については、係数ｋが2.0 であるので、第６図Ａを参照して同様に符号量が分かる。
Length[mb2,1] ・・・・該当無し
Length[mb2,2] ・・・・Ｑref ＝１でアクティビティを考慮した符号量
Length[mb2,4] ・・・・Ｑref ＝２でアクティビティを考慮した符号量
Length[mb2,8] ・・・・Ｑref ＝４でアクティビティを考慮した符号量
Length[mb2,16]・・・・Ｑref ＝８でアクティビティを考慮した符号量
【００５７】
これによりマクロブロックmb2 までのtotallengthは，下記のものとなる。
totallength(2) ＝Length[mb0,4] ＋Length[mb1,1] ＋Length[mb2,4]
totallength(4) ＝Length[mb0,8] ＋Length[mb1,2) ＋Length[mb2,8]
totallength(8) ＝Length[mb0,16]＋Length[mb1,4] ＋Length[mb2,16]
となる。
【００５８】
マクロブロックmb3 については、係数ｋが1.0 であるので、第６図Ａを参照して同様に符号量が分かる。
Length[mb3,1] ・・・・Ｑref ＝１でアクティビティを考慮した符号量
Length[mb3,2] ・・・・Ｑref ＝２でアクティビティを考慮した符号量
Length[mb3,4] ・・・・Ｑref ＝４でアクティビティを考慮した符号量
Length[mb3,8] ・・・・Ｑref ＝８でアクティビティを考慮した符号量
Length[mb3,16]・・・・Ｑref ＝１６でアクティビティを考慮した符号量
【００５９】
これによりマクロブロックmb3 まで( すなわち、１画面のtotallengthは，下記のもの
となる。
totallength(2)
＝Length[mb0,4] ＋Length[mb1,1] ＋Length[mb2,4] ＋Length[mb3,2]
totallength(4)
＝Length[mb0,8] ＋Length[mb1,2] ＋Length[mb2,8] ＋Length[mb3,4]
totallength(8)
＝Length[mb0,16]＋Length[mb1,4] ＋Length[mb2,16]＋Length[mb3,8]
となる。以上のようにして、２，４，８のＱref に対する１画面の総符号量が求められる。
【００６０】
以上の処理によって、目標符号量ＧＥＮ ＴＧＴを超えないで、目標符号量ＧＥＮ ＴＧＴとの差が最小の参照量子化Ｑref がminqqとして求められる。しかしながら、Ｑref
を離散的に操作しているので、ビットレートも離散的な値しかとれず細かな制御ができないため、目標符号量ＧＥＮ ＴＧＴとの差が充分に小さくならない可能性がある。そこで、量子化ステップが飛び飛びの離散値しか選ぶことができず、実際に使用できるＱact (mb)が丸め等の処理を受けていることを利用して、目標符号量ＧＥＮ ＴＧＴとの差をより小さくする。丸め処理を利用して細かくビットレートを調整する。
【００６１】
すなわち、ビットレートを若干下げたい場合には、いくつかのマクロブロックに対してＱスケールを大きくして総符号量を少なくすれば良い。このとき、アクティビティを考慮した際の丸め処理によって切り捨てられた量が大きいもの、すなわち、切り上げても弊害が少なそうなものから順に切り上げるようにする。逆に、ビットレートを若干上げたい場合には、いくつかのマクロブロックに対してＱスケールを小さくして総符号量を大きくすれば良い。このとき、丸め処理によって切り上げられた量が大きいものから順に切り捨てるようにする。それによって、アクティビティを考慮してＱスケールを変化させた時に、本来のＱスケールに対して誤差が少ないようにする。
【００６２】
次に例を示す。簡単のため、１画面が４個のマクロブロックによって構成されているとする。所望のビットレートを得るため各マクロブロックに対するアクティビティを考慮して連続値（小数点以下まで求められる値）の量子化ステップは、(3.2、5.9 、4.1 、10.5) とする。これを四捨五入で丸めをすると、（３、６、４、１１）となる。若し、この組み合わせにより得られるビットレートが所望のものよりも高く、ビットレートを下げたい場合には、下記の順にＱスケールを変化させる。（）内の値は、元の連続値に対する差を示す。
３→４(0.8) 、４→５(0.9) 、６→７(1.1) 、１１→１２(1.5)
逆にビットレートが所望のものよりも低く、ビットレートを上げたい場合には、下記の順にする。（）内の値は、元の連続値に対する差を示す。
１１→１０(0.5) 、６→５(0.9) 、４→３(1.1) 、３→２(1.2)
【００６３】
前述したminqqは、ビットレートが所望のものよりも低く、ビットレートを上げたい場
合に該当し、Ｑスケールを小さくする処理が必要である。しかしながら、処理の順序例えば画面の上の左端のマクロブロックから順に下の右端に向かってＱスケールを小さくした時には、処理の最初の部分のＱスケールのみが制御され、後半の部分では、Ｑスケールが制御されず、画質の改善にとってそれほど有効ではない不都合が生じる。このような不都合を生じないで、アクティビティ情報に応じて量子化ステップを制御することが必要である。そのような処理を実現する方法（しきい値法と称する）について以下に説明する。
【００６４】
しきい値法は、目標符号量とminqqで得られる総符号量の関係からしきい値を求め、こ
のしきい値と各マクロブロックのアクティビティを比較して量子化ステップを細かくするものである。予測系３のＱfinal決定部１４は、このしきい値法によってＱfinalを決定するものである。以下に詳細を述べる。
【００６５】
予測系３で、minqqを求めるために符号量の集計をとるのと同時に、式２を満たす量子
化ステップより一つ小さいものの集計をＱref をインデックスとしてとるようにする。
演算処理としては、先ず第５図の構成によってminqqを求める。この符号量をＬＯＷ
ＴＧＴと表記し、一つ小さい量子化ステップをとったときの符号量をＵＰＲ ＴＧＴと表記する。minqq決定部１３は、符号量ＬＯＷ ＴＧＴをＱfinal決定部１４に供給する。ＬＯＷ ＴＧＴは、後述する第９図のフローチャートにおける変数total の初期値に用いられる。第２図の例では、ＱスケールＱ４がＬＯＷ ＴＧＴであり、Ｑ３がＵＰＲ ＴＧＴである。Ｑfinal決定部１４は、これらの符号量から次の式４で表す余剰符号量の比率Ｒ
ＥＳ ＣＮＴを計算する。
【００６６】
RESCNT ＝(GENTGT−LOWTGT)／(UPRTGT−LOWTGT) (4)
【００６７】
Ｑfinal決定部１４は、この比率ＲＥＳ ＣＮＴを用いて、予め作成されたルックアッ
プテーブルからアクティビティのしきい値actthrsh を求める。
【００６８】
また、Ｑfinal決定部１４は、各参照量子化Ｑref および各アクティビティ毎に、qscale を変化させる順番を予め求めたテーブルを有する。第７図は、そのテーブルの一例を部分的に示す。ここで、ｋは、アクティビティ情報に応じて量子化ステップを操作するための係数、すなわち、式３において、Ｑref (mb)に乗じられる係数部分を表している。第７図では、簡単のため、係数ｋが５種類の離散的な値（0.5,0.75,1.0,1.5,2.0) をとりうるものとしている。
【００６９】
例えばＱref ＝１０の場合では、係数ｋを乗じた値が(5,7.5,10,15,20)となり、四捨五入で丸めた値が (5,8,10,15,20) となる。ビットレートを上げるために、丸め後の量子化から１を減算し、(4,7,9,14,19) を得る。前述したように、丸め処理によって切り上げられた量が大きいものから順に変化させる。その順位が第７図に示されている。Ｑref ＝１１の場合でも、同様のテーブルが作成される。図示しない他のＱref についても同様に順位が予め求められている。
【００７０】
また、Ｑfinal決定部１４は、第８図に概念的に示すような余剰符号量の比率ＲＥＳ
ＣＮＴに対してアクティビティ情報のしきい値actthrsh を規定するルックアップテーブ
ルを有する。余剰符号量ＲＥＳ ＣＮＴが大きくなるにしたがって、しきい値actthrsh
が段階的に大きくなるもので、その境界が実験的に定められたものである。ここでは、第１順位から第５順位までが存在するので、しきい値actthrsh としても、第１順位から第
５順位までの中の一つを指定するものとされている。
【００７１】
しきい値actthrsh は、アクティビティがそれ以下の順位のマクロブロックの量子化ス
テップＱref を−１しても良いことを意味する。（actthrsh ＝１）であれば、第１順位
の量子化ステップのみを−１できることを意味する。なお、ルックアップテーブルとしては、他の例が可能である。例えば余剰符号量ＲＥＳ ＣＮＴが非常に小さくて、量子化ステップを変化させる余地が殆ど無い場合には、そのことを示すデータをルックアップテーブル中に挿入しても良い。
【００７２】
しきい値よりも順位が高いアクティビティのマクロブロックは、量子化ステップを一段階小さく、すなわち、細かくしていく。そうでないものについてはそのままとする。但し、この方法では、しきい値より高い順位のアクティビティのものを全て一段階下げても、目標符号量を超えないという保証がないため、目標符号量を超える前に量子化ステップを小さくするのをやめる。したがって、目標符号量を実現したマクロブロック以降であっても、しきい値よりも順番が高いアクティビティのマクロブロックが存在する可能性がある。
【００７３】
第９図は、上述したしきい値法を説明するためのフローチャートである。Ｑfinal決定
部１４は、このフローチャートで示す処理によって最終的な量子化ステップＱfinalを決
定する。ステップＳ１では、予測系３で得られた結果を使用して式４で表される余剰符号量ＲＥＳ ＣＮＴが計算される。ステップＳ２では、第８図に示すようなルックアップテーブルを参照してアクティビティのしきい値actthrsh が求められる。
【００７４】
ステップＳ３では、マクロブロックのインデックスである変数mbがゼロに初期化される。ステップＳ４では、変数mbとマクロブロックの総数ＭＢ ＮＵＭとが比較される。mb＝ＭＢ ＮＵＭであれば、全てのマクロブロックの処理が終わったことになるので、処理を終了する。そうでなければ、処理が次のステップＳ５に進む。
【００７５】
ステップＳ５では、マクロブロックmbのアクティビティ情報で定まる順位とactthrsh
の順位を比較する。actthrsh よりもアクティビティ情報の順位が高ければ、qscale を下げられる可能性があるので、ステップＳ６に処理が進む。そうでなければ、処理がステップＳ１１に進む。
【００７６】
ステップＳ６では、マクロブロックmbのアクティビティ情報とminqqとからqscale を計算する。ステップＳ７では、全体の符号量(total) から量子化ステップを下げていない場合のそのマクロブロックの符号量が減算され、さらに、量子化ステップを一つ下げた場合のそのマクロブロックの符号量が加算される。それによって、そのマクロブロックの量子化ステップを一つ下げた場合の総符号量（以前の符号量と比較して増加している）が求められる。この新たな総符号量が変数tmp に格納される。
【００７７】
ステップＳ８では、tmp と目標符号量ＧＥＮ ＴＧＴとを比較する。tmp がＧＥＮ ＴＧＴ以下であれば、量子化ステップを細かくすることができるので、処理が次のステップＳ９に進む。そうでなければ、処理がステップＳ１１に進む。ステップＳ９では、マクロブロックmbの量子化ステップをひとつ減ずる。そして、ステップＳ１０において、総符号量を表す変数total を更新する。ステップＳ１１では、マクロブロックmbをインクリメントし、ステップＳ４に戻る。
【００７８】
この発明は、上述した実施例に限定されるものではなく、この発明の要旨を逸脱しない範囲内で種々の変形や応用が可能である。
【００７９】
例えば、ＤＣＴに限られず、ウェーブレット変換、Haar変換、Ｋ−Ｌ変換等の変換符号化に対しても、この発明を適用することができる。
【００８０】
また、この発明は、圧縮符号化されたデータを磁気テープに記録したり、ハードディスク、光磁気ディスクに記録する場合に対して適用できる。さらに、この発明は、圧縮付されたデータをネットワークを介して送信する場合に対しても適用できる。
【００８１】
さらに、マクロブロックの構造としては、（４：２：０）に限らず、（４：２：２）、（４：４：４）、（４：１：１）等の構造であっても良い。マクロブロック内に含まれるＤＣＴブロックの個数も限定されるものではない。よりさらに、符号量を制御する等長化単位としては、１フレームに限らず、より短い期間を設定しても良い。
【００８２】
【発明の効果】
この発明は、量子化ステップが画像の局所的性質により可変されるので、復号画像の画質を向上することができる。この場合、アクティビティ情報によって補正された量子化ステップを丸める時の処理に注目して、量子化ステップを変化させる場合の優先順位を定めている。さらに、余剰符号量に対応してしきい値をテーブルとして有し、テーブルを参照してしきい値を決定する。そして、しきい値より順位が高いアクティビティを持つマクロブロックの場合では、量子化ステップを一段階細かくする。このようにしてアクティビティに応じて量子化ステップを制御する場合に、余剰符号量に適応して量子化ステップを制御することが可能となる。
【図面の簡単な説明】
【図１】 量子化ステップのデータを伝送する方法の一例を示す略線図である。
【図２】 量子化ステップに対する１画面で発生する総符号量の変化の一例を示す略線図である。
【図３】 この発明の一実施例の全体的構成を示すブロック図である。
【図４】 アクティビティ算出回路の一例のブロック図である。
【図５】 この発明の一実施例における量子化ステップ決定部の一例のブロック図である。
【図６】 この発明の一実施例における量子化ステップのＱref およびＱact の関係を説明するための略線図である。
【図７】 この発明の一実施例においてアクティビティ情報に応じて量子化ステップを制御する方法を説明するための略線図である。
【図８】 この発明の一実施例において余剰符号量に応じたしきい値の関係のルックアップテーブルの一例を説明するための略線図である。
【図９】 この発明の一実施例における量子化ステップの制御の方法を説明するためのフローチャートである。
【符号の説明】
２ 本線系
３ 予測系
６ 量子化部
１０−１〜１０−ｎ 量子化器
１５ アクティビティ算出部
Ｓ１ ＲＥＳ ＣＮＴを求める
Ｓ２ actthrshを求める
Ｓ３ ０→mb
Ｓ４ mb:MB NUM
Ｓ５ rev(act(mb)):rev(actthrsh)
Ｓ６ fmap(act(mb),minqq)→qscale
Ｓ７ total-Length[mb,qscale]+Length[mb,qscale-1]→tmp
Ｓ８ tmp:GENTGT
Ｓ９ マクロブロックmbの量子化ステップを１減じる
Ｓ１０ tmp→total
Ｓ１１ mb+1→mb
【発明の属する技術分野】
この発明は、例えばＤＣＴ(Discrete Cosine Transform) を用いた符号化に対して適用できる画像信号量子化装置およびその方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ(Moving Pictures Expert Group)規格に代表されるＤＣＴを用いた画像圧縮方式では、伝送路に送出されるビットストリームが所望のレートになるように、符号量制御を行なっている。例えば量子化ステップを表す量子化インデックスを制御することによって、符号量制御がなされる。ＭＰＥＧ２でＴＭ５として提案されている符号量制御では、仮想バッファの残量と、以前エンコードした際の量子化インデックスと発生符号量の関係を用いて量子化ステップをフィードバック制御している。
【０００３】
図１は、ＭＰＥＧのレイヤー構造を示すものである。シーケンス層、ＧＯＰ(Group Of
Picture)層、ピクチャ層、スライス層、マクロブロック層からなる階層構造が規定されている。より具体的には、図１に示すように、スライス層や、マクロブロック層に含まれるデータ（Ｑスケールと呼ぶ）で量子化ステップを変化させることによって、１フレーム等の固定期間で発生する符号量を調節している。例えば（４：２：０）のフォーマットでは、４個の輝度信号のブロックと、色信号Ｕの１個のブロックと、色信号Ｖの１個のブロックとによって、マクロブロックが構成されている。
【０００４】
一例として、Ｑスケールの値qscale として、Ｑ１〜Ｑ３１の３１種類が用意されてい
る。Ｑスケールの番号が大きくなるにしたがって、量子化ステップが大きい値となるようにされている。第２図に示すように、量子化と総符号量の関係は、量子化ステップを大きくすると、量子化が粗くなり総符号量が少なくなる。逆に、量子化ステップを小さくすると、量子化は細かくなり総符号量が多くなる。また、量子化は離散値しかとれないため、総符号量も離散的になる。
【０００５】
通信等のアプリケーションでは、以前の量子化ステップと総符号量の関係を用いて、現在の平均レートに対してフィードバックをかける方式が一般的である。すなわち、現在の平均レートが目標レートよりも高めならば量子化ステップを若干粗めにして総符号量を下げ、現在の平均レートが低めならば量子化ステップを若干細かくして総符号量を増やす。このようにして平均的に目標レートを実現するように制御を行う。すなわち、細かい時間で見ると総符号量は増減するものの、長い時間で見ると平均的に総符号量を目標値とするものである。
【０００６】
しかしながら、編集等を前提としたＶＴＲのようなアプリケーションでは、前述のような平均レートだけで制御すると不具合がおきてしまう。このようなアプリケーションでは、例えばフレーム毎での編集といった操作があるため、編集単位毎にその総符号量が一定量を絶対に超えないような制御が必要となる。以下、このような制御を固定長符号量制御と呼ぶことにする。
【０００７】
前述のフィードバック制御ではこの様な制御が困難なため、再生画像の破綻を来したり、あるいは符号量が目標値を超えないようにマージンを見込み過ぎて画質が劣化してしまうことがあった。そこで、予め異なる量子化ステップの固定量子化器を複数用いて量子化を行ない、そのときの総符号量に基づいて、量子化制御を行なうという技術が知られている。例えば、下記の特許文献１には、フィードフォワード方式の符号量制御が開示されている。
【０００８】
【特許文献１】
国際公開公報ＷＯ９６／２８９３７
【０００９】
具体的には、第２図に示される３１種類のＱスケールをそれぞれ持つ量子化器を設け、各量子化器で量子化された量子化ＤＣＴ係数の１フレーム期間（以下では、画面の用語を適宜使用する）の総符号量をそれぞれを求め、総符号量が目標符号量を超えず、且つ目標符号量に対する差が小さいＱスケールを決定する。第２図の例では、Ｑ４がそのようなＱスケールに該当する。
【００１０】
【発明が解決しようとする課題】
しかしながら、この求められた例えば３１種類の量子化の時の総符号量をもとに、どのように量子化ステップを決めるのかが問題となる。Ｑスケールは、離散的なものであるので、ビットレートも離散的な値しかとれず細かな制御ができず、目標符号量との差が充分に小さくならない問題があった。
【００１１】
したがって、この発明の目的は、符号量制御において、アクティビティに応じて、目標符号量を超えないで、且つ目標符号量と総符号量との差をより小さくすることが可能な画像信号量子化装置およびその方法を提供することにある。
【００１２】
【課題を解決するための手段】
この発明は、画像信号を量子化する画像信号量子化装置において、
画像信号の等長化単位分の複数のブロックを複数の第１の量子化ステップで量子化して発生する符号量を、第１の量子化ステップの夫々に対応して算出する符号量算出手段と、
画像信号のブロック毎のアクティビティを検出し、検出したアクティビィティをブロックのそれぞれに対するアクティビティ情報として出力するアクティビティ検出手段と、
第１の量子化ステップのそれぞれとブロック毎のアクティビティ情報とを演算して、演算結果を丸め処理することによってブロック毎にアクティビティを考慮した複数の量子化ステップを決定する第１の決定手段と、
アクティビティを考慮した複数の量子化ステップにより量子化したときに、等長化単位で発生する総符号量が目標符号量を下回り、総符号量と目標符号量との差が最小となる第２の量子化ステップを、符号量情報を参照してブロック毎に決定する第２の決定手段と、
第２の量子化ステップで量子化したときの等長化単位で発生する総符号量と目標符号量との差である余剰符号量を検出し、余剰符号量に応じてしきい値を発生するしきい値発生手段と、
アクティビティを考慮した複数の量子化ステップの決定時における丸め処理において切捨てた値の大きさに応じて第２の量子化ステップをより小とする場合の優先度を決定する優先度決定手段と、
優先度がしきい値以下と判定されたブロックに対して、第２の量子化ステップより小で、画像信号の等長化単位で発生する総符号量が目標符号量を越えないように第３の量子化ステップを決定する第３の決定手段と、
第２又は第３の決定手段で決定された第３の量子化ステップで各ブロックを量子化する量子化手段と
からなることを特徴とする画像信号量子化装置である。
【００１３】
この発明は、画像信号を量子化する画像信号量子化方法において、
画像信号の等長化単位分の複数のブロックを複数の第１の量子化ステップで量子化して発生する符号量を、第１の量子化ステップの夫々に対応して算出する符号量算出ステップと、
画像信号のブロック毎のアクティビティを検出し、検出したアクティビィティをブロックのそれぞれに対するアクティビティ情報として出力するアクティビティ検出ステップと、
第１の量子化ステップのそれぞれとブロック毎のアクティビティ情報とを演算して、演算結果を丸め処理することによってブロック毎にアクティビティを考慮した複数の量子化ステップを決定する第１の決定ステップと、
アクティビティを考慮した複数の量子化ステップにより量子化したときに、等長化単位で発生する総符号量が目標符号量を下回り、総符号量と目標符号量との差が最小となる第２の量子化ステップを、符号量情報を参照してブロック毎に決定する第２の決定ステップと、
第２の量子化ステップで量子化したときの等長化単位で発生する総符号量と目標符号量との差である余剰符号量を検出し、余剰符号量に応じてしきい値を発生するしきい値発生ステップと、
アクティビティを考慮した複数の量子化ステップの決定時における丸め処理において切捨てた値の大きさに応じて第２の量子化ステップをより小とする場合の優先度を決定する優先度決定ステップと、
優先度がしきい値以下と判定されたブロックに対して、第２の量子化ステップより小で、画像信号の等長化単位で発生する総符号量が目標符号量を越えないように第３の量子化ステップを決定する第３の決定ステップと、
第２又は第３の決定ステップで決定された第３の量子化ステップで各ブロックを量子化する量子化ステップと
からなることを特徴とする画像信号量子化方法である。
【００１４】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。第３図は、この発明が適用されたエンコーダの全体的構成を示す。一例として、１フレーム、すなわち、１画面単位で総符号量が固定長になるように制御する。第３図において、参照符号１が走査変換部を示す。走査変換部１において、入力画像信号がマクロブロックに分割される。入力画像がプログレッシブ走査の場合では、そのままマクロブロックに分割され、インターレース走査の場合は、フィールド−フレーム変換してマクロブロックに分割される。ＭＰＥＧでは、輝度信号に関して、４個のＤＣＴブロックから構成される（１６×１６）のサイズのブロックが構成される。色差信号Ｃｒ、Ｃｂに関して、（４：２：０）の場合、それぞれが（８×８）のブロックが構成される。これらの合計６個のＤＣＴブロックをまとめて一つのマクロブロックが構成される。
【００１５】
走査変換部１においてマクロブロック化されたデータが本線系２および予測系３にそれぞれ入力される。本線系２は、参照符号４が付されたＦＩＦＯ、参照符号５が付されたＤＣＴ処理部、参照符号６が付された量子化部、参照符号７が付されたＶＬＣ(Variable Length Coding) 、参照符号８が付されたバッファとからなる。
【００１６】
ＤＣＴ処理部５では、イントラ符号化が行われ、入力画素値そのものがＤＣＴされる。量子化部６には、予測系３においてマクロブロックmb毎に決定された第３の量子化ステップとしての量子化ステップＱfinal[mb]が供給され、この量子化ステップＱfinal[mb]でＤＣＴ係数が量子化される。ＦＩＦＯ４は、予測系３において、量子化ステップＱfinalが
決定されるまでの時間を補償するための遅延素子である。
【００１７】
量子化部６からの量子化ＤＣＴ係数がＶＬＣ部７において可変長符号化される。ＶＬＣ部７の出力がバッファ８に供給される。バッファ８を介して平滑化されたビットストリームが出力される。
【００１８】
予測系３は、参照符号９で示すＤＣＴ処理部と、参照符号１０−１，１０−２，・・・，１０−ｎで示すｎ個の量子化器と、参照符号１１−１，１１−２，・・・，１１−ｎで示すｎ個の符号量検出器と、参照符号１２で示すメモリと、参照符号１３で示すminqq決
定部と、参照符号１４で示すＱfinal決定部と、アクティビティ算出回路１５とからなる
。Ｑfinal決定部１４からの量子化ステップが上述した本線系２の量子化部６に供給され
る。
【００１９】
ｎ個の量子化器１０−１，１０−２，・・・，１０−ｎは、それぞれ異なる量子化ステップで量子化する。各量子化器で発生した量子化ＤＣＴ係数が符号量検出器１１−１，１１−２，・・・，１１−ｎに供給され、各マクロブロックの符号量が符号量検出器１１−１，１１−２，・・・，１１−ｎからそれぞれ発生する。符号量検出器１１−１，１１−２，・・・，１１−ｎは、量子化ＤＣＴ係数をＶＬＣ部７と同様に可変長符号化し、可変長符号を各マクロブロックについて集計する構成とされている。このようにして求められた各マクロブロックについての各量子化の符号量情報をメモリ１２に保存する。
【００２０】
メモリ１２上では、各マクロブロックmbに対して、qscale で量子化した符号量をLength[mb,qsca1e]といった二次元配列の形で保存する。例えば１画面内のマクロブロック数が１３５０個で、量子化ステップの種類が３１個であれば、縦および横方向のアドレスの一方が（ｍｂ＝１）から（ｍｂ＝１３５０）までとされ、縦および横方向のアドレスの他方が（q-scaIe ＝１）から（q-scaIe ＝３１）までとされ、両者で指定されるメモリ上のアドレスに各マクロブロックの符号量のデータが格納される。
【００２１】
メモリ１２に格納された符号量情報を用いて、マクロブロック毎に１つの量子化ステップを選択しながら、１画面分を総和した時の符号量が目標符号量ＧＥＮ ＴＧＴ（第２図参照）を上回らずに最も近くなる様なマクロブロックに対しての量子化ステップの組合せを探す。このために、アクティビティ算出回路１５が設けられ、各マクロブロックのアクティビティ情報Act(mb) が算出される。アクティビティAct(mb) が第２の決定手段としてのminqq決定部１３およびＱfinal決定部１４に供給される。
【００２２】
minqq決定部１３は、第１の量子化ステップとしての参照量子化ステップＱref の中で
、メモリ１２の内容を使用して目標符号量を超えないで、且つ目標符号量との差が最小となる第２の量子化ステップとしての参照量子化minqqを求める。参照量子化minqqがＱfinal決定部１４に供給される。Ｑfinal決定部１４は、メモリ１２の内容を使用して、後述するように、最終的なものである、Ｑfinalを決定するものである。
【００２３】
Ｑfinal決定部１４には、各マクロブロックmbに対応して決定された量子化ステップが
Ｑfinal[mb]という配列の形で格納される。この情報は本線系２に伝送される。本線系２
の量子化部６では、各マクロブロックmbno 毎に検出された量子化ステップＱfinal[mb]によってそのマクロブロックのＤＣＴ係数が量子化される。
【００２４】
このような処理により、等長化単位例えば１画面単位の総符号量を所望の量以下にする、固定長符号量制御が実現できる。この制御において、目標符号量ＧＥＮ ＴＧＴを上回らず、これに最も近くなるような量子化ステップの組合せを見つける方法が重要である。第２図の例では、Ｑ３では、総符号量が目標符号量ＧＥＮ ＴＧＴを上回り、Ｑ４が総符号量が目標符号量ＧＥＮ ＴＧＴを超えない範囲で、最も近いものである。そうであっても、Ｑ４を適用した場合、総符号量と目標符号量ＧＥＮ ＴＧＴとの間の差が存在する。この差ができる限り小さいことが望ましい。
【００２５】
ここで、差を小さくするために、マクロブロックのアクティビティ情報を用いて量子化ステップを変化させることが効果的である。アクティビティとは、画面内の局所的な画像の性質を表すものである。コンポーネント信号の場合では、輝度信号を使用してアクティビティが算出される。
【００２６】
マクロブロックのアクティビティとしては、従来から知られているように、差の絶対値の合計等いくつかのものが使用できるが、例えばアクティビティとして、下記の式１で示すようなマクロブロックを構成する複数の画素値の分散を使用できる。式１でＮは、マクロブロックを構成する画素の数であり、ｘが画素値であり、ΣがＮ画素についての集計を表し、ｘ＾がマクロブロックの画素値の平均値である。
【００２７】
act(mb) ＝１／Ｎ・Σ（ｘ−ｘ＾）2 (1)
（ｘ＾＝１／Ｎ・Σｘ）
【００２８】
第４図は、このようにアクティビティを算出するアクティビティ算出回路１５の構成を示す。参照符号１０１がマクロブロックの画素値の平均値を算出する平均値算出回路であり、参照符号１０２が時間合わせ用の遅延素子としてのＦＩＦＯであり、参照符号１０３で示す減算器によって平均値に対する各画素値の差が演算される。差が参照符号１０４で示す二乗器で二乗され、さらに積算器１０５で積算され、積算値が１０６で示す割算回路で割り算される。割算回路１０６から式１で表されるアクティビティ情報Act(mb) が発生する。
【００２９】
予測系３の量子化器１０−１，１０−２，・・・１・１０−ｎでは、アクティビティを考慮した量子化を行なっていない。各量子化器では、Ｑスケールで１画面全体に渡ってＤＣＴ係数を量子化する。なお、第３図におけるアクティビティ算出回路１５は、上述した第４図の構成を有するものである。
【００３０】
そして、１画面全部に対して適用する一定値Ｑref に対して、各マクロブロックに適用するアクティビティを考慮した量子化ステップＱact (mb)が得られる。この量子化ステップで量子化した時のそのマクロブロックの符号量Length[mb,Ｑact (mb)] を使用して１画面の総符号量が求まる。次に、Ｑref を変えていった時の総符号量のうちで、目標符号量ＧＥＮ ＴＧＴを超えないで、且つ目標符号量との差を最小とする総符号量を生じさせるＱref が参照量子化minqqとして、minqq決定部１３によって求められる。
【００３１】
かかる参照量子化min ＿qqを求める方法について説明する。予測系３では、上述したように、３１種類のＱスケールによって量子化を行ないそのときのLength[mb,qscaIe]をメ
モリ１２上に保存している。ここでは、アクティビティが考慮されていない。この時の量子化ステップqscaIe がある参照量子化ステップＱref に対して、当該マクロブロックの
アクティビティを考慮した場合のものＱact の場合、求められた符号量を、Ｑref をインデックスとして１画面に渡り累算する。この結果、１画面分の予測系の処理が終った時には、各参照量子化Ｑref に対して、アクティビティを考慮した画面総和の符号量が得られることになる。
【００３２】
レートコントロールにおいては、Ｑref を離散的に変化させて、目標符号量ＧＥＮ ＴＧＴを超えないで目標符号量ＧＥＮ ＴＧＴとの差が最小になるような参照量子化を見つける。このようにしてminqqが求められる。この処理は、Ｑref の総数に等しい回数の比
較で済む。
【００３３】
以上の処理を実現するために、予測系３には、minqq決定部１３が設けられている。minqq決定部１３の一例の構成を第５図に示す。入力として与えられるデータは、そのマクロブロック（mb番目のマクロブロック）のアクティビティ情報Act(mb) と、Ｑスケールと、Ｑスケールで量子化した時の符号量Length(mb)である。minqq決定部１３は、メモリ１２
に対してアドレスを出力してアドレスに対応するLength(mb)を受け取るのでＱスケールの値が分かる。各マクロブロックごとにAct(mb) が一つ決定され、Ｑスケールは、量子化器１０−１，・・・，１０−ｎによって、各マクロブロック内で異なる値を並列に適用し、各々に対するLength(mb)が計算される。アクティビティ情報Act(mb) は、アクティビティ算出回路１５から供給される。符号量Length(mb)は、メモリ１２から読み出されたものである。minqq決定部１３に対する入力としては、ｎ個のＱスケールに対応する符号量Length(mb)が１画面の最初のマクロブロックに関するものからその最後のマクロブロックに関
するものまで順に供給される。
【００３４】
参照符号３０１で示すマッピング部に対して、Act(mb) およびＱスケールが供給される。マッピング部３０１は、一例として下記の式２と逆の関係でもって入力されたＱスケール（Ｑact ）をＱref に変換するものである。すなわち、Ｑスケールをアクティビティを考慮したものと仮定し、アクティビティを考慮しない値Ｑref をマッピング回路３０１が出力する。
【００３５】
参照量子化ステップＱref に対して、アクティビティを考慮した場合の量子化ステップ（実際に使用される量子化ステップ）をＱact (mb)とすると、次の式２でＱact (mb)が決定される。この場合、総符号量を目標符号量以下に制御することとは無視されている。なお、参照量子化ステップＱref とは、アクティビティを考慮しないで、１画面全体を量子化する量子化ステップを意味する。この一実施例は、画面の局所的情報としてのアクティビティを考慮するものであるので、仮想的なＱref を導入し、Ｑref をアクティビティに応じて変更するものである。変更する割合は、Ｑref の値と無関係にアクティビティに応じて一定である。
【００３６】
Ｑact (mb)＝ｆmap （Ｑref (mb)，act(mb) ） (2)
ここで、関数ｆmap ()は、act(mb) とＱref からＱact (mb)を計算するためのものである。例えばＭＰＥＧのＴＭ(Test Model)５で使用されているものを次の式３で示す。
【００３７】
ｆmapTM（Ｑref (mb)，act(mb) ）
＝[(2.0 ×act(mb) ＋Ｎact)/(act(mb)＋2.0 ×Ｎact)]×Ｑref (mb) (3)
【００３８】
ここで、Ｎactは、act(mb) のフレーム平均であるが、システムデイレイを考慮して、
前フレームの値を用いることもある。式３において、act(mb) ＝Ｎactであれば、Ｑref
に対して乗じられる係数ｋが１となる。act(mb) ＝０であれば、Ｑref に対して乗じられる係数ｋが０．５となる。係数ｋは、0.5 から２までの範囲の値をとりうる。このような関数ｆmap ()を用いて、Ｑact (mb)を算出する。本来、アクティビティ情報Act(mb) は、連続値（小数点以下の値を有する値）であるが、適当に丸めた代表値、例えば１６ステップの代表値であっても画質的には十分である。
【００３９】
簡単な例として、１フレーム内に４個のマクロブロックが存在し、各マクロブロックのアクティビティ情報Act(mb) を考慮した量子化ステップに対する操作が( ×0.5,×1.0,×0.5,×2.0)であったとする。参照量子化Ｑref が例えば１０の場合では、各マクロブロックに対するアクティビティを考慮した量子化Ｑact は、Ｑref に対してAct(mb) を考慮した操作を行うことで、(5,10,5,20) となる。マッピング部３０１は、Ｑact とAct(mb) とから参照量子化Ｑref を発生する。例えばマッピング部３０１に対してAct(mb) ＝0.5 でＱact ＝１０が供給されるときには、Ｑref が２０であることが分かる。
【００４０】
マッピング部３０１からの参照量子化Ｑref がアドレス生成部３０２に供給される。アドレス生成部３０２は、Ｑref からメモリ３０３のアドレスを発生する。メモリ３０３は、予めフレームの先頭でクリアされる。Ｑref として３１通りのものが用意されている時には、Ｑref と対応して３１個のメモリ３０３のアドレスが存在する。１画面内のマクロブロック毎に３１種類のＱスケールと各Ｑスケールに対応したLengthがminqq決定部１３へ入力される。
【００４１】
あるアドレスがメモリ３０３に与えられると、そのアドレスに既に書かれている総符号量の途中経過の符号量がメモリ３０３から読み出され、加算器３０４にフィードバックされる。そして、加算器３０４にて入力Lengthと加算されたものがメモリ３０３の同じアドレスに書き込まれ、積算動作がなされる。したがって、１画面の全てのマクロブロックの処理が終了すると、Ｑref のそれぞれについての総符号量がメモリ３０３上に格納される。
【００４２】
次に、参照符号３０５で示すカウンタのカウント値がアドレス生成部３０２およびレジスタ３０９に供給される。このカウント値は、Ｑref の３１通りの値に対応して例えば３０，２９，・・・，０とデクリメントするものである。Ｑref がデクリメントされるにしたがって総符号量が増大する。アドレス生成部３０２は、カウント値に応じてリードアドレス（すなわち、Ｑref ）をメモリ３０３に与える。メモリ３０３からそのアドレスの総符号量が読み出され、減算器３０６に総符号量が供給される。
【００４３】
減算器３０６には、目標符号量ＧＥＮ ＴＧＴが供給され、メモリ３０３から読み出された総符号量が目標符号量ＧＥＮ ＴＧＴから減算される。減算器３０６の出力が比較器３０７およびレジスタ３０８に供給される。比較器３０７の出力がレジスタ３０８および３０９に対してイネーブルとして供給される。比較器３０７の他方の入力としてレジスタ３０８の出力が供給される。
【００４４】
比較器３０７は、減算器３０６の減算出力とレジスタ３０８に蓄えられているレジスタデータとを比較し、減算出力がレジスタデータより小さい場合に、レジスタ３０８および３０９が入力を取り込むイネーブルとしての比較出力を発生する。減算出力が負の場合では、比較器３０７がイネーブルを発生しない。したがって、Ｑref の全てに対応するリードアドレスを発生し終えた時点では、レジスタ３０８には、最小の減算出力が格納され、レジスタ３０９には、最小減算出力を発生したＱref に対応するカウント値が格納されている。このカウント値がminqqとして出力される。なお、減算出力が負となった時点で、
カウンタ３０５のカウントを停止しても良い。
【００４５】
minqq決定部１３の処理について、第６図を参照してより具体的に説明する。簡単のた
めに、量子化ステップの種類が１，２，４，８，１６であり、アクティビティを考慮した量子化ステップに対する操作、すなわち、係数ｋが0.5,1.0,2.0 であるとする。この場合では、Ｑref とＱact とは、第６図Ａに示すような関係となる。例えばＱref ＝２の例では、アクティビティを考慮した量子化ステップＱact がＱact ＝１，Ｑact ＝２，Ｑact
＝４となる。
【００４６】
今、４つのマクロブロックmb0,mb1,mb2,mb3 からなる１画面を考える。この場合には、上述した量子化ステップ（１，２，４，８，１６）のそれぞれで量子化を行った場合に、各マクロブロックで発生する符号量が符号量情報としてメモリ１２に保存されている。それぞれの係数ｋが(2.0,0.5,2.0,1.0) とする。画面内のＱref を２，４，８とした場合、各マクロブロックmbn のアクティビティを考慮した量子化ステップは、第６図Ｂに示すものとなる。Ｑref ＝１およびＱref ＝１６の場合には、操作後の値が規定の範囲からはみ出してしまうために除外している。すなわち、該当なしとして処理する。
【００４７】
したがって、Ｑref に対する１画面の総符号量totallength( Ｑref ) は、符号量情報
を参照して下記に示すように求まる。
【００４８】
totallength(2)
＝Length[mb0,4] ＋Length[mb1,1] ＋Length[mb2,4] ＋Length[mb3,2]
totallength(4)
＝Length[mb0,8] ＋Length[mb1,2] ＋Length[mb2,8] ＋Length[mb3,4]
totallength(8)
＝Length[mb0,16]＋Length[mb1,4] ＋Length[mb2,16]＋Length[mb3,8]
【００４９】
第３図おける予測系３では、各マクロブロックに対して全ての量子化ステップ１，２，４，８，１６によってそれぞれ量子化を行う。まず、totallength(2) 、totallength(4)
、totallength(8) が０に初期化される。最初のマクロブロックmb0 について、Length[mb0,1] ，Length[mb0,2] ，Length[mb0,4] ，Length[mb0,8] ，Length[mb0,16]が得られる
。mb0 についての係数ｋが２であるので、第６図Ａを参照してＱact からＱref の関係を求めることにより下記のように各Ｑref に対する符号量が分かる。
【００５０】
Length[mb0,1] ・・・・該当無し（Ｑact が１になるようなＱref が存在しないという意味である。）
Length[mb0,2] ・・・・Ｑref ＝１でアクティビティを考慮した符号量
Length[mb0,4] ・・・・Ｑref ＝２でアクティビティを考慮した符号量
Length[mb0,8] ・・・・Ｑref ＝４でアクティビティを考慮した符号量
Length[mb0,16]・・・・Ｑref ＝８でアクティビティを考慮した符号量
【００５１】
第６図Ａに示す表を参照するのがマッピング部３０１（第５図参照）である。マッピング部３０１からのＱref に応じてメモリ３０３のアドレスを変化させて積算する。それによってマクロブロックmb0 だけでのtotallengthは，下記のものとなる。
【００５２】
totallength(2) ＝Length[mb0,4]
totallength(4) ＝Length[mb0,8]
totallength(8) ＝Length[mb0,16]
【００５３】
マクロブロックmb1 については、係数ｋが0.5 であるので、第６図Ａを参照して同様に符号量が分かる。
【００５４】
Length[mb1,1] ・・・・Ｑref ＝２でアクティビティを考慮した符号量
Length[mb1,2] ・・・・Ｑref ＝４でアクティビティを考慮した符号量
Length[mb1,4] ・・・・Ｑref ＝８でアクティビティを考慮した符号量
Length[mb1,8] ・・・・Ｑref ＝１６でアクティビティを考慮した符号量
Length[mb1,16]・・・・該当無し
【００５５】
これによりマクロブロックmb1 までのtotallengthは，下記のものとなる。
totallength(2) ＝Length[mb0,4] ＋Length[mb1,1]
totallength(4) ＝Length[mb0,8] ＋Length[mb1,2]
totallength(8) ＝Length[mb0,16]＋Length[mb1,4]
【００５６】
マクロブロックmb2 については、係数ｋが2.0 であるので、第６図Ａを参照して同様に符号量が分かる。
Length[mb2,1] ・・・・該当無し
Length[mb2,2] ・・・・Ｑref ＝１でアクティビティを考慮した符号量
Length[mb2,4] ・・・・Ｑref ＝２でアクティビティを考慮した符号量
Length[mb2,8] ・・・・Ｑref ＝４でアクティビティを考慮した符号量
Length[mb2,16]・・・・Ｑref ＝８でアクティビティを考慮した符号量
【００５７】
これによりマクロブロックmb2 までのtotallengthは，下記のものとなる。
totallength(2) ＝Length[mb0,4] ＋Length[mb1,1] ＋Length[mb2,4]
totallength(4) ＝Length[mb0,8] ＋Length[mb1,2) ＋Length[mb2,8]
totallength(8) ＝Length[mb0,16]＋Length[mb1,4] ＋Length[mb2,16]
となる。
【００５８】
マクロブロックmb3 については、係数ｋが1.0 であるので、第６図Ａを参照して同様に符号量が分かる。
Length[mb3,1] ・・・・Ｑref ＝１でアクティビティを考慮した符号量
Length[mb3,2] ・・・・Ｑref ＝２でアクティビティを考慮した符号量
Length[mb3,4] ・・・・Ｑref ＝４でアクティビティを考慮した符号量
Length[mb3,8] ・・・・Ｑref ＝８でアクティビティを考慮した符号量
Length[mb3,16]・・・・Ｑref ＝１６でアクティビティを考慮した符号量
【００５９】
これによりマクロブロックmb3 まで( すなわち、１画面のtotallengthは，下記のもの
となる。
totallength(2)
＝Length[mb0,4] ＋Length[mb1,1] ＋Length[mb2,4] ＋Length[mb3,2]
totallength(4)
＝Length[mb0,8] ＋Length[mb1,2] ＋Length[mb2,8] ＋Length[mb3,4]
totallength(8)
＝Length[mb0,16]＋Length[mb1,4] ＋Length[mb2,16]＋Length[mb3,8]
となる。以上のようにして、２，４，８のＱref に対する１画面の総符号量が求められる。
【００６０】
以上の処理によって、目標符号量ＧＥＮ ＴＧＴを超えないで、目標符号量ＧＥＮ ＴＧＴとの差が最小の参照量子化Ｑref がminqqとして求められる。しかしながら、Ｑref
を離散的に操作しているので、ビットレートも離散的な値しかとれず細かな制御ができないため、目標符号量ＧＥＮ ＴＧＴとの差が充分に小さくならない可能性がある。そこで、量子化ステップが飛び飛びの離散値しか選ぶことができず、実際に使用できるＱact (mb)が丸め等の処理を受けていることを利用して、目標符号量ＧＥＮ ＴＧＴとの差をより小さくする。丸め処理を利用して細かくビットレートを調整する。
【００６１】
すなわち、ビットレートを若干下げたい場合には、いくつかのマクロブロックに対してＱスケールを大きくして総符号量を少なくすれば良い。このとき、アクティビティを考慮した際の丸め処理によって切り捨てられた量が大きいもの、すなわち、切り上げても弊害が少なそうなものから順に切り上げるようにする。逆に、ビットレートを若干上げたい場合には、いくつかのマクロブロックに対してＱスケールを小さくして総符号量を大きくすれば良い。このとき、丸め処理によって切り上げられた量が大きいものから順に切り捨てるようにする。それによって、アクティビティを考慮してＱスケールを変化させた時に、本来のＱスケールに対して誤差が少ないようにする。
【００６２】
次に例を示す。簡単のため、１画面が４個のマクロブロックによって構成されているとする。所望のビットレートを得るため各マクロブロックに対するアクティビティを考慮して連続値（小数点以下まで求められる値）の量子化ステップは、(3.2、5.9 、4.1 、10.5) とする。これを四捨五入で丸めをすると、（３、６、４、１１）となる。若し、この組み合わせにより得られるビットレートが所望のものよりも高く、ビットレートを下げたい場合には、下記の順にＱスケールを変化させる。（）内の値は、元の連続値に対する差を示す。
３→４(0.8) 、４→５(0.9) 、６→７(1.1) 、１１→１２(1.5)
逆にビットレートが所望のものよりも低く、ビットレートを上げたい場合には、下記の順にする。（）内の値は、元の連続値に対する差を示す。
１１→１０(0.5) 、６→５(0.9) 、４→３(1.1) 、３→２(1.2)
【００６３】
前述したminqqは、ビットレートが所望のものよりも低く、ビットレートを上げたい場
合に該当し、Ｑスケールを小さくする処理が必要である。しかしながら、処理の順序例えば画面の上の左端のマクロブロックから順に下の右端に向かってＱスケールを小さくした時には、処理の最初の部分のＱスケールのみが制御され、後半の部分では、Ｑスケールが制御されず、画質の改善にとってそれほど有効ではない不都合が生じる。このような不都合を生じないで、アクティビティ情報に応じて量子化ステップを制御することが必要である。そのような処理を実現する方法（しきい値法と称する）について以下に説明する。
【００６４】
しきい値法は、目標符号量とminqqで得られる総符号量の関係からしきい値を求め、こ
のしきい値と各マクロブロックのアクティビティを比較して量子化ステップを細かくするものである。予測系３のＱfinal決定部１４は、このしきい値法によってＱfinalを決定するものである。以下に詳細を述べる。
【００６５】
予測系３で、minqqを求めるために符号量の集計をとるのと同時に、式２を満たす量子
化ステップより一つ小さいものの集計をＱref をインデックスとしてとるようにする。
演算処理としては、先ず第５図の構成によってminqqを求める。この符号量をＬＯＷ
ＴＧＴと表記し、一つ小さい量子化ステップをとったときの符号量をＵＰＲ ＴＧＴと表記する。minqq決定部１３は、符号量ＬＯＷ ＴＧＴをＱfinal決定部１４に供給する。ＬＯＷ ＴＧＴは、後述する第９図のフローチャートにおける変数total の初期値に用いられる。第２図の例では、ＱスケールＱ４がＬＯＷ ＴＧＴであり、Ｑ３がＵＰＲ ＴＧＴである。Ｑfinal決定部１４は、これらの符号量から次の式４で表す余剰符号量の比率Ｒ
ＥＳ ＣＮＴを計算する。
【００６６】
RESCNT ＝(GENTGT−LOWTGT)／(UPRTGT−LOWTGT) (4)
【００６７】
Ｑfinal決定部１４は、この比率ＲＥＳ ＣＮＴを用いて、予め作成されたルックアッ
プテーブルからアクティビティのしきい値actthrsh を求める。
【００６８】
また、Ｑfinal決定部１４は、各参照量子化Ｑref および各アクティビティ毎に、qscale を変化させる順番を予め求めたテーブルを有する。第７図は、そのテーブルの一例を部分的に示す。ここで、ｋは、アクティビティ情報に応じて量子化ステップを操作するための係数、すなわち、式３において、Ｑref (mb)に乗じられる係数部分を表している。第７図では、簡単のため、係数ｋが５種類の離散的な値（0.5,0.75,1.0,1.5,2.0) をとりうるものとしている。
【００６９】
例えばＱref ＝１０の場合では、係数ｋを乗じた値が(5,7.5,10,15,20)となり、四捨五入で丸めた値が (5,8,10,15,20) となる。ビットレートを上げるために、丸め後の量子化から１を減算し、(4,7,9,14,19) を得る。前述したように、丸め処理によって切り上げられた量が大きいものから順に変化させる。その順位が第７図に示されている。Ｑref ＝１１の場合でも、同様のテーブルが作成される。図示しない他のＱref についても同様に順位が予め求められている。
【００７０】
また、Ｑfinal決定部１４は、第８図に概念的に示すような余剰符号量の比率ＲＥＳ
ＣＮＴに対してアクティビティ情報のしきい値actthrsh を規定するルックアップテーブ
ルを有する。余剰符号量ＲＥＳ ＣＮＴが大きくなるにしたがって、しきい値actthrsh
が段階的に大きくなるもので、その境界が実験的に定められたものである。ここでは、第１順位から第５順位までが存在するので、しきい値actthrsh としても、第１順位から第
５順位までの中の一つを指定するものとされている。
【００７１】
しきい値actthrsh は、アクティビティがそれ以下の順位のマクロブロックの量子化ス
テップＱref を−１しても良いことを意味する。（actthrsh ＝１）であれば、第１順位
の量子化ステップのみを−１できることを意味する。なお、ルックアップテーブルとしては、他の例が可能である。例えば余剰符号量ＲＥＳ ＣＮＴが非常に小さくて、量子化ステップを変化させる余地が殆ど無い場合には、そのことを示すデータをルックアップテーブル中に挿入しても良い。
【００７２】
しきい値よりも順位が高いアクティビティのマクロブロックは、量子化ステップを一段階小さく、すなわち、細かくしていく。そうでないものについてはそのままとする。但し、この方法では、しきい値より高い順位のアクティビティのものを全て一段階下げても、目標符号量を超えないという保証がないため、目標符号量を超える前に量子化ステップを小さくするのをやめる。したがって、目標符号量を実現したマクロブロック以降であっても、しきい値よりも順番が高いアクティビティのマクロブロックが存在する可能性がある。
【００７３】
第９図は、上述したしきい値法を説明するためのフローチャートである。Ｑfinal決定
部１４は、このフローチャートで示す処理によって最終的な量子化ステップＱfinalを決
定する。ステップＳ１では、予測系３で得られた結果を使用して式４で表される余剰符号量ＲＥＳ ＣＮＴが計算される。ステップＳ２では、第８図に示すようなルックアップテーブルを参照してアクティビティのしきい値actthrsh が求められる。
【００７４】
ステップＳ３では、マクロブロックのインデックスである変数mbがゼロに初期化される。ステップＳ４では、変数mbとマクロブロックの総数ＭＢ ＮＵＭとが比較される。mb＝ＭＢ ＮＵＭであれば、全てのマクロブロックの処理が終わったことになるので、処理を終了する。そうでなければ、処理が次のステップＳ５に進む。
【００７５】
ステップＳ５では、マクロブロックmbのアクティビティ情報で定まる順位とactthrsh
の順位を比較する。actthrsh よりもアクティビティ情報の順位が高ければ、qscale を下げられる可能性があるので、ステップＳ６に処理が進む。そうでなければ、処理がステップＳ１１に進む。
【００７６】
ステップＳ６では、マクロブロックmbのアクティビティ情報とminqqとからqscale を計算する。ステップＳ７では、全体の符号量(total) から量子化ステップを下げていない場合のそのマクロブロックの符号量が減算され、さらに、量子化ステップを一つ下げた場合のそのマクロブロックの符号量が加算される。それによって、そのマクロブロックの量子化ステップを一つ下げた場合の総符号量（以前の符号量と比較して増加している）が求められる。この新たな総符号量が変数tmp に格納される。
【００７７】
ステップＳ８では、tmp と目標符号量ＧＥＮ ＴＧＴとを比較する。tmp がＧＥＮ ＴＧＴ以下であれば、量子化ステップを細かくすることができるので、処理が次のステップＳ９に進む。そうでなければ、処理がステップＳ１１に進む。ステップＳ９では、マクロブロックmbの量子化ステップをひとつ減ずる。そして、ステップＳ１０において、総符号量を表す変数total を更新する。ステップＳ１１では、マクロブロックmbをインクリメントし、ステップＳ４に戻る。
【００７８】
この発明は、上述した実施例に限定されるものではなく、この発明の要旨を逸脱しない範囲内で種々の変形や応用が可能である。
【００７９】
例えば、ＤＣＴに限られず、ウェーブレット変換、Haar変換、Ｋ−Ｌ変換等の変換符号化に対しても、この発明を適用することができる。
【００８０】
また、この発明は、圧縮符号化されたデータを磁気テープに記録したり、ハードディスク、光磁気ディスクに記録する場合に対して適用できる。さらに、この発明は、圧縮付されたデータをネットワークを介して送信する場合に対しても適用できる。
【００８１】
さらに、マクロブロックの構造としては、（４：２：０）に限らず、（４：２：２）、（４：４：４）、（４：１：１）等の構造であっても良い。マクロブロック内に含まれるＤＣＴブロックの個数も限定されるものではない。よりさらに、符号量を制御する等長化単位としては、１フレームに限らず、より短い期間を設定しても良い。
【００８２】
【発明の効果】
この発明は、量子化ステップが画像の局所的性質により可変されるので、復号画像の画質を向上することができる。この場合、アクティビティ情報によって補正された量子化ステップを丸める時の処理に注目して、量子化ステップを変化させる場合の優先順位を定めている。さらに、余剰符号量に対応してしきい値をテーブルとして有し、テーブルを参照してしきい値を決定する。そして、しきい値より順位が高いアクティビティを持つマクロブロックの場合では、量子化ステップを一段階細かくする。このようにしてアクティビティに応じて量子化ステップを制御する場合に、余剰符号量に適応して量子化ステップを制御することが可能となる。
【図面の簡単な説明】
【図１】 量子化ステップのデータを伝送する方法の一例を示す略線図である。
【図２】 量子化ステップに対する１画面で発生する総符号量の変化の一例を示す略線図である。
【図３】 この発明の一実施例の全体的構成を示すブロック図である。
【図４】 アクティビティ算出回路の一例のブロック図である。
【図５】 この発明の一実施例における量子化ステップ決定部の一例のブロック図である。
【図６】 この発明の一実施例における量子化ステップのＱref およびＱact の関係を説明するための略線図である。
【図７】 この発明の一実施例においてアクティビティ情報に応じて量子化ステップを制御する方法を説明するための略線図である。
【図８】 この発明の一実施例において余剰符号量に応じたしきい値の関係のルックアップテーブルの一例を説明するための略線図である。
【図９】 この発明の一実施例における量子化ステップの制御の方法を説明するためのフローチャートである。
【符号の説明】
２ 本線系
３ 予測系
６ 量子化部
１０−１〜１０−ｎ 量子化器
１５ アクティビティ算出部
Ｓ１ ＲＥＳ ＣＮＴを求める
Ｓ２ actthrshを求める
Ｓ３ ０→mb
Ｓ４ mb:MB NUM
Ｓ５ rev(act(mb)):rev(actthrsh)
Ｓ６ fmap(act(mb),minqq)→qscale
Ｓ７ total-Length[mb,qscale]+Length[mb,qscale-1]→tmp
Ｓ８ tmp:GENTGT
Ｓ９ マクロブロックmbの量子化ステップを１減じる
Ｓ１０ tmp→total
Ｓ１１ mb+1→mb
Claims (5)
- 画像信号を量子化する画像信号量子化装置において、
上記画像信号の等長化単位分の複数のブロックを複数の第１の量子化ステップで量子化して発生する符号量を、上記第１の量子化ステップの夫々に対応して算出する符号量算出手段と、
上記画像信号の上記ブロック毎のアクティビティを検出し、検出したアクティビィティを上記ブロックのそれぞれに対するアクティビティ情報として出力するアクティビティ検出手段と、
上記第１の量子化ステップのそれぞれとブロック毎の上記アクティビティ情報とを演算して、演算結果を丸め処理することによって上記ブロック毎に上記アクティビティを考慮した複数の量子化ステップを決定する第１の決定手段と、
上記アクティビティを考慮した複数の量子化ステップにより量子化したときに、上記等長化単位で発生する総符号量が目標符号量を下回り、上記総符号量と上記目標符号量との差が最小となる第２の量子化ステップを、上記符号量情報を参照して上記ブロック毎に決定する第２の決定手段と、
上記第２の量子化ステップで量子化したときの上記等長化単位で発生する総符号量と上記目標符号量との差である余剰符号量を検出し、上記余剰符号量に応じてしきい値を発生するしきい値発生手段と、
上記アクティビティを考慮した複数の量子化ステップの決定時における上記丸め処理において切捨てた値の大きさに応じて上記第２の量子化ステップをより小とする場合の優先度を決定する優先度決定手段と、
上記優先度が上記しきい値以下と判定されたブロックに対して、上記第２の量子化ステップより小で、上記画像信号の上記等長化単位で発生する総符号量が上記目標符号量を越えないように第３の量子化ステップを決定する第３の決定手段と、
上記第２又は第３の決定手段で決定された上記第３の量子化ステップで各ブロックを量子化する量子化手段と
からなることを特徴とする画像信号量子化装置。 - 請求項１において、
上記第３の決定手段は、選択されたブロックに対して、順次、上記第２の量子化ステップを変化させるとともに、上記余剰符号量を再計算し、上記余剰符号量がマイナスとなる直前まで処理を行う画像信号量子化装置。 - 画像信号を量子化する画像信号量子化方法において、
上記画像信号の等長化単位分の複数のブロックを複数の第１の量子化ステップで量子化して発生する符号量を、上記第１の量子化ステップの夫々に対応して算出する符号量算出ステップと、
上記画像信号の上記ブロック毎のアクティビティを検出し、検出したアクティビィティを上記ブロックのそれぞれに対するアクティビティ情報として出力するアクティビティ検出ステップと、
上記第１の量子化ステップのそれぞれとブロック毎の上記アクティビティ情報とを演算して、演算結果を丸め処理することによって上記ブロック毎に上記アクティビティを考慮した複数の量子化ステップを決定する第１の決定ステップと、
上記アクティビティを考慮した複数の量子化ステップにより量子化したときに、上記等長化単位で発生する総符号量が目標符号量を下回り、上記総符号量と上記目標符号量との差が最小となる第２の量子化ステップを、上記符号量情報を参照して上記ブロック毎に決定する第２の決定ステップと、
上記第２の量子化ステップで量子化したときの上記等長化単位で発生する総符号量と上記目標符号量との差である余剰符号量を検出し、上記余剰符号量に応じてしきい値を発生するしきい値発生ステップと、
上記アクティビティを考慮した複数の量子化ステップの決定時における上記丸め処理において切捨てた値の大きさに応じて上記第２の量子化ステップをより小とする場合の優先度を決定する優先度決定ステップと、
上記優先度が上記しきい値以下と判定されたブロックに対して、上記第２の量子化ステップより小で、上記画像信号の上記等長化単位で発生する総符号量が上記目標符号量を越えないように第３の量子化ステップを決定する第３の決定ステップと、
上記第２又は第３の決定ステップで決定された上記第３の量子化ステップで各ブロックを量子化する量子化ステップと
からなることを特徴とする画像信号量子化方法。 - 画像信号を量子化する画像信号量子化装置において、
上記画像信号の等長化単位分の複数のブロックをそれぞれ量子化する際の第１の量子化ステップのそれぞれと上記画像信号の上記ブロック毎のアクティビティを検出して得られるブロック毎のアクティビティ情報とを演算して、演算処理を丸め処理することによって上記ブロック毎に上記アクティビティを考慮した複数の量子化ステップを決定する第１の決定手段と、
上記アクティビティを考慮した複数の量子化ステップにより量子化したときに、上記等長化単位で発生する総符号量が目標符号量を下回り、上記総符号量と上記目標符号量との差が最小となる第２の量子化ステップを、上記符号量情報を参照して上記ブロック毎に決定する第２の決定手段と、
上記アクティビティを考慮した複数の量子化ステップの決定時における上記丸め処理において切り捨てた値の大きさに応じて上記第２の量子化ステップをより小さくする場合の優先度が、上記第２の量子化ステップで量子化したときの上記等長化単位で発生する総符号量と上記目標符号量との差である余剰符号量に応じて決定されたしきい値以下と判定されたブロックに対して、上記第２の量子化ステップより小で、上記画像信号の上記等長化単位で発生する総符号量が上記目標符号量を越えないように第３の量子化ステップを決定する第３の決定手段と、
上記第２又は第３の決定手段で決定された上記第３の量子化ステップで各ブロックを量子化する量子化手段と
からなることを特徴とする画像信号量子化装置。 - 画像信号を量子化する画像信号量子化方法において、
上記画像信号の等長化単位分の複数のブロックをそれぞれ量子化する際の第１の量子化ステップのそれぞれと上記画像信号の上記ブロック毎のアクティビティを検出して得られるブロック毎のアクティビティ情報とを演算して、演算処理を丸め処理することによって上記ブロック毎に上記アクティビティを考慮した複数の量子化ステップを決定する第１の決定ステップと、
上記アクティビティを考慮した複数の量子化ステップにより量子化したときに、上記等長化単位で発生する総符号量が目標符号量を下回り、上記総符号量と上記目標符号量との差が最小となる第２の量子化ステップを、上記符号量情報を参照して上記ブロック毎に決定する第２の決定ステップと、
上記アクティビティを考慮した複数の量子化ステップの決定時における上記丸め処理において切り捨てた値の大きさに応じて上記第２の量子化ステップをより小さくする場合の優先度が、上記第２の量子化ステップで量子化したときの上記等長化単位で発生する総符号量と上記目標符号量との差である余剰符号量に応じて決定されたしきい値以下と判定されたブロックに対して、上記第２の量子化ステップより小で、上記画像信号の上記等長化単位で発生する総符号量が上記目標符号量を越えないように第３の量子化ステップを決定 する第３の決定ステップと、
上記第２又は第３の決定ステップで決定された上記第３の量子化ステップで各ブロックを量子化する量子化ステップと
からなることを特徴とする画像信号量子化方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001100998 | 2001-03-30 | ||
| JP2001100998 | 2001-03-30 | ||
| PCT/JP2002/003254 WO2002080567A1 (en) | 2001-03-30 | 2002-04-01 | Image signal quantizing device and its method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006189589A Division JP4007398B2 (ja) | 2001-03-30 | 2006-07-10 | 量子化制御装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2002080567A1 JPWO2002080567A1 (ja) | 2004-07-22 |
| JP3846424B2 true JP3846424B2 (ja) | 2006-11-15 |
Family
ID=18954381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002577438A Expired - Fee Related JP3846424B2 (ja) | 2001-03-30 | 2002-04-01 | 画像信号量子化装置およびその方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (3) | US6865225B2 (ja) |
| EP (1) | EP1377065A4 (ja) |
| JP (1) | JP3846424B2 (ja) |
| WO (1) | WO2002080567A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2830143B1 (fr) * | 2001-09-21 | 2004-02-27 | St Microelectronics Sa | Procede et dispositif de compression d'un signal d'image |
| JP4100317B2 (ja) | 2003-09-30 | 2008-06-11 | 日本電気株式会社 | 画像符号化装置およびその量子化制御方法 |
| US7163212B1 (en) * | 2004-06-22 | 2007-01-16 | Rupp Ronald L | Portable transportation assembly |
| JP5212372B2 (ja) * | 2007-09-12 | 2013-06-19 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| WO2009035143A1 (ja) * | 2007-09-12 | 2009-03-19 | Sony Corporation | 画像処理装置及び方法 |
| JP4582141B2 (ja) * | 2007-11-27 | 2010-11-17 | カシオ計算機株式会社 | 符号量制御装置、符号量制御方法、符号量制御プログラム、動画記録装置 |
| JP5208218B2 (ja) | 2008-09-25 | 2013-06-12 | パナソニック株式会社 | 画像符号化装置、デジタルスチルカメラ、デジタルビデオカメラ、撮像素子、および画像符号化方法 |
| WO2010069366A1 (en) * | 2008-12-17 | 2010-06-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Adaptive quantization based on spatial activity histogram |
| US9049446B2 (en) | 2008-12-17 | 2015-06-02 | Telefonaktiebolaget L M Ericsson (Publ) | Adaptive quantization based on bit ratio |
| JP2011029956A (ja) * | 2009-07-27 | 2011-02-10 | Sony Corp | 画像符号化装置および画像符号化方法 |
| JP5251774B2 (ja) * | 2009-07-27 | 2013-07-31 | ソニー株式会社 | 画像符号化装置および画像符号化方法 |
| US8272829B1 (en) * | 2009-12-30 | 2012-09-25 | Rupp Ronald L | Trailer assembly |
| US9743091B2 (en) * | 2012-12-17 | 2017-08-22 | Lg Electronics Inc. | Method for encoding/decoding image, and device using same |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0583696A (ja) * | 1991-06-07 | 1993-04-02 | Sony Corp | 画像符号化装置 |
| KR100381830B1 (ko) | 1995-03-09 | 2003-08-02 | 소니 가부시끼 가이샤 | 화상신호의부호화방법및그장치 |
| US5731835A (en) * | 1996-02-26 | 1998-03-24 | David Sarnoff Research Center, Inc. | Dynamic coding rate control in a block-based video coding system |
| JP3773585B2 (ja) * | 1996-03-29 | 2006-05-10 | 富士通株式会社 | 画像符号化装置 |
| JPH10108183A (ja) * | 1996-10-02 | 1998-04-24 | Sony Corp | 画像データ処理装置およびその方法 |
| JPH10108184A (ja) | 1996-10-02 | 1998-04-24 | Sony Corp | 画像データ処理装置およびその方法 |
| US6091767A (en) * | 1997-02-03 | 2000-07-18 | Westerman; Larry Alan | System for improving efficiency of video encoders |
| JP2001526850A (ja) | 1997-02-11 | 2001-12-18 | シャープ株式会社 | 画像符号化器における量子化値の最適化方法及び装置 |
-
2002
- 2002-04-01 JP JP2002577438A patent/JP3846424B2/ja not_active Expired - Fee Related
- 2002-04-01 WO PCT/JP2002/003254 patent/WO2002080567A1/ja active Application Filing
- 2002-04-01 US US10/296,756 patent/US6865225B2/en not_active Expired - Fee Related
- 2002-04-01 EP EP02707279A patent/EP1377065A4/en not_active Withdrawn
-
2005
- 2005-03-10 US US11/078,067 patent/US7065138B2/en not_active Expired - Fee Related
- 2005-03-10 US US11/077,642 patent/US7145949B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20050175094A1 (en) | 2005-08-11 |
| US7145949B2 (en) | 2006-12-05 |
| US20030169811A1 (en) | 2003-09-11 |
| EP1377065A1 (en) | 2004-01-02 |
| EP1377065A4 (en) | 2006-07-05 |
| US7065138B2 (en) | 2006-06-20 |
| US6865225B2 (en) | 2005-03-08 |
| JPWO2002080567A1 (ja) | 2004-07-22 |
| WO2002080567A1 (en) | 2002-10-10 |
| US20050157785A1 (en) | 2005-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4111351B2 (ja) | コード化システムにおけるレート制御を最適化するための装置および方法 | |
| US7653129B2 (en) | Method and apparatus for providing intra coding frame bit budget | |
| KR100559924B1 (ko) | 코딩 시스템의 매크로 블록 기반 비율을 제어하기 위한장치 및 방법 | |
| US7065138B2 (en) | Video signal quantizing apparatus and method thereof | |
| JP2963416B2 (ja) | 量子化活動度を用いてビット発生量を制御する映像符号化方法及び装置 | |
| JPH0723422A (ja) | ディジタルｖｔｒの映像信号帯域圧縮装置 | |
| JP2002209215A (ja) | 符号量制御装置及び方法、並びに画像情報変換装置及び方法 | |
| EP1382208A1 (en) | Dynamic complexity prediction and regulation of mpeg2 decoding in a media processor | |
| JP2001145113A (ja) | 画像情報変換装置及び方法 | |
| JPH08265761A (ja) | 映像データ後処理方法 | |
| JP4221655B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP4081727B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録装置および記録方法 | |
| JP4532607B2 (ja) | ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法 | |
| US5614953A (en) | Image signal decoding apparatus having an encoding error compensation | |
| JP4007398B2 (ja) | 量子化制御装置およびその方法 | |
| JP3963296B2 (ja) | 動画像の伝送レート変換装置 | |
| JP4127006B2 (ja) | 画像信号の符号化装置および符号化方法 | |
| JP3652889B2 (ja) | 映像符号化方法、映像符号化装置、記録媒体、及び映像通信システム | |
| JP4404232B2 (ja) | 量子化方法、量子化装置、量子化ステツプ決定方法及び量子化ステツプ決定装置 | |
| JPH0818952A (ja) | 画像信号符号化装置 | |
| JP4359273B2 (ja) | 符号化モード選択方法 | |
| JP4239734B2 (ja) | 符号化装置、および、符号化方法、並びに、プログラム | |
| JP4186544B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JP2003204553A (ja) | 画像信号の符号化装置および符号化方法 | |
| JPH07184195A (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060814 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |