JP2899431B2 - 動画データの圧縮符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画の記録・再生シス
テムなどに適用される動画データの圧縮符号化装置に関
するものである。

【０００２】

【従来の技術】現在、ゲーム用や教育用などのフレーム
構成の動画データにデータ量を圧縮するための符号化を
施しながらＣＤ−ＲＯＭなどの大容量の記録媒体に記録
し、再生する記録・再生システムが開発中である。

【０００３】データ圧縮のための各種符号化方式のうち
の高能率なものとして、離散コサイン変換（ＤＣＴ）な
どの直交変換と、量子化と、可変長符号化とを順次施す
ハイブリッド符号化方式が知られている。このハイブリ
ッド符号化方式の詳細については、必要に応じて、本出
願人が先に出願した「ＤＣＴ−ＶＱ圧縮動画データの伝
送方式」と題する特願昭６２−９１３８５０号や、「Ｄ
ＣＴ圧縮動画データの記録・再生方式」と題する特願平
２−１８４２４２号の明細書などを参照されたい。

【０００４】

【発明が解決しようとする課題】上記従来のハイブリッ
ド符号化方式では、画面の状態に応じたデータ量や圧縮
効率の変動などに伴って圧縮後のデータ量（発生符号
量）もフレームごとに変動する。このため、再生の際に
比較的大容量のバッファ回路とバッファリングのための
複雑な制御系が必要になるという問題がある。また、本
願発明の出願後に出願公開された特開平２−６２８８７
号「符号化出力データ量制御方式及びその復号装置」に
は、一部区間のデータ予測値からフレームごとの量子化
ステップを決定するフィードフォワード制御と、１フレ
ームを数ブロックに分けて、発生符号量の予測値と実測
値の差分からブロック単位で量子化ステップに修正を加
えるフィードバック制御とを組み合わせた符号化方式が
開示されている。しかしながら、この符号化方式によれ
ば、結果的にはブロック単位で量子化特性を変化させる
ことになるが、その量子化特性変化態様は、絵柄とは無
関係にその時点その時点での蓄積符号量に従って可変制
御されるため、例えば１画面中にブロック歪みの見えや
すい部分と見えにくい部分とがはっきり視認できる状態
で混在しやすく、特に画質が異なる部分の境界が目立ち
やすい等の課題を抱えるものであった。また、一部区間
のデータ予測値から１フレームの発生符号量を予測して
いるため、予測に供した区間の絵柄等によってはデータ
予測値が実測値から大幅にずれてしまい、常に最適な量
子化特性による圧縮符号化を望み得るとは限らない等の
課題を抱えるものであった。

【０００５】

【課題を解決するための手段】本発明に係わる動画デー
タの圧縮符号化装置は、フレーム構成の動画データを直
交変換する直交変換部と、この直交変換部からバッファ
メモリを通して出力される変換係数を可変ステップサイ
ズのもとで量子化する量子化部と、この量子化部の出力
を可変長符号化し圧縮符号化データとして出力端子に供
給する可変長符号化部と、この可変長符号化部の出力を
受け、各フレームについて実際に発生した圧縮符号化デ
ータの符号量を計数する発生符号量計数部と、前記量子
化部と可変長符号化部とによる圧縮符号化に先行して前
記バッファメモリから１フレーム分の変換係数を読出し
て可変量子化ステップサイズのもとで量子化する先行量
子化部と、この先行量子化部の１フレーム分の量子化出
力を可変長符号化して出力する先行可変長符号化部と、
この先行可変長符号化部の出力を受け各フレームについ
て実際に発生した圧縮符号化後の符号量を計数する先行
発生符号量計数部と、前記直交変換に伴って発生する変
換係数の交流成分の振幅の大きさを反映する量を交流レ
ベルとして１フレーム単位で検出する交流レベル検出部
と、前記発生符号量計数部で計数された発生符号量と外
部からの指示に基き次のフレームからの発生符号量の目
標値である目標発生符号量を算定する目標発生符号量算
定部と、この目標発生符号量算定部の算定値と前記交流
レベル検出部の検出値とからスケーリングファクタを算
定し、このスケーリングファクタと前記変換係数の交流
成分ごとに設定されている量子化マトリックス係数との
積から量子化ステップサイズを算定して前記先行量子化
部に設定する先行ステップサイズ設定部と、前記目標発
生符号量算定部の算定値、前記交流レベル検出部の検出
値及び前記先行発生符号量計数部の計数値から前記先行
量子化部に設定された量子化ステップサイズを修正し前
記量子化部に設定するステップサイズ設定部とを備えて
いる。

【０００６】

【実施例】図１は本発明の一実施例に係わる動画データ
の圧縮符号化装置の構成を示すブロック図であり、ＩＮ
は圧縮対象の動画データの入力端、１は離散コサイン変
換（ＤＣＴ）部、２はフレームバッファ、３は可変ステ
ップサイズの量子化部、４は可変長符号化部、５は発生
符号量計数部、６は交流レベル検出部、７は目標発生符
号量算定部、８はステップサイズ設定部、９は先行量子
化部、１０は先行可変長符号化部、１１は先行発生符号
量計数部、１２は先行ステップサイズ設定部である。

【０００７】入力端ＩＮから供給されるフレーム構成の
動画データは、離散コサイン変換部１において１フレー
ム単位で複数のブロックに分割され、各ブロックごとに
離散コサイン変換（ＤＣＴ）され、直流成分と交流成分
とを含む変換係数群に変換される。この離散コサイン変
換の詳細については、必要に応じて前述の各特許出願の
明細書などを参照されたい。離散コサイン変換部１から
出力される変換係数は、フレームバッファ２を経て量子
化部３に転送され、発生符号量などに応じて動的に変更
される可変ステップサイズのもとで量子化される。この
量子化の手法としては、上記特願昭６２−９１３８５０
号の明細書に開示されたようなベクトル量子化の手法で
はなく、上記特願平２−１８４２４２号の明細書に開示
されたような通常のスカラー量子化の手法が適用され
る。量子化部３から出力される量子化出力は、可変長符
号化部４において可変長符号に変換され、出力端子ＯＵ
ＴからＣＤ−ＲＯＭなどの記録装置に供給される。

【０００８】発生符号量計数部５は、上記離散コサイン
変換、可変ステップサイズの量子化及び可変長符号化の
組合せによるハイブリッド符号化によって発生する１フ
レーム分の符号量と現フレームまでの符号量の積算値を
計数し、計数結果を目標発生符号量算定部７に通知す
る。目標発生符号量算定部７は、発生符号量計数部５の
計数結果と、外部からの指示に基き次の１フレームにつ
いて発生させるべき目標発生符号量を算定し、これをス
テップサイズ設定部８と、先行ステップサイズ設定部１
２とに通知する。

【０００９】交流レベル検出部６は、先行量子化部９に
よる先行量子化に先立ってフレームバッファ２から１フ
レーム分の離散コサイン変換係数ｋ（ｕ．ｖ）を読出
し、直流成分を除く全ての交流成分の絶対値の総和Ｐ、 Ｐ＝ΣΣ｜ｋ（ｕ，ｖ）｜ ・・・・（１） を算定し、そのフレームの交流レベルとして検出する。

【００１０】量子化部３は、ステップサイズ設定部８に
よって設定される可変量子化ステップサイズのもとでフ
レームメモリ２から読出した変換係数を量子化する。こ
の量子化部３への入力をＡ、量子化ステップサイズをＱ
ｓとすれば、量子化部３からの出力Ａ’は、 Ａ’≡Ａ／Ｑｓ ・・・・（２）

【００１１】離散コサイン変換係数の量子化に際して
は、量子化ステップサイズＱｓを大きくするほど可変長
符号化後の圧縮データの符号量（ビット総量）が減少
し、データの圧縮率が高まる。これは、量子化ステップ
サイズＱｓが増加するほど量子化部３の出力Ａ’のレベ
ルが低下することと、次段の可変長符号化部４では出現
頻度の低い低レベルの出力Ａ’ほど短いビット数の符号
が割当てられていることによる。このように、量子化ス
テップサイズＱｓが増大するほどデータ圧縮率が高まる
反面、量子化雑音の増大に伴って再生画面の画質が劣化
する。従って、この量子化ステップは、データ圧縮率と
画質劣化の許容度とを勘案して定める必要があるが、本
発明の圧縮符号化方式ではさらに発生符号量の制御・平
滑化という点も勘案される。

【００１２】ここで、動画データについては、視聴者の
生理的特性上、交流成分の空間周波数が高いほど量子化
雑音に伴う画質の劣化が許容できることが知られてい
る。本実施例によれば、上記視覚上の特性に着目し、交
流成分の空間周波数が高いほど大きな値となるように量
子化ステップサイズＱｓが設定される。このため、量子
化ステップサイズＱｓを、次式に示すように、空間高調
波の次数に依存する量子化マトリックス係数ｑと量子化
スケーリングファクタｆとに分解する。 Ｑｓ≡ｑ・ｆ／ｋ ・・・・（３） ただし、ｋは定数である。

【００１３】まず、量子化マトリックス係数ｑとして
は、図２に示すように、空間高調波の次数（ｕ，ｖ）だ
けに依存しかつこれらの増加につれて増加する固定的な
値が設定される。さらに、この量子化マトリックス係数
ｑは、輝度信号（Ｙ）については図２（Ａ）に例示する
ように比較的小さな値が、画質の劣化の目立ちにくい色
差信号（Ｒ−Ｙ，Ｂ−Ｙ）については図２（Ｂ）に例示
するように比較的大きな値が設定される。符号量制御部
５による量子化ステップサイズＱｓの動的な制御は、量
子化スケーリングファクタｆの動的な制御によって実現
される。

【００１４】次に、量子化スケーリングファクタｆとし
ては、図３に例示するように、一定の交流レベルのもと
では目標発生符号量の増加に伴って減少すると共に一定
の目標発生符号量のもとでは離散コサイン変換係数の交
流レベルの増加につれて増加する値が設定される。これ
は、交流レベルの増加と共に量子化対象のデータ量が増
加し、可変長符号化後の圧縮データのビット量が増加す
るのを抑圧して平均化するためである。このように、交
流レベルの増加につれて増加する量子化ステップサイズ
Ｑｓを設定することにより、動画の絵柄が細かくなって
交流レベルが増加しても可変長符号化後の圧縮画像デー
タの総ビット量はほぼ一定の値に保持される。

【００１５】目標発生符号量算定部７は発生符号量計数
部５の計数結果と、外部からの指示に基き次の１フレー
ムについて発生させるべき目標発生符号量を以下のよう
にして算定する。

【００１６】入力端子ＩＮからは、総数Ｆ０のフレーム
が一定のフレームレート、例えば３０フレーム／秒のフ
レームレートで供給される。ハイブリッド符号化による
データ圧縮の所要時間、すなわち記録又は作成のための
総所要時間はＦ０／３０秒間となる。また、入力端子Ｉ
Ｎから記録される入力フレームの一部は離散コサイン変
換部１において一定の間引き率で廃棄され圧縮対象から
除外されることにより、出力端子ＯＵＴに出力される圧
縮画像データのフレームレートはＦｒ、ビットレートは
Ｂｒになるものとする。

【００１７】符号化によるデータ圧縮後のフレームの総
数Ｆ１と、総ビット量Ｂｔは、それぞれ、 Ｆ１＝Ｆｒ（Ｆ０／３０） ・・・・（４） Ｂｔ＝Ｂｒ（Ｆ０／３０） ・・・・（５） となる。

【００１８】データのための符号化の開始と同時に符号
化済みのフレームの総数と符号化によって発生した総ビ
ット量の計数が開始され、任意のフレームについての圧
縮が終了した時点でそれぞれがＦ２とＢｃに達したとす
れば、圧縮対象の残フレーム数Ｆ３と、残発生許容ビッ
ト量Ｂｎは、 Ｆ３＝Ｆ１−Ｆ２ ・・・・（６） Ｂｎ＝Ｂｔ−Ｂｃ ・・・・（７） となる。

【００１９】次の１フレームの圧縮に伴って発生するビ
ット量の許容値を目標発生符号量Ｂｍと定義すれば、 Ｂｍ＝Ｂｎ／Ｆ３ ・・・・（８） となる。上記目標発生符号量Ｂｍの算定は、発生符号量
計数部５で計数された総ビット量Ｂｃや、外部から指示
されたフレームレート、ビットレートや、上述の式に基
いて行われる。

【００２０】上述のようにして、ステップサイズ設定部
８で設定された量子化ステップサイズＱｓのもとで量子
化部３による量子化が行われ、引き続き可変長符号化部
４による可変長符号化が行われる。しがしながら、図３
の特性の不完全さなどに起因して、実際の発生符号量が
目標値からずれて発生符号量のフレーム間にわたる変動
が生じる。

【００２１】本実施例によれば、このようなフレーム間
にわたる変動を回避するため、ステップサイズ設定部
８、量子化部３及び可変長符号化部４による最終的な符
号化に先行して、先行ステップサイズ設定部１２、先行
量子化部９及び先行可変長符号化部１０による先行符号
化が行われる。この先行符号化において先行ステップサ
イズ設定部１２が設定するステップサイズは、交流レベ
ル検出部６の検出値と目標発生符号量算定部７の算定値
とに基き設定される。この先行符号化に伴って実際に発
生した符号量が先行発生符号量計数部１１で計数され、
ステップサイズ設定部８に通知される。

【００２２】ステップサイズ設定部８では、交流レベル
検出部６の検出値と目標発生符号量算定部７の算定値と
から決定されるステップサイズ、すなわち先行量子化時
に設定されたステップサイズを、先行発生符号量計数部
１１の計数植と目標発生符号量との誤差Ｅに基き修正
し、この修正済みのステップサイズを量子化部３に設定
する。この修正方法の一例は、以下のようなものであ
る。

【００２３】図３に例示するように、交流レベルの検出
値と目標発生符号量との交点（図中の白丸印）からスケ
ーリングファクタｆとして５を設定し、先行量子化部９
と先行可変長符号化部１０とによる先行量子化と先行可
変長符号化とを行ったところ、先行発生符号量計数部１
１の計数値が図中の黒丸印で示すように誤差Ｅだけ目標
値を上回ったものとする。このような誤差Ｅの発生は、
交流レベルとスケーリングファクタｆとの相関の弱さに
起因するものと見倣され、スケーリングファクタ５の特
性線と計数値との交点（三角印の点）を与える値（調整
植）に交流レベルの検出値が調整される。そして、この
調整値と目標発生符号量との交点に最も近いスケーリン
グファクタ６が最終的な量子化に際し設定される。

【００２４】以上、量子化部と可変長符号化部とを最終
符号化用と先行符号化用との２系統設置し、現フレーム
についての最終的な符号化と後続のフレームについての
先行符号化とを同時進行的に行わせることにより、処理
時間の短縮を図ることができる。しかしながら、処理時
間の短縮よりもハードウェア量の低減が優先される場合
には、量子化部や可変長符号化部などを最終符号化用と
先行符号化用とで共用して時分割多重的に動作させる構
成とすることもできる。

【００２５】

【発明の効果】以上説明したように、本発明によれば、
フレーム単位で先行符号化し、その結果に基づいて実際
の量子化ステップサイズを決定するフィードフォワード
制御と、フレーム単位で目標符号量と実際に発生した符
号量との差分に応じて量子化ステップサイズに補正を加
えるフィードバック制御とを複合したので、仮の量子化
特性を使った先行符号化によって１フレーム分の符号量
を実測し、その結果に応じて実際の符号化の量子化特性
を可変制御することができ、従って絵柄による予測値の
外れが少なく、量子化特性変化態様が絵柄とは無関係に
その時点その時点での蓄積符号量に従って可変制御され
る従来の方式のように、１画面中にブロック歪みの見え
やすい部分と見えにくい部分とがはっきり視認できる状
態で混在したり、画質が異なる部分の境界が目立つとい
った不都合を招くことはなく、また従来方式のように、
一部区間のデータ予測値から１フレームの発生符号量を
予測するが故に、予測に供した区間の絵柄等によっては
データ予測値が実測値から大幅にずれてしまうといった
こともなく、常に最適な量子化特性による圧縮符号化を
望むことができ、フレーム間にわたる発生符号量を平均
化し、再生装置の低コスト化を図ることができる等の優
れた効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる動画データの圧縮符
号化装置の構成を示すブロック図である。

【図２】輝度信号に対する量子化マトリックス係数
（Ａ）と色差信号に対する量子化マトリックス係数
（Ｂ）の一例を示す概念図である。

【図３】１フレームの交流レベルと目標発生符号量から
スケーリングファクタを設定するために用いられる特性
図の一例を示す概念図である。

【符号の説明】

ＩＮ 圧縮符号化対象の動画データの入力端 １ 離散コサイン変換（ＤＣＴ）部 ２ バッファメモリ ３ 量子化部 ４ 可変長符号化部 ５ 発生符号量計数部 ６ 交流レベル検出部 ７ 目標発生符号量算定部 ８ ステップサイズ設定部 ９ 先行量子化部 ９ 先行発生符号量誤差検出部 １０ 先行可変長符号化部 １１ 先行発生符号量計数部 １２ 先行ステップサイズ設定部 ＯＵＴ 圧縮符号化済みの動画データの出力端

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 フレーム構成の動画データを直交変換す
   る直交変換部と、この直交変換部からバッファメモリを
   通して出力される変換係数を可変ステップサイズのもと
   で量子化する量子化部と、この量子化部の出力を可変長
   符号化し圧縮符号化データとして出力端子に供給する可
   変長符号化部と、この可変長符号化部の出力を受け、各
   フレームについて実際に発生した圧縮符号化データの符
   号量を計数する発生符号量計数部と、前記量子化部と可
   変長符号化部とによる圧縮符号化に先行して前記バッフ
   ァメモリから１フレーム分の変換係数を読出して可変量
   子化ステップサイズのもとで量子化する先行量子化部
   と、この先行量子化部の１フレーム分の量子化出力を可
   変長符号化して出力する先行可変長符号化部と、この先
   行可変長符号化部の出力を受け各フレームについて実際
   に発生した圧縮符号化後の符号量を計数する先行発生符
   号量計数部と、前記直交変換に伴って発生する変換係数
   の交流成分の振幅の大きさを反映する量を交流レベルと
   して１フレーム単位で検出する交流レベル検出部と、前
   記発生符号量計数部で計数された発生符号量と外部から
   の指示に基き次のフレームからの発生符号量の目標値で
   ある目標発生符号量を算定する目標発生符号量算定部
   と、この目標発生符号量算定部の算定値と前記交流レベ
   ル検出部の検出値とからスケーリングファクタを算定
   し、このスケーリングファクタと前記変換係数の交流成
   分ごとに設定されている量子化マトリックス係数との積
   から量子化ステップサイズを算定して前記先行量子化部
   に設定する先行ステップサイズ設定部と、前記目標発生
   符号量算定部の算定値、前記交流レベル検出部の検出値
   及び前記先行発生符号量計数部の計数値から前記先行量
   子化部に設定された量子化ステップサイズを修正し前記
   量子化部に設定するステップサイズ設定部とを備えたこ
   とを特徴とする動画データの圧縮符号化装置。
2. 【請求項２】 前記交流レベル検出部は、前記直交変換
   に伴って発生する変換係数の交流成分のレベルの絶対値
   の総和を前記交流レベルとして検出することを特徴とす
   る請求項１記載の動画データの圧縮符号化装置。